Derechos humanos, placeres artificiales: sobre la necesidad de pensar a la humanidad en entornos digitales

Hace casi una década, se popularizó el concepto de «valle inquietante», traducción aproximada de uncanny valley. Se trata de cierta incomodidad en las personas ante androides altamente realistas o, mejor dicho, de la respuesta emocional que provoca la apariencia “casi humana” de un robot. Luego, en 2017, un usuario de Reddit con el seudónimo «deepfakes» subió contenido audiovisual lascivo con los rostros de Emma Watson, Jennifer Lawrence y otras celebridades.

Sin saberlo, bautizó a uno de los fenómenos más perturbadores del último tiempo. Actualmente, el 98% de todas las imágenes simuladas a través de sistemas de inteligencia artificial consisten en pornografía, de acuerdo con datos de un estudio de Home Security Heroes.

Si bien el material publicado por el original “deepfakes” se basaba en una técnica rudimentaria llamada faceswapping, en pocos años, el avance de la tecnología transformó aquello que resultaba inquietante en algo casi indistinguible de la realidad.

Con la popularización de tales tecnologías, la violencia de género facilitada por las tecnologías encontró su herramienta perfecta. En la plataforma Discord y, a través de Midjourney, un prompt (enunciado con términos clave) puede hacer casi realidad cualquier retrato ficticio de otra persona, con o sin su autorización. “Casi” pues, a pesar su sofisticación, esta tecnología no es perfecta: sutilezas como los pequeños pliegues de los dedos de las manos o el iris del ojo son demasiado humanas para la máquina. Aun así, el uso de prompts para generar imágenes pornográficas no consentidas no dejará de ocurrir, ya que siempre habrá consumidores de este tipo de material a quienes podrían escapárseles tales matices. La misma gracia que está fuera del alcance de la inteligencia artificial también está ausente de la percepción de este segmento.

Nuevas tecnologías, violencias antiguas

América Latina no ha estado excluida del avance de este tipo de violencia. En octubre de 2023, un grupo de estudiantes del Instituto Politécnico Nacional (IPN) de México, específicamente de la Escuela Superior de Comercio y Administración (ESCA), denunció a uno de sus compañeros, Diego N, por violencia digital, porque utilizó inteligencia artificial (IA) para alterar y crear imágenes sexuales de las estudiantes y comercializarlas a través de grupos de Telegram. Estas imágenes fueron creadas a partir de fotografías de las redes sociales. Luego de una investigación, se dio a conocer que el dispositivo del estudiante contenía alrededor de 166 mil fotografías y 20 mil videos, tanto reales como modificados con IA. Alrededor de 40% del contenido estaba relacionado con alumnas del IPN.

Además de la denuncia y expulsión del estudiante del IPN, se inició una investigación y un proceso legal en la fiscalía general de Justicia de la Ciudad de México. Al tratarse de un caso de violencia digital, las estudiantes apelaron a la Ley Olimpia, que tipifica como delito la difusión de imágenes de contenido sexual sin consentimiento.

La ley Olimpia ha sido utilizada en diversos casos en los estados de la república, pero esta vez toma una relevancia distinta por tratarse de una nueva tecnología utilizada para efectuar el delito, la IA. A pesar de la existencia de tal marco de protección, la diputada Guadalupe Morales confirmó que propondrá una iniciativa de ley para que se modifique el Código Penal de la Ciudad de México integrando una redacción que haga alusión los “deepfakes porno” como delitos contra la intimidad sexual.

La pregunta que queda es hasta cuándo será necesario criminalizar nuevas tecnologías y nuevos usos de tecnologías para intentar detener un tipo de violencia que tiene profundas raíces sociales.

En México, 70.1% de las mujeres mayores de 15 años han sufrido alguna forma de violencia a lo largo de su vida, de acuerdo con la última Encuesta Nacional sobre la Dinámica de las Relaciones en los Hogares del 2021. Casi la mitad de las mujeres han sufrido violencia sexual y más de un tercio alguna forma de violencia física. Más que un fenómeno nuevo y aislado, las deepfakes agregan una capa más en un contexto de máxima preocupación.

No hay vuelta atrás

«Todos los seres humanos nacen libres e iguales en dignidad y derechos y, dotados como están de razón y conciencia, deben comportarse fraternalmente los unos con los otros» reza el primer artículo de la Declaración Universal de Derechos Humanos – que cumple 75 años el próximo 10 de diciembre. Libres e iguales implica que todas las personas nos debemos respeto mutuo. La facilidad con la que las nuevas tecnologías proveen medios para vulnerar estas premisas nos obliga a darle más vueltas a los estándares mínimos que nos otorga la condición humana y sientan las bases para la convivencia en sociedad.En el ámbito físico (offline) de la vida, los límites deberían ser más claros: desde la postura corporal hasta la vestimenta, hay diversas estrategias para marcar distancia o proximidad de acuerdo con la voluntad de cada persona.

En el entorno digital, no obstante, las deepfakes derriban por completo dichas barreras. Además, y aunque correlación no implica causalidad, los datos son decidores: las nuevas generaciones reportan mayores índices de soledad que las anteriores, desarrollándose su vida social mayoritariamente en línea.

Las tácticas en el corto plazo para dar cuenta de este fenómeno pasan necesariamente por una educación sexual que promueva la equidad de género. Por otro lado, es necesario incluir una perspectiva interseccional de género al desarrollo de políticas públicas y a nivel legislativo: eso incluye las regulaciones sobre el tratamiento de datos personales. Además, en las discusiones sobre leyes de inteligencia artificial, es fundamental garantizar la participación efectiva de mujeres y personas LGBTQIA+, así como contar con evidencias específicas que ayuden a identificar abordajes efectivos y contextualizados para responder a las distintas formas de violencia.

Hay un importante avance en el reconocimiento de los derechos humanos desde la adopción de la Declaración Universal de los Derechos Humanos. Su carácter de universal implica que se aplica para todas las personas, sin excepción. Sin embargo, las brechas que persisten en su aplicación después de 75 años afectan particularmente las personas históricamente marginalizadas. La difusión de imágenes íntimas alteradas por medio de tecnologías de IA es una forma nueva de una vieja táctica que busca mantener un status quo en que las mujeres no tienen calidad de humanas y no pasan de meros objetos: sin derechos, sin agencia y plenamente manipulables según los deseos de terceros.

Desafortunadamente para quienes desean mantener controlada y sumisa la mitad de la población mundial, eso ya no es posible. No sólo está el sistema de derechos humanos como mecanismo de protección estable y consolidado, sino que también el movimiento feminista ha logrado visibilizar y denunciar vulneraciones y apropiarse de distintas tecnologías – no solo digitales – para protegerse, ejercer solidaridad y potenciar sus mensajes y luchas.

Como recuerdan los masivos movimientos desde América Latina, ninguna forma de violencia puede silenciar la voz colectiva que dice “ni una menos”. Frente al intento de retroceder, falta que los Estados e instituciones se comprometan, efectivamente, con un mundo más justo, equitativo y libre de violencia. Para todas, todos y todes.

 

América Latina ante la inteligencia artificial: mapeo de iniciativas regulatorias en la región

Alineada con las tendencias internacionales, América Latina ha hecho esfuerzos significativos por desarrollar principios y reglas para la inteligencia artificial (IA). En un primer momento, múltiples gobiernos desarrollaron instrumentos regulatorios a partir de la creación de estrategias, planes, o la adhesión a principios internacionales como los Principios de IA de la OCDE o los Principios de la Ética de la IA de UNESCO. Sin embargo, cambios de gestión gubernamental interrumpieron algunas de estas iniciativas, dada su relativa institucionalidad.

De manera paralela a la elaboración de estos instrumentos, la región también comenzó procesos para legislar sobre la implementación de IA a nivel parlamentario. Tales procesos no involucran prerrogativas emanadas desde el poder ejecutivo. En cambio, al estar en manos del poder legislativo, demandan un debate entre parlamentarios y, con ello, la creación de consensos políticos que estén en sintonía con los entramados normativos nacionales.

A continuación, repasamos la trayectoria normativa latinoamericana: desde las estrategias de IA de algunos países, hasta la revisión de algunos de los proyectos de ley que se discuten actualmente.

Estrategias de IA

Uno de los hitos que marca el inicio del proceso de regulación de la IA se encuentra en las estrategias y planes de IA publicadas entre 2019 y 2021 por gobiernos como los de Argentina, Brasil, México y Uruguay. Estas acciones fueron impulsadas desde los poderes ejecutivos de la región y buscaron dar un marco de referencia para el uso de este tipo de tecnologías.

Aun cuando, en varios casos, dichas políticas contemplaron una etapa de consulta pública, hemos identificado algunas falencias de los Estados en garantizar una discusión plural e inclusiva de forma efectiva al definir prioridades estratégicas en IA. Entre ellas están la falta de inclusión efectiva de grupos históricamente marginalizados y de mecanismos de transparencia que permitan comprender de qué manera se consideraron los comentarios presentados.

Algunas de estas iniciativas no encontraron continuidad para su implementación y, además, fueron criticadas por su falta de rumbo por defectos en la coordinación o ausencias de líneas de acción claras como para llevar el título de “estrategias”. Es que estas políticas, pese a basarse en procesos participativos y antecedentes internacionales como los Principios para la IA de la OCDE, fueron plasmadas en resoluciones administrativas –en buena parte de los casos– con una solidez institucional relativa. Además, carecían de métricas claras que permitieran el monitoreo de su implementación.

Así, estas limitaciones otorgaron mayor relevancia al debate legislativo. A la vez, y contando sus imperfecciones, la discusión y la posterior formulación de estas estrategias sentaron un precedente para los debates parlamentarios.

Discusiones legislativas para la regulación de la IA

Brasil

Desde 2019, han sido presentados muchos proyectos de ley en materia de IA. Los principales fueron los PLs 5.051/2019, 21/2020, y 872/2021. En 2021, la Cámara de Diputados brasileña aprobó el PL 21/2020, que contiene disposiciones sustentadas más en principios que en prerrogativas específicas, y que ha sido motivo de críticas por parte de la sociedad civil. A contar de la llegada de este proyecto en el Senado Federal, fue establecida una comisión de juristas para lograr un proyecto unificado, en conjunto con otros ya en tramitación en esta casa legislativa.

El extenso reporte final presentado por la comisión resultó en el desarrollo de un cuarto proyecto de ley, el PL 2338/23, presentado por el presidente del Senado y actualmente en discusión paralela a los demás proyectos sobre IA. Pese a que fue ideado como una continuidad de las discusiones previas, el PL 2338/23 guarda importantes diferencias con relación al proyecto aprobado por la Cámara.

Influenciado por los debates alrededor del AI Act europeo, el PL 2338/23 presenta un enfoque fundamentado en riesgos, en función de una tipología establecida en el proyecto mismo, además de crear derechos y determinar la creación de una autoridad centralizada de IA que debería ser apuntada por el Poder Ejecutivo y trabajada en conjunto con las demás autoridades sectoriales. Sobre el modelo de riesgos, el PL determina que, a mayor riesgo, mayores las obligaciones que corresponden a quien implemente este tipo de tecnologías. El proyecto es apoyado por la Coalición de Derechos en la Red, que lo considera un paso importante hacia el equilibrio entre el establecimiento de derechos y herramientas de gobernanza.

Chile

La discusión parlamentaria se centra en el Boletín 15869-19: un proyecto de ley que regula los sistemas de IA la robótica y las tecnologías conexas en sus distintos ámbitos de aplicación. El mismo ingresó en la Cámara de Diputados durante abril de 2023 y se encuentra en “primer trámite constitucional”, que es la forma en la que Chile denomina el proceso de discusión de un proyecto de ley donde fue presentado originalmente, sea en la Cámara de Diputados o en el Senado.

Tal como señala el texto en sus “considerandos”, el proyecto adopta un sistema de riesgos basado en la discusión existente en el parlamento de la Unión Europea. El proyecto contempla la creación de una Comisión Nacional de Inteligencia Artificial, y establece obligaciones para desarrolladores, proveedores y usuarios de sistemas de IA. Además de este proyecto, hay dos iniciativas, de orden punitivo, que buscan modificar el Código Penal. Se trata de los boletines 15935-07, para sancionar el mal uso de la inteligencia artificial (ingresado el 15 de mayo de 2023) y el 16021-07, que busca incorporar, como circunstancia agravante de la responsabilidad, el uso de inteligencia artificial en la comisión de un delito (ingresado el 13 de junio de 2023).

Costa Rica

El proyecto costarricense, que tomó cierta notoriedad en distintos medios por comenzar con una introducción realizada por ChatGPT, se encuentra en discusión en la Comisión de Tecnología y Educación de la Asamblea Legislativa de la República de Costa Rica, órgano unicameral del Poder Legislativo. Este proyecto, en trámite bajo el Expediente 23771, afirma desde su primer artículo su foco en la “protección y promoción de la dignidad, los derechos humanos y el bienestar de la persona humana”.

Si bien el proyecto habla de la existencia de riesgos, su abordaje no establece una tipología como los proyectos mencionados anteriormente. Su Capítulo VII se enfoca particularmente en la “Protección de los Derechos Humanos en la Regulación de la Inteligencia Artificial”, donde se establecen disposiciones sobre no discriminación, privacidad y protección de datos personales, transparencia y explicabilidad, acceso a la justicia, entre otras. El proyecto obliga a desarrolladores y usuarios de sistemas de IA a realizar evaluaciones de impacto en derechos humanos antes de su implementación. Estas evaluaciones, afirma el proyecto en su artículo 16, “deberán identificar y mitigar los posibles riesgos y efectos negativos en los derechos fundamentales de las personas”.

Rumbos posibles

La existencia de estos proyectos de ley no implica que vayan a ser aprobados tal como fueron formulados, o que presenten una continuidad en el debate parlamentario con regularidad. Sin embargo, presentan instrumentos que pueden modificar la gobernanza de estas tecnologías, como la creación de autoridades específicas o la obligación de generar evaluaciones de impacto.

También cabe resaltar la influencia que tienen en el debate parlamentario iniciativas internacionales como el proyecto de ley de Inteligencia Artificial del parlamento europeo, la IA Act, cuyo enfoque basado en riesgos sirvió de inspiración para la creación de algunos de los proyectos mencionados. La sanción de esta ley, aún en discusión, puede modificar el panorama y sentar un precedente de gran influencia para otros países latinoamericanos.

Por último, es necesario destacar que, más allá de estrategias y proyectos de ley específicos, la gobernanza de la IA incluye un conjunto de normas e instituciones que abarcan, incluso, el acceso a la información y la protección de datos, entre otras, que son cruciales para garantizar transparencia en su implementación y el respeto a los derechos de las personas potencialmente afectadas negativamente por ella. En ese sentido, es llamativo que países que aún no cuentan con marcos de protección de datos adecuados intenten legislar sobre IA.

Frente al avance de las discusiones internacionales sobre la regulación de IA, es fundamental que legisladores y legisladoras de América Latina estén atentas a las recomendaciones emitidas por autoridades y órganos de derechos humanos. Probablemente, 2024 sea un año donde estas discusiones avancen de la mano los avances tecnológicos en la potencialidad de estas tecnologías, sobre las que vemos novedades día a día. Estaremos atentos, monitoreando la evolución de los debates a nivel nacional.

Regulación de IA: los derechos humanos primero

En las últimas semanas fuimos inundados por debates sobre la regulación de la inteligencia artificial en diversos frentes. Un acuerdo de las grandes potencias sobre un código de conducta para las empresas que trabajan con IA, los riesgos y retos del uso de la IA para la seguridad y la paz social, y cómo afecta la IA generativa a los derechos de autor son algunos de los temas que han circulado en estos días. En los más diversos foros mundiales, como el Consejo de Seguridad de la ONU, el Grupo de los 7, el Grupo de los 20, la UNESCO, la Organización Mundial de la Propiedad Intelectual (la OMPI) y docenas de otras instiancias, la cuestión está aflorando a la superficie, como demuestra el reciente mapeo de Lea Kaspar, Maria Paz Canales y Michaela Nakayama.

En cierta medida, los diferentes debates se conectan y se solapan, pero también se integran a la maraña que conforman las referencias del derecho internacional en esta temática, como los principios de la OCDE y las recomendaciones de la UNESCO sobre la IA. Sin embargo, es urgente que este debate se base en los derechos humanos, tomando como ejemplo los recientes avances del Consejo de Derechos Humanos de la ONU, que deberían formar parte central de la discusión sobre cualquier regulación de la IA.

¿Discusión “Global”? Preocupaciones en torno a la participación desbalanceada

Las intenciones de la ONU de abordar la cuestión más general de la inteligencia artificial son cada vez mayores. Recientemente, Antonio Gutérres anunció la creación de un órgano asesor sobre IA que, paradójicamente, cuenta con una escasa participación de miembros de la sociedad civil y una sobrerrepresentación de las empresas tecnológicas. De este desequilibrio ha dado buena cuenta Juan Carlos Lara, quien argumenta que este órgano asesor deja en manos de quienes «más se benefician de las ventajas económicas de la IA» un papel preponderante en las recomendaciones sobre dicha gobernanza global, frente a quienes más sufren los efectos negativos de la IA, que es precisamente la sociedad civil.

Sin embargo, la falta de participación no solamente ocurre en el órgano asesor de la ONU, sino también en otros espacios como en las discusiones sobre el Pacto Digital Mundial, que sirve de preparación para la Cumbre del Futuro, evento que reunirá a líderes mundiales en Nueva York para “forjar un nuevo consenso internacional a fin de mejorar el presente y salvaguardar el futuro”.

En una carta, firmada por más de 30 organizaciones de la sociedad civil, se alerta sobre la falta de oportunidades de intervención de este sector, en tanto la palabra se concedió mayoritariamente a los Estados miembros, las agencias de la ONU y el sector privado, en detrimento de las organizaciones de derechos humanos de la sociedad civil durante las discusiones temáticas en línea. Lamentablemente, como afirma Gina Neff, «hemos visto cómo estas empresas se las arreglan hábilmente para establecer los términos de cómo debe ser el debate».

Riesgos inaceptables para los derechos humanos

Además de la participación, también es necesario pensar en las líneas sustantivas de estos procesos. En las últimas dos sesiones del Consejo de Derechos Humanos de la ONU, se han actualizado dos resoluciones de gran importancia. Así, las resoluciones se suman a otro importante texto aprobado por la Asamblea General de la ONU a finales del año pasado, siguiendo con fuerza una tendencia que hemos observado con anterioridad.

Tanto la resolución sobre nuevas tecnologías como la resolución sobre privacidad consolidan la necesidad de abordar a la IA desde la perspectiva de los derechos humanos. A pesar de constituir avances importantes en términos de resaltar riesgos inaceptables para los derechos humanos, estas resoluciones no son lo suficientemente explícitas a la hora de condenar el uso de la IA cuando a priori no cumplen con normativas de DD.HH., y cuya venta e implementación debe de ser prohibida o estar sujeta a una moratoria, conforme ya lo ha expresado mediante una resolución emitida por Michelle Bachelet, anterior Alta Comisionada de la ONU.

Un ejemplo claro de esto es que, si bien la resolución de privacidad deja claro que la utilización de medidas de reconocimiento facial de “vigilancia biométrica” suscitan gran preocupación en cuanto a su carácter de proporcionalidad, la resolución pierde a oportunidad de condenar la aplicación de IA en los sistemas de reconocimiento facial, dejando en manos de los Estados garantizar que la utilización de este tipo de tecnología no permita una “vigilancia masiva o ilegal”. Esto es especialmente preocupante, considerando las crecientes denuncias de vigilancia estatal en la región y a nivel global.

Sobre este punto, es importante hacer referencia al importante caso de reconocimiento facial promovido por el Observatorio Argentino de Derecho Informático (O.D.I.A) y el Centro de Estudios Legales y Sociales (CELS) resuelto recientemente por los tribunales argentinos. En 2020, tras una acción de amparo colectiva presentada por el O.D.I.A. mediante el cual se puso en discusión la constitucionalidad y convencionalidad de las normas que implementaron el sistema de reconocimiento facial en la CABA, se declaró la inconstitucionalidad del uso del sistema de reconocimiento facial por no haberse dado cumplimiento a los recursos legales de protección de los derechos personalísimos de la ciudadanía. Entre varias cuestiones, el fallo nota que el sistema se usó de manera ilegal para buscar a más de 15 mil personas que no estaban en la lista de prófugos del sistema de Consulta Nacional de Rebeldías y Capturas (CONARC). Además, la sentencia en cuestión recomienda cuestiones fundamentales como la necesidad de promover la transparencia y la explicación adecuada de los sistemas de IA, debiéndose considerar todo el ciclo de vida del sistema de IA.

La transversalidad de género, protección de datos e inteligencia artificial

Parte de la necesidad de colocar a los derechos humanos como centro de las discusiones alrededor de la implementación de sistemas de IA tiene que ver con el deber de considerar los impactos diferenciados de género que éstos causan.

En ese sentido, como ha sido constatado en la contribución conjunta sobre género presentada en el marco de las discusiones del Pacto Digital Mundial, para que los derechos de todas las personas puedan ser respetados de igual forma en el ecosistema digital global se requiere una protección efectiva y absoluta frente a la persecución, la discriminación, el abuso y la vigilancia; asegurar la igualdad de acceso a la información, las oportunidades y la comunidad, e igualdad de respeto a la privacidad, la identidad, la autoexpresión y la autodeterminación.

En la reciente resolución sobre privacidad, referida anteriormente, se realizan importantes avances en la materia. Por un lado, reconoce que las mujeres y niñas experimentan vulneraciones específicas en base al género a su derecho a la intimidad como parte de una desigualdad estructural que tiene efectos específicos en género, en tanto la implementación de tales sistemas puede reproducir, reforzar e incluso exacerbar las desigualdades raciales de género. Por otro lado, insta a los Estados a desarrollar e implementar políticas con perspectiva de género, a la par que alienta a todas las partes interesadas a que incorporen una perspectiva de género en la conceptualización, el desarrollo y la aplicación de las tecnologías digitales y las políticas conexas, y a que promuevan la participación de las mujeres para hacer frente a la violencia y la discriminación contra todas las mujeres y niñas que se producen a través del uso de la tecnología o son amplificadas por ella, instando a las empresas de tecnología digital, incluidos los proveedores de servicios de Internet, a que respeten las normas y apliquen mecanismos de información transparentes y accesibles.

Si bien celebramos dichos pronunciamientos, los que consideramos esenciales para el abordaje de esta problemática, observamos con preocupación que, tal como notamos en el análisis de la resolución proveniente de las discusiones del CSW67 del presente año, hay ausencias que implican retrocesos. En ese sentido, preocupa que el texto evite incluir a personas LGTBIQ+ en el ámbito de protección, considerando que esta exclusión tiene la potencialidad de profundizar desigualdades sobre una comunidad que ha sido históricamente vulnerada debido a cuestiones —relacionadas con desigualdades de género— y de legitimar políticas públicas discriminatorias.

A su vez, y en conexión con señalado previamente, aun cuando se reconoce el impacto negativo de la implementación de la IA sobre grupos en situación de vulnerabilidad, especialmente considerando factores de raza y género, las recomendaciones tenían la potencialidad de condenar la implementación de sistemas que ya han probado reproducir y profundizar desigualdades estructurales en ese sentido y de establecer líneas claras de protección que pongan foco en la obligación estatal de dotar protección efectiva de datos, entre otras cuestiones.

2024: agenda llena de acciones, altas expectativas

Los próximos pasos son aún inciertos y podrían conducir a una situación paradójica: las resoluciones aprobadas apuntan a la necesidad de más estudios y mayor acción efectiva en temas como la discriminación, la necesidad de regionalizar el tema, así como recomendaciones sobre cómo abordar el problema dentro del sistema de la ONU. No obstante, con la aprobación del órgano consultivo sobre IA, se han generado muchas prisas en toda la ONU. Todo ello para finalizar el trabajo en unos meses, de modo que esté listo a tiempo para la Cumbre del Futuro en septiembre del próximo año en Nueva York, donde todo lo relacionado con el Pacto Mundial Digital tendrá particular protagonismo.

Los pequeños (pero importantes) pasos que estamos dando en relación con la privacidad, los datos personales y la IA no pueden estar fuera de la concepción de esta discusión. El trabajo en curso de la Oficina del Alto Comisionado y de varios países que forman parte del Consejo de Derechos Humanos, llevado a cabo con la participación de diversas organizaciones de la sociedad civil, deberían ser un punto de partida fundamental para tomar medidas contra las repercusiones en los derechos humanos del uso indebido de los sistemas de IA por parte de Estados y empresas. La participación amplia de la sociedad civil también es un requisito necesario para esta discusión y, por nuestra parte, seguiremos en estos espacios para ampliar la voz de la sociedad latinoamericana.

Sin comunidad no hay comunes

El penacho del emperador Moctezuma da cuenta de la grandeza que alcanzó el imperio mexica. Consta de plumas azules, rosas, marrones y verdes, además de intervenciones de oro y piedras preciosas. Actualmente, se encuentra en el Museo de Etnología de Viena. Se dice que fue un regalo hecho por Moctezuma a Hernán Cortés, conquistador de México, razón por la que está en Europa. También se comenta que las noticias de su existencia datan de 1596, cuando fue hallado en la colección privada del archiduque Fernando II de Tirol.

Sea cual sea el caso, el penacho reside en un museo de Austria, cuyo boleto cuesta 17 dólares, y es promocionado como una atracción turística de ese país. El gobierno mexicano ha intentado traerlo de vuelta en 1991, 2011 y 2020. Sin embargo, científicos se han opuesto a este traslado debido a que las vibraciones propias de un largo periplo conllevan el riesgo de provocarle daños irreparables. Por lo tanto, se estima que es mejor que se quede donde está.

En el Museo Nacional de Antropología (MNA) de Ciudad de México es posible encontrar, entre su vasta colección, una réplica de la pieza. En este museo también está el monolito original de Tláloc, dios de la lluvia originario de los toltecas. La escultura fue descubierta en una localidad al sur de México y, tras negociaciones y conflictos con la población de San Miguel Coatlinchán, finalmente fue arrancada del lugar en 1964 para ser expuesta en la entrada del MNA. El boleto de este museo cuesta 5 dólares.

Ambas anécdotas evidencian la compleja relación entre cultura, patrimonio y poder, que se expresó igualmente en el desarrollo del Summit de Creative Commons (CC), realizado en Ciudad de México entre el 3 y el 6 de octubre. La edición de este año retomó por primera vez el formato presencial después de cuatro años y tuvo como tema central el advenimiento de la inteligencia artificial y su impacto en los bienes comunes.

No importa el momento histórico, ni el soporte físico, ni la localización geográfica: la decisión sobre el destino de las creaciones culturales no le pertenece ni a los imperios ni a los estados. El concepto de propiedad, una vez más, está impugnado y, como señala el periodista brasileño Leonardo Foletto, “las mejores ideas son de todos”.

Acceso justo en América Latina

En el marco del Summit tuvo lugar un taller de la Alianza Latinoamericana para el Acceso Justo al Conocimiento, articulación que se posiciona en la trinchera de la apertura del dominio público y los bienes comunes culturales a través de la incidencia en políticas nacionales e internacionales. La Alianza, de la que Derechos Digitales es miembro, participa activamente en instancias de la Organización Mundial de la Propiedad Intelectual (OMPI).

Entre las discusiones del taller tuvo especial importancia el acuerdo colectivo en torno a lo «justo». No es justa, por ejemplo, la disparidad existente en las excepciones y limitaciones al derecho de autor entre países. Aunque internet es una infraestructura global, tal como señala la Federación Internacional de Asociaciones de Bibliotecarios y Bibliotecas, estos desencuentros legislativos traen consigo barreras y fragmentación que amarran de pies y manos a investigadoras de la Mayoría Global al momento de realizar revisiones o publicaciones académicas, y el asedio constante a bibliotecas mediante acciones legales por su labor educativa. Tales son los escollos que sorteó Alexandra Elbakyan al momento de crear Sci-Hub y que padece Internet Archive desde abril de este año. 

Asimismo, en los paneles en que la Alianza estuvo presente se hizo énfasis en que, aun cuando se entiende que cambiar por completo el régimen legal internacional es una misión titánica y probablemente imposible en el mediano plazo, la colaboración entre actores de todo el mundo por este objetivo es fundamental para evidenciar que el derecho de autor tiene poco que ver con la protección y fomento de la creación cultural y más con salvaguardar el erario de entidades de gestión colectiva, de herederas y herederos, y de editoriales académicas.

En cuanto a la pregunta rectora sobre inteligencia artificial y los bienes comunes creativos del Summit, la Alianza se pronunció en febrero pasado, afirmando que la compatibilidad con los usos honrados y la apertura del uso de obras en investigación con minería de datos tienen que ser incluidos en las legislaciones de la región.

Lastimosamente para algunos, el derecho de autor parece tener fecha de vencimiento y el clavo en su ataúd, contrario a muchos pronósticos, no fue puesto por la piratería sino por la masificación de los sistemas de IA. Entre integrantes de la Alianza se abordó el tema de las recientes demandas interpuestas por artistas contra estos sistemas, cuando replican estilos creativos o utilizan obras protegidas, sin consentimiento, para su entrenamiento. Con el miedo a ser reemplazados por Midjourney, este problema dejó de ser una cuestión restringida al nicho del arte. Las artistas, por fin, ven que su trabajo es justamente eso: trabajo. Bienvenidas todas a la discusión por los derechos laborales en las próximas políticas de IA.

En español, por favor

El primer día del Summit fue constatada una situación recurrente: la del inglés como idioma por defecto en los diferentes encuentros de la gobernanza de internet a nivel global. Tiene sentido, por cierto, por su carácter de lengua vehicular de los entornos digitales. No tiene sentido en eventos desarrollados en América Latina y así fue expresado por las personas hispano y lusófonas. Así, y luego de años de insistir en la necesidad de justicia lingüística, a contar del segundo día el CC Summit 2023 de México tuvo traducción simultánea de inglés a español y viceversa*.

Este no fue el único ámbito donde se enfatizó que la lengua es también un bien común. La presentación central de la segunda jornada estuvo a cargo de Peter-Lucas Jones, quien preside, entre otras instituciones y asociaciones, Te Hiku Media: una radio maorí sin fines de lucro que, además, utiliza las grabaciones de sus transmisiones para entrenar sus propios algoritmos de procesamiento de este idioma.

Jones y otras activistas elaboraron una licencia especial, basada en la custodia o tutela entendida según el universo maorí, que solo concede acceso a quienes que respeten los valores de su cultura, mientras se mantenga dentro de los límites de consentimiento en sus usos. La licencia también apunta a que, para los casos en que su uso sea solicitado por gobiernos, corporaciones o cualquier organización o persona privilegiados, debe existir una retribución al pueblo maorí.

Según Jones, “los datos son el territorio” y, por lo tanto, deben ser protegidos de las nuevas formas que toma la dominación colonial. La licencia kaitiakitanga prohíbe expresamente su uso para fines de vigilancia, monitoreo, discriminación, persecución e injusticia. Ni Whisper, el sistema de reconocimiento de lenguaje de OpenAI, ni Duolingo han logrado obtener el acceso a estos conjuntos de datos recopilados por Te Hiku Media.

Pasado, presente y futuro de los comunes

Entre commoners de todo el planeta prevaleció cierta nostalgia por los primeros encuentros, hace más de una década. El ecosistema digital, en ese entonces, vibraba con el entusiasmo para empujar por la reforma del copyright. Ha pasado mucha agua bajo el puente y, en 2023, los problemas son otros. Con la insuficiencia demostrada del modelo de derechos de autor ante el arribo de la IA, y siendo la IA un nuevo problema en sí mismo, volvemos a cuestionamientos que se niegan a desaparecer. El colonialismo, aunque subterráneo y sutil, es patente todavía.

No obstante, otro de los aspectos destacados de este Summit fue el lugar que se le dio a la educación, infraestructuras, hardware y software libres. La transparencia y el acceso que garantizan las fuentes abiertas, la posibilidad de elaborar bifurcaciones y la confianza que otorga el desarrollo colectivo detrás de estos proyectos persisten en el espíritu de Creative Commons y en las personas que ejercen el derecho a compartir.

Silvia Federici, en su libro Reencantar el mundo. El feminismo y la política de los comunes, sistematiza algunos criterios para definir a los comunes: necesitan acceso equitativo a una propiedad compartida; son relaciones sociales y no cosas; comprenden derechos y obligaciones que regulan cómo ha de emplearse la riqueza común, derivados de decisiones colectivas, y requieren una comunidad. No hay tal cosa como “comunes globales”, pues este concepto presume la existencia de una colectividad global.

La polinización cruzada de ideas desde extremos opuestos de uno o más océanos, los intercambios culturales, el respeto por la diferencia, las respuestas y las preguntas encontradas dan cuenta de otros criterios señalados por la autora: la cooperación social, la reciprocidad y la responsabilidad en la reproducción de la riqueza compartida; la promoción del interés común, y la radical distinción de lo común y lo público, siendo esto último lo administrado y de propiedad del Estado (y por lo que, en ocasiones, cobra boletos en museos construidos sobre el expolio).

La riqueza aquí aludida no es monetaria, y lo común presente no se rige con base en criterios de escasez sino de abundancia. El mundo que nos rodea es una fuente inagotable de saberes, y la filosofía de los comunes es “un camino para transformar nuestra subjetividad”, citando nuevamente a Federici, y para adquirir la capacidad de reconocerlo y amarlo. Este Summit fue un recordatorio de que es la comunidad la que crea, reproduce y mantiene con vida a la cultura, y que no hay forma de resolver los múltiples desafíos que nos presenta la tecnología hoy sin las personas que construyen, para todas, el acervo digital del futuro.


Agradecimientos a Mayra Osorio, de Derechos Digitales, por enseñarme con cariño algunos misterios mexicanos; a las y los integrantes de la Alianza por el Acceso Justo al Conocimiento; a Fátima São Simão, de CC Portugal, y a toda la comunidad CC de América Latina.


* N/R: El texto original consignó que este fue el primer Summit que tuvo traducción simultánea inglés-español. Esto no es así: CC Summit 2013 (Buenos Aires, Argentina) sí contó con esta herramienta. La corrección fue incorporada el 13 de octubre de 2023.

Cursos virtuales, automatización y legislación insuficiente

Cada vez es más común escuchar y leer sobre los avances de la inteligencia artificial (IA) y los cambios que introduce en distintos campos del quehacer humano, los que, es justo decirlo, nos sorprenden cada vez con mayor frecuencia. La educación no es la excepción.

De un tiempo a esta parte, la IA ha pasado a formar parte de las herramientas que las y los docentes utilizan en su trabajo.  La capacidad de aceleración exponencial de los cambios a partir de la introducción de tecnologías basadas en machine learning genera un potencial revolucionario”, afirma la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), en su estudioEl futuro de la Inteligencia Artificial en educación en América Latina, que también advierte que aún no somos capaces de dimensionar las transformaciones profundas que podría generar la aplicación de la IA a la educación.

La IA ha llegado a la educación de maneras diferentes: por un lado, están los cursos virtuales; por otro, herramientas de automatización o aceleración de procesos disponibles para estudiantes y docentes. Sin embargo, como sociedad hemos evaluado escasamente los pros y los contras de su implementación. No sabemos si los docentes se encuentran capacitados para utilizar esas herramientas, ni qué sucede con la privacidad de las y los estudiantes cuya formación está a cargo de estos sistemas. Encontrar estas respuestas puede ayudarnos a analizar el avance y las posibles consecuencias de la IA en la educación, las posibilidades y los riesgos, algunos conocidos y otros inciertos.

IA Generativa en las aulas

La IA Generativa es un área de la IA con foco en la generación de contenido original a partir de datos ya existentes. Usa algoritmos y redes neuronales avanzadas para aprender de textos e imágenes, para luego elaborar contenido nuevo. Hemos escuchado mucho sobre la IA Generativa a partir de noviembre de 2022, con el lanzamiento del CHATGPT, cuya característica estrella es la capacidad de generar texto, imágenes, vídeos, música y códigos de software. Estas capacidades dan lugar a múltiples aplicaciones en la educación, como chatbots y algoritmos de aprendizajes, entre tantos otros.

Generalmente, se trata de recursos entrenados con valores y normas sociales dominantes en el Norte Global, lo que implica un aumento y empeoramiento de las brechas digitales en el área pedagógica en todo el resto del mundo, al reproducir sesgos propios de países desarrollados con poca o nula relación con la experiencia sensible de las y los habitantes de la Mayoría Global.

UNESCO advierte que, en el ámbito educativo, la IA enfrenta numerosos desafíos. El principales desarrollar prácticas de enseñanza y aprendizaje innovadoras. En “La Inteligencia Artificial en la Educación” declara que “El vínculo entre la IA y la educación consiste en tres ámbitos: aprender con la IA (por ejemplo, utilizando las herramientas de IA en las aulas), aprender sobre la IA (sus tecnologías y técnicas) y prepararse para la IA (por ejemplo, permitir que todos los ciudadanos comprendan la repercusión potencial de la IA en la vida humana)”. UNESCO admite también que sería ingenuo, sin embargo, no reconocer que los avances tecnológicos que suceden de manera rápida, como lo que ocurre con la IA, implican riesgos y retos y, en América Latina, las políticas y los reglamentos todavía tienen dificultades para hacerse cargo de ellos.

“Crear nuevas agendas de investigación se ha convertido en una tarea cada vez más urgente y relevante. Estamos atravesando el tiempo de un gran laboratorio, donde se están experimentando a velocidad avanzada distintos desarrollos educativos con IA”, reflexiona el documento de la UNESCO, afirmando que motores de IA (como CHATGPT) pueden contribuir a ampliar o limitar los horizontes educativos. Añade una visión que consiste en que asegurar una “IA para todos”, donde la Inteligencia Artificial sea utilizada para reducir las brechas existentes en el acceso al conocimiento y a la investigación, y no acentúe las diferencias entre países y dentro de estos.

Docentes al pizarrón

UNESCO realizó una encuesta en más de 450 escuelas y universidades a nivel mundial, que arrojó muestra que menos del 10% de los centros educativos encuestados tienen políticas institucionales o directrices formales relativas al uso de aplicaciones de IA generativa. Posiblemente se deba, en gran parte, a la ausencia de claras normativas nacionales. 

En Uruguay, recientemente se realizó el Primer debate sobre Inteligencia Artificial y Educación de ANEP, donde docentes y autoridades reflexionaron sobre los posibles impactos de las herramientas de IA en las aulas. La pregunta disparadora fue si el sistema educativo nacional está preparado ante la presencia de la Inteligencia Artificial. Los docentes sostuvieron que “deben ser los primeros en el camino de conocer esta tecnología para evitar cierta asimetría” y ser “guías en la adopción” de la IA. Se reconoció también que no todos los docentes están preparados para integrar inteligentemente IA en sus clases.

Es fundamental integrar a docentes y estudiantes en la discusión sobre la introducción de la tecnología en el proceso educativo, ya que de nada sirve dar este paso sin sentido de pertinencia pedagógica y que, además, sea apropiado por las y los involucrados. La formación de los docentes es fundamental para garantizar una aplicación ética de sistemas de IA en las escuelas. Las reglamentaciones gubernamentales, además, son cruciales para asegurar un enfoque centrado en las personas para el uso de la IA.

En un artículo publicado por el diario argentino INFOBAE, un docente reflexiona sobre el CHATGPT y menciona que “nos debería levantar la vara a los docentes, y nos daría muchas herramientas para facilitar el aprendizaje”. Señala también que “Cuantos más datos tengamos, potenciado con la digitalización, más conocimiento vamos a poner a disposición para seguir entrenando estos modelos”. Sin embargo, afirma también que “el uso excesivo de ChatGPT por los estudiantes durante el proceso, y ejercitación en trabajos prácticos, puede traer la disminución de la creatividad y la independencia de pensamiento de los estudiantes”.

Coincide con esa opinión el el sitio web español EDUCACIÓN 3.0, que en un artículo titulado “No todo vale con la Inteligencia Artificial en la educación” nos recuerda que , más allá del potencial de esta tecnología para distintos aspectos relativos a la enseñanza, aún no podemos afirmar que existen beneficios derivados del uso directo de las herramientas en las aulas. El articulo además trae a la vista que no todos los contenidos curriculares de la escuela son asuntos de las máquinas: la ética, la moral, el cuidado común o el cuidado del medio ambiente, por nombrar algunos ejemplos. Entrenar el espíritu crítico, prosigue, puede incluir el descubrimiento de lo que subyace a, construye y entrena una IA.

El compromiso ético

Docentes e investigadores han declarado, además, que el uso de la IA trae consideraciones éticas, como el impacto de la IA en la privacidad de los estudiantes y la seguridad de sus datos.

Este tipo de herramientas se alimentan de datos, que se recogen de distintas fuentes y que en muchos casos fueron producidos con finalidades distintas. En el marco educativo, esto puede incluir información sobre el rendimiento escolar, pero podría abarcar un espectro mayor, atendiendo a la complejidad de las relaciones sociales que se producen dentro y fuera del aula, como intereses, interacciones y hasta perfiles emocionales y psicológicos.

La discusión en torno al tipo de tecnologías que se implementan, la forma en que se usa, los cuidados implementados en materia de derechos humanos, así como el nivel de control real y transparente que sobre la información que entra y sale del sistema son requisitos fundamentales para evitar la imposición de una lógica extractivista parasitaria de los sistemas educativos, que merme el derecho a la autonomía de estudiantes y docentes. Más todavía, cuando hablamos de niñas, niños y adolescentes.

El desarrollo de un compromiso ético profundo de las autoridades y de los cuerpos docentes con el derecho a la educación, a la autonomía, a la privacidad y a la intimidad son fundamentales previo a la implementación de cualquier sistema de IA.

El destino del archivo «inmaterial»

Brewster Kahle, fundador de Internet Archive, afirmó en Time que detrás de este proyecto hubo un interés de construir la próxima Biblioteca de Alejandría, principal núcleo del saber en la antigüedad. Contrario a la creencia popular, no fue un incendio el que causó su declive, sino una serie de hechos políticos (la expulsión de los eruditos empleados en la biblioteca y el cese de su financiamiento, por mencionar algunos) que, lastimosamente, guardan cierta relación con el actual estado de las cosas de la historia digital.

La labor de Internet Archive consiste en preservar sitios web, archivar noticias transmitidas en televisión y digitalizar libros. Es esto último lo que dio origen a la demanda realizada por las editoriales Hachette Book Group, Penguin Random House, Harper Collins y Wiley: durante la pandemia, al flexibilizar el mecanismo de préstamos digitalizados controlados de 127 títulos de las editoriales mencionadas, Internet Archive infringió leyes de derecho de autor y, según el fallo del juez John G. Koeltl de marzo de este año, no puede acogerse al concepto de “uso justo” a pesar de que, en medio del alza de contagios de COVID-19 en 2020, el acceso a bibliotecas físicas era casi imposible.

El objetivo del derecho de autor es fomentar la creación de obras culturales (libros, ilustraciones, música, películas) otorgando facultades a las y los autores para que, durante determinado tiempo, puedan decidir cómo utilizar su obra. Existen, además, lo que se conoce como excepciones y limitaciones a este derecho, las que varían de país a país. Una de ellas, el uso justo, permite disponer de material protegido por derechos de autor en determinadas circunstancias: el propósito (sin fines de lucro), el carácter del uso (el uso debe entregar valor y emplear la obra para un propósito diferente del original), la importancia de la parte utilizada y el efecto del uso sobre el valor de la obra, como bien sostiene esta columna de Wikimedia Chile.

¿Mejor pedir perdón que pedir permiso?

No solo las editoriales son la principal amenaza al acervo de internet en este momento. A fines de mayo, el sitio estuvo fuera de línea por un día completo debido a que, de acuerdo con el propio Kahle, 64 servidores virtuales de Amazon Web Services (AWS) lanzaron decenas de miles de solicitudes por segundo para capturar archivos digitalizados de dominio público. La principal sospecha recae sobre sistemas de inteligencia artificial (IA), ya que la gran cantidad y calidad de datos almacenados en Internet Archive sin duda alguna son una valiosa fuente de información para tales modelos.

Un sistema de IA puede acceder a todo el archivo digital que hay hasta hoy con fines de entrenamiento, sin importar la procedencia de los datos. Así lo comprobó Lapine, artista residente en California quien descubrió que imágenes de su rostro, pertenecientes a su registro médico, forma parte del set de datos LAION. Nunca consintió ni tampoco recibió alguna notificación sobre este destino. En enero de este año el abogado, diseñador, escritor y programador Matthew Butterick, inició una demanda contra Stable Diffusion, un modelo de IA generativa que crea imágenes de alta calidad a partir de una línea de texto o prompt. El principal argumento tiene el mismo origen que el reclamo de Lapine: Stable Diffusion utiliza copias no autorizadas de billones de ilustraciones para enriquecer sus resultados, sin conocimiento ni consentimiento de sus autores.

Como vemos, la IA no ha estado exenta de polémicas, pero más allá de predicciones agoreras sobre sus eventuales consecuencias para el futuro de la humanidad, hasta ahora no hay noticias de que alguna de las múltiples acciones judiciales iniciadas contra estos modelos haya tenido éxito y cada día aparece una nueva IA que cambiará todo, anunciada con bombos y platillos. Por el contrario, Internet Archive sí ha estado en el foco del debate en torno al derecho de autor, aun cuando son las personas las principales usuarias de su repositorio.

Sin intención de oponer el trabajo documental que realiza Internet Archive con las posibilidades insospechadas que ofrece la inteligencia artificial, es llamativo el hecho de que, en el caso de la primera, existan severos juicios en torno al uso justo y el destino de las obras: piratería, robo, entre otros adjetivos calificativos negativos. Mientras que, para el caso de la segunda, sobran las buenas palabras. Además, semana a semana aumenta la cantidad de enlaces que no llevan a ningún lado y de anuncios -de diversas plataformas- que señalan el cierre de sus servicios gratuitos de almacenamiento, en directa proporción con el surgimiento de nuevos modelos de IA.

El ángel de la historia digital

En su famosa descripción del Angelus Novus, el filósofo Walter Benjamin enfatizó en que “su rostro está vuelto hacia el pasado. Donde nosotros percibimos una cadena de acontecimientos, él ve una catástrofe única que amontona ruina sobre ruina y la arroja a sus pies” y luego imagina un huracán que se enreda en sus alas, que ”le empuja irreteniblemente hacia el futuro, al cual da la espalda, mientras los escombros se elevan ante él hasta el cielo. Ese huracán es lo que nosotros llamamos progreso”.

Hay un riesgo de que el registro digital de la humanidad no solo desaparezca a la manera de Alejandría, sino que sea alterado de formas que desde una perspectiva antropocéntrica es imposible de imaginar. En el ojo de este huracán en el que estamos desde la masificación de la inteligencia artificial generativa, la discusión legal en torno a los bienes comunes digitales se ha complejizado y necesita que expertas y expertos se lo tomen en serio a fin de preservar, proteger y disponer de la información y tecnología creada por humanos y máquinas para los años por venir. Hoy, el derecho de autor aplica únicamente para sus titulares. Las personas usuarias, en cambio, solo tienen intereses. No es justo.

Reflexiones feministas para el desarrollo de Inteligencia Artificial

Durante el primer semestre de 2022, Derechos Digitales desarrolló, con apoyo de la red f<A+i>r, una guía sobre Inteligencia Artificial (IA) feminista titulada Hacia un marco feminista para el desarrollo de IA: de los principios a la práctica.

El documento comienza con la pregunta «¿Es posible desarrollar IA que no reproduzca lógicas de opresión?», invitándonos a reflexionar en torno a cómo entendemos el campo de la IA y cuál es la participación de América Latina en los escenarios de producción de conocimiento en este campo, cuáles son los problemas de discriminación asociados a la manera en que se configura el campo de la IA actualmente y qué propuestas alternativas para la gestión cuidadosa de los datos existen. En el fondo, se trata de intentar comprender cómo las prácticas feministas pueden sentar las bases para el desarrollo de una IA inclusiva y con sentido de justicia social.

Para continuar esta discusión, entre enero y febrero de 2023, Derechos Digitales organizó una serie de conversatorios entre mujeres latinoamericanas que se encuentran desarrollando sistemas de Inteligencia Artificial al alero de la red f<A+i>r, junto a otras mujeres expertas en IA en la región. El objetivo principal de estos encuentros fue incentivar la reflexión a partir de experiencias de desarrollo de proyectos concretos. Intercambiar recomendaciones y metodologías aplicables al diseño de los sistemas, con perspectivas feministas.

Este texto está disponible en inglés y portugués.

Sobre la construcción de este texto

Este texto busca sintetizar las conversaciones desarrolladas durante los encuentros, enfatizando conceptos, desafíos y aprendizajes que pueden inspirar iniciativas futuras de desarrollo de IA. Además de referencias directas a los diálogos y a las intervenciones de las participantes, el texto busca expandir sus ideas y combinarlas con otras referencias.

Abajo se encuentra una breve descripción de las temáticas abordadas en cada uno de los espacios de diálogo realizados a lo largo del proyecto:

  • El primer encuentro, realizado el 26 de enero de 2023, se tituló “Las tecnologías como procesos colectivos” y contó con la participación de Sofía Trejo e Iván Meza, quienes se encuentran desarrollando el proyecto “Agente conversacional para apoyar el ejercicio digno de la interpretación en lenguas indígenas en el ámbito jurídico en México”. Conversaron con Karla Prudencio, directora de la Licenciatura en Derecho del Centro de Investigación y Docencia Económicas de México, sobre compromisos metodológicos para el codiseño entre comunidades, entendiendo, comprendiendo y colaborando con sus necesidades.

  • En el encuentro «Inteligencia Artificial, ¿para qué y para quién?», realizado el 31 de enero de 2023 junto a la experta Fernanda Carles, se intentó responder a la pregunta: ¿cuáles son los pasos a seguir para construir un sistema de IA? Carles mencionó algunas consideraciones a tener en cuenta en cada paso del desarrollo de proyectos de IA con un objetivo social.

  • La tercera sesión, realizada el 2 de febrero bajo el título “Poder feminista – Poder de la IA. Conexiones y disrupciones”, se planteó como una conversación entre Cristina Martínez Pinto y Luz Elena González, coordinadoras del proyecto “Perspectiva de género en el trabajo colectivo de IA en el Sur Global”, con Gina Neff, directora ejecutiva del Minderoo Center for Technology and Democracy. Las participantes dialogaron sobre cómo desarrollar posibles estrategias para lograr la participación de las mujeres trabajadoras colectivas o crowd workers en esfuerzos de conexión y organización de forma digital.

  • En  “¿Se puede ajustar el enfoque feminista a los protocolos?”, cuarta y última sesión del ciclo, realizada el 8 de febrero,  Virginia Brussa, una de las responsables del proyecto “Integración de la perspectiva de género al diseño de proyectos de Data Science para el sector público en Latam”, intercambió con Maia Numerosky, ingeniera en ciencia de datos, quien compartió sus perspectivas sobre el desarrollo y despliegue de proyectos de este tipo desde el sector público y la academia.

Los conversatorios contaron con la facilitación de Adriana Castrillón y Juliana Guerra, y la participación activa de personas del equipo de Derechos Digitales y del nodo de América Latina y el Caribe del proyecto f<a+i>r.

Iniciativas de IA feminista en América Latina

CC:BY (Maria José Porras Sepúlveda)

América Latina ha sido un importante centro de producción y reflexión sobre tecnologías feministas y en materia de IA no es diferente. Desde 2020, la red f<a+i>r, viene creando un espacio de intercambio y fortalecimiento de una serie de iniciativas que se proponen pensar y desarrollar una IA inclusiva y transformadora. Actualmente, la red es liderada por Women at the Table, el Tecnológico de Costa Rica y el Tecnológico de Monterrey, con el apoyo del International Development Research Centre (IDRC), y tiene un activo nodo en América Latina y el Caribe. Además de constituir una red, f<a+i>r promueve la investigación y la experimentación con la producción de IA feminista.

A continuación encontrarás más detalles de los proyectos de IA feminista discutidos durante los diálogos impulsados por Derechos Digitales y que fueron apoyados y financiados por la red f<a+i>r en América Latina entre 2022 y 2023

Agente conversacional para el apoyo al ejercicio digno de la interpretación en lenguas indígenas en el ámbito legal

La iniciativa buscó codiseñar con intérpretes de lenguas indígenas un agente conversacional que permitiera a las personas intérpretes generar datos de forma colaborativa para visibilizar las problemáticas que enfrentan en el día a día al desarrollar su labor; mejorar la planeación y toma de decisiones; dar mayor poder de incidencia en política pública a las personas intérpretes y a sus organizaciones en temas relacionados con interpretación y acceso a justicia en México. De manera complementaria el agente permitiría a las personas intérpretes construir conocimientos colectivos (como glosarios) que pudieran servirles como herramientas de apoyo en su labor. 

El proyecto buscó alinear todos sus procesos y resultados con los principios de codiseño, beneficios compartidos, autonomía digital y soberanía de los datos. Para poder accionar estos principios, una parte fundamental del trabajo de investigación se sustentó en talleres presenciales, que sirvieron como espacio de diálogo y escucha. Además de los principios, el proyecto tomó en consideración la perspectiva de género de manera transversal durante todo su desarrollo. No solo al buscar la equidad en cifras, sino al generar un espacio (un taller de género) que permitiera incorporar la perspectiva de género en el diseño del proyecto y del agente.

Fue importante para el proyecto que todos los procesos de desarrollo estuvieran enfocados en balancear las relaciones de poder entre los diversos actores involucrados, particularmente entre el equipo de investigación, las personas intérpretes y los grupos de intérpretes. Este ejercicio se vio reflejado en la metodología de trabajo, que incluyó la elaboración de un protocolo de investigación y acuerdos comunitarios, y el establecimiento de estrategias para accionar los Principios CREA para el manejo de datos indígenas a lo largo del proyecto.

Más información sobre el proyecto y las personas intérpretes que colaboraron en su desarrollo puede ser consultada en su sitio web.

Integración de la perspectiva de género al diseño de proyectos de ciencia de datos para el sector público

Esta iniciativa tuvo por objetivo formular una metodología de diseño de proyectos de ciencia de datos para funcionarios públicos, a partir de dimensiones alternativas de análisis y de propuestas de acción regional. En el análisis se integran enfoques provenientes del campo de la justicia de datos, del diseño y la interseccionalidad, para promover una implementación crítica de la ciencia de datos en la arena pública y profundizar etapas claves que fortalezcan la formulación de preguntas, conformación de equipos y la naturaleza híbrida de los datos inherentes a los procesos de toma de decisiones.

La metodología de desarrollo incluyó la realización de tres talleres en octubre y noviembre de 2022 en Rosario, Argentina, dirigidos a funcionarios públicos y activistas de diversos campos de la región. Durante los talleres se exploraron y validaron cambios a una ficha de diseño de proyecto utilizada en Chile y publicada en una guía del Banco Interamericano de Desarrollo (BID) para América Latina. En esas instancias se buscó entender la necesidad de una estrategia de gobernanza, la importancia de la participación pública en proyectos de ciencias de datos desde el Estado y el concepto de justicia de datos como alternativa a la idea de ética de datos.

Como resultado, la iniciativa propone la reformulación de las fichas de proyectos de ciencias de datos en el sector público considerando una revisión interna, los aportes colectivos de los talleres en línea realizados y un análisis a partir de un conjunto de dimensiones exploratorias. Los cambios principales se refieren a la inclusión de instrumentos participativos en las distintas etapas del diseño, de una estrategia de gobernanza de proyectos y una visión transversal e iterativa de justicia de datos, en clave feminista.

«Tuvimos que adaptar los materiales para los talleres, no solo para hablar de las cuestiones técnicas, sino del enfoque feminista. Surgieron preocupaciones con la afectación al derecho a la privacidad, pero no tanto con los derechos a la comunicación o la información. Hay que seguir pensando en cómo comunicar los temas de ciencia de datos para poblaciones afectadas por este tipo de proyectos y en qué derechos necesitamos», indicaron Virginia Brussa y María Paz Hermosilla, responsables del proyecto.

Un artículo completo sobre el proyecto se puede leer aquí.

Avanzando una perspectiva de género para las Crowd Workers en IA desde el Sur Global

Se trata de un proyecto de investigación sobre las mujeres latinoamericanas que trabajan etiquetando contenidos que serán utilizados para el entrenamiento de modelos de IA, las llamadas Crowd Workers. La investigación incluyó la realización de encuestas para comprender quiénes son, cómo trabajan y cuáles son sus necesidades.

A partir de la comprensión de sus contextos, sus realidades familiares y los principales desafíos que enfrentan, el proyecto propone el desarrollo de una plataforma de IA que incluya perspectivas feministas para las plataformas de Crowd Work, permitiendo a las trabajadoras intercambiar informaciones, generar asociaciones y conseguir escalar los sistemas.

«Encontramos que estas mujeres no cuentan con canales de comunicación para conectar con otras trabajadoras ni con herramientas de traducción para muchas de las tareas que realizan. Nuestra plataforma, apoyada por IA, va a recomendarles herramientas que les ayuden a desarrollar habilidades para su crecimiento profesional y les permitirá conectar con otras colegas», afirman las responsables del proyecto.

La descripción completa del proyecto y sus hallazgos puede ser encontrada aquí.

Reflexiones feministas sobre IA

CC:BY (Maria José Porras Sepúlveda)

Revisitando conceptos

La Inteligencia Artificial ha incorporado una serie de conceptos específicos al lenguaje cotidiano y la construcción de sistemas de IA feminista requiere examinarlos e interrogarlos. En IA, como en cualquier campo, el lenguaje no es neutral y las expertas latinoamericanas investigando y desarrollando sistemas han repensado esos conceptos en sus propios términos y palabras.

La misma idea de “Inteligencia Artificial” ha estado sujeta a cuestionamientos y fue objeto de discusión durante los diálogos. Fernanda Carles la define como la capacidad de un sistema de adaptarse a su ambiente para resolver un problema, operando con insuficiencia de conocimientos y recursos. Se trataría de sistemas que están diseñados para procesar una cantidad enorme de información y que pueden resolver problemas que los humanos no. En algunos casos es más rápida «y, bien diseñada, puede ser más objetiva», apunta. 

Carles diferencia dos tipos de IA: la Inteligencia Artificial angosta y la general.  «La IA angosta es la que vemos que se está desplegando hoy en día, la que existe fuera de la teoría. Está enfocada en tareas específicas o delimitadas. No tienen conciencia, autoconciencia o habilidad de pensar», a diferencia de lo que la idea misma de “inteligencia” podría sugerir.

Por su parte, la experta apunta que la IA general es un desarrollo que solo existe en teoría, pues no se ha hecho realidad. La idea es generar sistemas computacionales que puedan experimentar la información de formas similares a la de los seres humanos, que tengan la capacidad de aprender, generalizar, aplicar conocimientos y planificar el futuro, que sea creativa, exprese emociones y que pueda trabajar sin supervisión.

Matteo Pasquinelli y Vladan Joler, en un manifiesto sobre la IA como mecanismo de extracción del conocimiento, apuntan que en la expresión “Inteligencia Artificial” el adjetivo artificial conlleva un mito de autonomía de la tecnología, tal como explica Carles sobre la idea de IA general. Según ellos, tal idea mistifica dos procesos de alienación en favor de un régimen corporativo extractivista del conocimiento humano: la autonomía geopolítica de las empresas de tecnología y la invisibilización de la autonomía de las personas trabajadoras. En su trabajo, plantean cambiar tal lógica y pensar el aprendizaje de máquinas como un instrumento para ampliar el conocimiento. Su reflexión completa puede ser leída en portugués aquí.

Fernanda Carles introdujo otros dos conceptos también centrales para el desarrollo de proyectos de Inteligencia Artificial: modelado y ponderación.

El modelado de datos es el proceso de documentar un diseño de sistema de software complejo como un diagrama de fácil comprensión, usando texto y símbolos para representar la forma en que los datos necesitan fluir. El modelado no indica cómo va a ser la red, sino el tipo de datos que lo va a alimentar.  «Agrego datos que yo conozco, controlo lo que salga y con eso analizo qué nueva información puede darme», indica Carles. 

Ella explica que el análisis de correlación permite entender qué grado de dependencia tiene la variable objetivo (lo que se quiere predecir o clasificar) con otras variables. Con esto es posible tomar decisiones acerca de qué datos usar o no, y qué importancia tiene cada variable en el sistema desde un punto de vista matemático.  

Maia Numerosky apunta que «los datos son un aspecto fundamental» en un sistema de IA. Ella enfatiza cómo los datos representan relaciones de poder: la disponibilidad de unos datos u otros representa relaciones sociales más profundas. «Por ejemplo contamos con menos datos de las personas que trabajan de manera informal, menos datos de abortos clandestinos, menos datos de personas trans y no binarias. Ningún trabajo de mitigación de sesgos que se haga sobre los algoritmos produce una mejora sobre la base de datos».

De esta manera, un primer problema a la hora de considerar implementar un modelo de IA está en la disponibilidad y representatividad de los datos, además de los criterios considerados a la hora de su recolección. La indisponibilidad o falta de representatividad de los datos puede producir una serie de problemas. Por ejemplo, respecto del entrenamiento de los sistemas, la falta de datos va a significar que hay cosas que los sistemas nunca van a poder “aprender” y eso va a impactar en sus resultados.

En la investigación Inteligencia Artificial & Inclusión, liderada por Derechos Digitales y desarrollada en alianza con un conjunto de organizaciones académicas y de sociedad civil latinoamericanas, se pudo detectar los impactos de conjuntos sesgados de datos a la decisión mediada por sistemas automatizados.  En esos casos, los sesgos pueden impactar en la calidad de vida y la autonomía de las personas afectadas, además de potencialmente reiterar su condición de exclusión y profundizar desigualdades pre-existentes.

Hablando sobre el uso de IA en el ámbito de políticas públicas, Numerosky apunta que «el problema es dónde y cómo se recogen los datos. Los datos deben ser recogidos con calidad y con criterios claros por los distintos organismos». De lo contrario, será imposible analizarlos y generar información relevante para el desarrollo de políticas públicas.

Numerosky distingue entre dos tipos de datos sobre los que trabaja la IA: datos críticos y datos no críticos. Los primeros serían datos personales, mientras que los segundos son datos que refieren a objetos o accesorios. En cualquier caso, puede tratarse de una distinción tenue, porque también los objetos pueden revelar informaciones personales e incluso, sensibles.

La disponibilidad y exactitud de los datos, por lo tanto, puede implicar la existencia de sesgos que, si no son detectados y abordados desde el inicio, pueden impregnar todo el sistema, afectando sus resultados. Un sesgo ocurre cuando hay un peso desproporcionado a favor o en contra de un dato u otro. Ahí es importante recordar lo que resaltaba Numerosky: al hablar de datos, muchas veces nos referimos a informaciones recolectadas o inferidas de personas reales, que serán afectadas por dichos sesgos.

Los sesgos pueden ocurrir en la fuente de recolección, cuando la población no es representativa del fenómeno a ser estudiado. También puede haber sesgos en el diseño del protocolo, sesgos de ingeniería de datos o de los mismos algoritmos. Por ejemplo, arreglos estadísticos realizados en las bases de datos pueden distorsionar la investigación: «si metes basura en tu modelo, te va a devolver basura», resume Fernanda Carles.

Otro concepto importante surgido en las conversaciones fue el de datos abiertos, que se refiere a una filosofía y práctica que persigue que determinados tipos de datos estén disponibles de forma libre para todo el mundo, sin restricciones de derechos de autor, de patentes o de otros mecanismos de control técnicos o jurídicos. Los datos abiertos son datos digitales que son puestos a disposición con ciertas características técnicas y jurídicas necesarias para que puedan ser usados, reutilizados y redistribuidos libremente por cualquier persona, en cualquier momento y en cualquier lugar.

Cabe resaltar que, de acuerdo con la Carta Internacional de Datos Abiertos, la apertura de datos solo puede ocurrir cuando las personas tienen certeza de que eso “no comprometerá su derecho a la privacidad” y tengan el “derecho a influir en la recolección y uso de sus datos personales o de datos generados como resultado de su interacción con los gobiernos”. Por otro lado, no se trata simplemente de publicar información: hay una serie de criterios que deben cumplirse para que un conjunto de datos pueda ser considerado abierto y pueda ser utilizado libremente en distintas aplicaciones.

CC:BY (Maria José Porras Sepúlveda)

Durante el diálogo entre Virginia Brussa y Maia Numerosky se habló además de la importancia de la interoperabilidad, la característica de los datos de poder ser procesados en distintos tipos de sistemas y de diferentes formas, sin ningún tipo de traba técnica. Pensando en la importancia de los datos abiertos en el ámbito público, se cuestionó «¿cómo tener una justicia menos machista, por ejemplo, si no podemos entender los datos de manera sistemática o si los datos no están disponibles?». 

El punto no solo retoma la discusión sobre sesgos en la recolección y disponibilidad de bases de datos y las luchas históricas del movimiento feminista para que ciertas informaciones sean recolectadas de manera sistemática por el Estado, por ejemplo, en materia de violencia contra las mujeres. También toca debates sobre el derecho de acceso a la información, la transparencia pública y la transparencia algorítmica: temas actuales en las discusiones sobre la regulación de IA y, a la vez, fundantes en las discusiones sobre derechos humanos y los límites a la operación estatal.

La idea de datos abiertos fue presentada en contraposición al diagnóstico de que «los códigos funcionan y a veces no entendemos muy bien por qué», como lo sintetizó Virginia Brussa. La referencia es a la idea diseminada de que los algoritmos de IA funcionan como una “caja negra” y que es imposible conocer su funcionamiento de manera completa.

Brussa señala que este es un problema común en el sector público, donde muchas veces se adquiere y adaptan tecnologías de terceros ya desarrolladas sin que haya un conocimiento acabado de sus características: «en el sector estatal se compran muchos empaquetados de software que son de código privativo, y no sabemos cómo funciona el código». Esto es particularmente problemático cuando se trata de IA, puesto que las decisiones tomadas de manera automatizada en el sector público también deben ser justificadas y explicadas. La adopción de sistemas en los modos indicados por Brussa agrega una capa de opacidad a la operación estatal y, en el caso de afectación de derechos, hace también más complejo reparar eventuales daños.

Las propuestas de explicabilidad y de transparencia algorítmica desarrolladas en normas sobre protección de datos y sobre IA, así como en distintas propuestas de marcos éticos desarrollados en diferentes sectores, buscan responder a esos desafíos. La transparencia algorítmica implica que los factores que influencian las decisiones tomadas por los algoritmos sean visibles a las personas que utilizan, regulan y son afectadas por ellos. Por otro lado, la explicabilidad garantiza que estas decisiones puedan ser comprensibles y es un elemento clave para la transparencia.

Más allá de la necesidad de nuevas normas, las participantes enfatizaron que América Latina ha sido pionera en implementar políticas y prácticas de datos abiertos, incluso por medio de contrataciones abiertas y que hay que visibilizar esas iniciativas desde el sector público, como forma de incidencia para que se mantengan y puedan institucionalizarse y expandirse, incluso en favor de mayor transparencia algorítmica.

CC:BY (Maria José Porras Sepúlveda)

Desafíos

El avance en el uso de la Inteligencia Artificial ha conllevado una serie de desafíos que permean la labor de las personas dedicadas a desarrollar iniciativas feministas y a pensar cómo las prácticas feministas pueden ser incorporadas en proyectos de IA. Muchos de ellos son ampliamente conocidos, aunque haya poco espacio en el debate público para su discusión.

Durante los diálogos, las participantes indicaron distintos peligros potenciales a la implementación de sistemas de IA, empezando por los sesgos, que pueden estar en las bases o los modelos, pero que también reflejan patrones de discriminación históricos. «Toda tecnología que hace predicciones o nos da conclusiones a partir de la detección automática de patrones en conjuntos de datos, va a potenciar los sesgos existentes y, por lo tanto, los va a amplificar y propagar», resume Maia Numerosky.

Los sesgos en las bases de datos pueden ser más o menos evidentes. Entrenar un sistema que automatice la selección de personas a puestos de dirección con base en datos existentes sobre quienes ocupan tales puestos puede implicar reproducir un sesgo histórico en favor de un grupo social bastante específico, por ejemplo: hombres y personas de piel blanca, que son quienes mayoritariamente han ocupado dichos puestos.

Por otro lado, hay sesgos más sutiles que requieren una mirada atenta: entrenar un sistema para identificar patrones de contagio por COVID19 y orientar políticas de mitigación utilizando datos de autodiagnóstico disponibles a partir de una aplicación en línea, por ejemplo, implica potencialmente desconsiderar una serie de casos no reportados por parte de personas que no gozan del acceso a dispositivos o conexiones con la calidad requerida para utilizar aplicaciones de autodiagnóstico. Las desigualdades y brechas sociales, por lo tanto, también se reflejan en las bases de datos.

«Los modelos son opiniones incrustadas en la matemática. Cualquier modelo, sea algorítmico o no, constituye una abstracción de la realidad y simplifica e ignora detalles», explica Numerosky, quien también sugiere que «tenemos que tener en consideración los sesgos en todo el proceso de trabajo con los datos, desde la recolección del modelo hasta la evaluación de su funcionamiento», una lección clave para iniciativas de IA feministas, pero también para cualquier proyecto del tipo.

Por otro lado, se identifican actualmente una serie de desafíos en obtener información sobre el uso de sistemas automatizados en los Estados en la región, como apuntó Derechos Digitales en sus estudios sobre IA & Inclusión en América Latina. En los diálogos se ha enfatizado la existencia de iniciativas interesantes en la disponibilización de información sobre el uso de algoritmos en países como Chile, por ejemplo, donde el Consejo de Transparencia en conjunto con la Universidad Adolfo Ibáñez ha publicado un estudio con un listado de 219 sistemas en operación y una propuesta de estándar para orientar tal publicación. Sin embargo, las participantes señalan la importancia de que se adopten principios de datos abiertos en su publicación y se considere incorporar mecanismos que faciliten obtener información significativa sobre los sistemas implementados, sin tener que consultar individualmente a cada una de las agencias sobre su operación.

Pensando en el desarrollo de sistemas por parte de grupos feministas, se discutió el desafío que implica adquirir conocimiento para la creación de una aplicación que incorpore elementos de IA para resolver problemas relevantes en una comunidad, especialmente cuando hay que desarrollar código desde etapas muy iniciales. Este tipo de iniciativa es clave para reivindicar la IA en favor de intereses colectivos, comunes y públicos, más allá de la lógica comercial que ha orientado su desarrollo.

Según Virginia Brussa, proyectos ciudadanos que proponen crear una aplicación implican un enorme desgaste durante el desarrollo para obtener y poner en común el conocimiento. Ella considera que no hay suficientes materiales accesibles que puedan ser replicados, adaptados y reutilizados en el marco de esos proyectos y «es necesario que más materiales circulen».

Para ella, es importante que en proyectos de este tipo se hagan esfuerzos por gestionar mejor el conocimiento y documentar no solo los resultados, sino también los procesos de desarrollo. En la misma línea, una propuesta que surgió en los diálogos en respuesta a tal desafío fue la importancia de fomentar la creación, promoción y la sostenibilidad de bibliotecas de código abierto: repositorios que contengan código con licencias libres que permitan a cualquier persona reutilizar, modificar o publicarlos, sin la necesidad de solicitar permiso a sus desarrolladores.

Pensando en iniciativas feministas, Sofía Trejo resalta que cualquier proceso de apertura de información debe estar anclado en los acuerdos desarrollados en el marco de cada proyecto y con cada comunidad: «trabajamos mucho el qué es compartir; para cada uno, qué es compartir para el mundo», cuenta. Ella enfatiza que la decisión sobre qué conocimiento compartir o no cabe a las comunidades.

Iván Meza complementa apuntando a que es necesario entender la política que hay por detrás de la elección de una tecnología. Él resalta que las tecnologías no son neutrales y, al contrario, son impactadas y tienen impactos en las relaciones de poder. Por ello, hay que preguntarse sobre los “porqués” antes de llegar al “cómo”.

Karla Prudencio resalta la importancia de desarrollar procesos más largos y que permitan generar relaciones duraderas para que estas reflexiones puedan darse de manera significativa. Sobre el proyecto desarrollado con Meza, ella cuenta: «uno de nuestros principios es que solo vamos a comunidades que nos han llamado». Un desafío que persiste, según ella, es obtener fuentes de financiación para desarrollar iniciativas que se enfoquen en procesos más que en resultados, y que vayan más allá de lo tecnológico.

A modo de guía: aprendizajes desde las iniciativas feministas latinoamericanas

CC:BY (Maria José Porras Sepúlveda)

Durante los diálogos, las participantes identificaron principios y valores que guiaron su trabajo construyendo procesos y proyectos de IA orientados por una ética y unas prácticas feministas. Sus aprendizajes pueden inspirar futuras iniciativas que apunten en la misma dirección.

Construyendo un equipo comprometido y colaborativo

  • Un proyecto de IA feminista debe empezar por la construcción de un equipo de trabajo diverso, considerando una perspectiva interseccional. Se debe priorizar la inclusión de personas que históricamente han sido excluidas de los espacios de decisión y desarrollo de tecnologías, como mujeres y personas LGBTQIA+, y la creación de equipos multidisciplinarios que incluyan, por ejemplo, expertas en ética.
         
  • Acuerdos de trabajo y colaboración entre el equipo y la comunidad que participan en el desarrollo del proyecto deben ser establecidos de manera explícita: eso implica identificar y tratar eventuales conflictos de interés, establecer acuerdos sobre la propiedad y la autoría de cualquier material derivado de la interacción, definir las licencias que se utilizarán para la publicación y difusión de datos, artículos, reportes, etc.

  • Es necesario fortalecer espacios para poner en común los saberes, de manera que se pueda ampliar la comunicación y el aprendizaje, no solo sobre IA, sino sobre tecnología.

Eligiendo, utilizando y cuidando las tecnologías, los datos y las personas

  • Es importante explorar opciones de abordaje considerando el contexto donde el proyecto se va a implementar. La selección de una determinada tecnología no es neutra y tiene impacto en las relaciones de poder que establecen.

  • Las tecnologías o la Inteligencia Artificial no debe ser entendidas como la solución para todo. Los proyectos deben desarrollarse con base en las necesidades concretas identificadas, no meramente como una herramienta de consumo.

  • «Es fundamental detenerse un rato para decidir si es necesario un sistema de IA y capacitar a las personas en hacerse esa pregunta», resalta Maia Numerosky. En el caso de que se decida por un sistema así, ella recomienda «pensar en el objetivo de la aplicación: si será descriptiva, predictiva, prescriptiva; los cuidados y los efectos que tendrá».

  • Al elegir una aplicación tecnológica hay que entender las políticas que las orientan y, en el caso de propuestas que adapten sistemas utilizados previamente, conocer la historia de su implementación en otros contextos, para incorporar aprendizajes y evitar utilizar bases de datos reconocidamente construidas de manera poco ética.

  • Todas las personas participantes de un proyecto de IA deben contar con las capacidades necesarias para apropiarse de las tecnologías, incluso las utilizadas a lo largo del proceso de desarrollo del sistema o aplicación. Si bien es importante distribuir funciones en un equipo de trabajo, todas las personas del equipo deben sentirse capaces de intervenir en las decisiones sobre las tecnologías utilizadas y las funciones proyectadas para el sistema. La creación de talleres u otros espacios de intercambio de conocimientos sobre las tecnologías es central para que eso sea posible.

  • Cualquier proceso de desarrollo de IA debe guiarse por la protección de las personas y de su autonomía. Fuertes criterios de anonimato y pseudonimato deben ser considerados en la construcción y uso de bases de datos, y en su posterior puesta a disposición.

A modo de conclusión: fomentar la participación, expandir comunidades, construir futuros

CC:BY (Maria José Porras Sepúlveda)

«La AI que tenemos hoy va a ser la infraestructura de la sociedad digital de mañana» advierte Gina Neff. De ahí la importancia de contrarrestar narrativas dominantes que presentan a la IA como una solución ahistórica, ajena a las desigualdades sociales estructurales y que, de no ser reconocidas, pueden ser enquistadas en nuestro futuro.

Una Inteligencia Artificial al servicio de la justicia social es una tecnología territorializada, creada para la comunidad, con la comunidad: las comunidades no están fuera del proceso y no deben ser consideradas de manera externa a la iniciativa en desarrollo. Al contrario, deben estar presentes en todo el ciclo de vida de la creación de un sistema o aplicación de IA, desde las etapas de planificación y diseño. Deben no solo poder intervenir, sino poder cuestionar las intervenciones propuestas.

Generar y mantener un espacio para el diálogo y escucha es fundamental, así como permitir que puedan tener efectiva agencia en los procesos de investigación y desarrollo. La creación de metodologías específicas para facilitar la participación y escucha de las diferentes comunidades potencialmente afectadas por una iniciativa de IA es clave para seguir avanzando en propuestas feministas.

Además, existe un deber ético de todas las personas que han participado en iniciativas de desarrollo de IA desde una perspectiva feminista de compartir y difundir sus experiencias y conocimientos, considerando siempre los acuerdos colectivos establecidos durante el proceso. Respetando las particularidades de cada contexto y la protección de la privacidad y autonomía de las personas y comunidades involucradas, es importante documentar las distintas etapas de desarrollo o discusión y considerar la disponibilización de códigos o datos en formato abierto para contribuir con iniciativas futuras que puedan fundarse en principios y compromisos comunes.

Junto con ello, la opción por bases de datos, modelos y códigos libres, abiertos e interoperables y por infraestructuras que no dependan de grandes empresas de tecnologías, siempre que sea posible, también es una decisión política al representar una forma de apoyar formas alternativas de desarrollar tecnologías.

Estas medidas pueden ayudar a la necesaria tarea de imaginar futuros comunes más justos y libres de opresión.

CC:BY (Maria José Porras Sepúlveda)

Participantes en los conversatorios

  • Cristina Martínez Pinto es la fundadora y CEO del PIT Policy Lab. Trabajó como consultora de desarrollo digital en el Banco Mundial, dirigió AI for Good Lab de C Minds y cofundó la Coalición Nacional de IA de México IA2030Mx. Es exalumna de la comunidad Global Shapers del Foro Económico Mundial (WEF), miembro de The Day One Project Technology Policy Accelerator y la miembro más joven de la Junta de Asesores del Centro Beeck para el Impacto Social y la Innovación.

  • Fernanda Carles es activista, educadora y programadora. Trabajó durante 5 años en roles de coordinación, gerencia y consultoría para organizaciones de la sociedad civil, abordando temas como educación con tecnología, seguridad digital, tecnología ética y derechos humanos en internet. Actualmente es encargada de un espacio maker educativo y trabaja en investigación en el Laboratorio de Mecánica y Energía de la Universidad Nacional de Asunción, utilizando aprendizaje de máquina para monitoreo y predicción de polución en el aire en la ciudad.

  • Gina Neff dirige el Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge. Su investigación galardonada se centra en cómo la información digital está cambiando nuestro trabajo y nuestra vida cotidiana. Sus libros incluyen Venture Labor (MIT Press 2012), Self-Tracking (MIT Press 2016) y Human-Centered Data Science (MIT Press 2022).

  • Iván Meza es investigador de la Universidad Nacional Autónoma de México (UNAM), especializado en Procesamiento del Lenguaje Natural y ha trabajado en el desarrollo de traductores de lenguas indígenas.

  • Karla Prudencio es jefa de Incidencia Política en Redes A.C. e Investigadora del Centro Mexicano de Tecnología y Conocimiento Comunitario (CITSAC). Fue Asesora Jurídica Principal del Instituto Federal de Telecomunicaciones de México y jefa de la Oficina de Transparencia y Protección de Datos del Centro de Investigación y Docencia Económicas. También tiene un historial de trabajo con comunidades rurales e indígenas en México en conectividad y derechos digitales.

  • Luz Elena González es una tecnóloga comprometida con el diseño ético de políticas tecnológicas para crear ciudades más inclusivas, sostenibles y resilientes en América Latina. Como líder de proyecto en PIT Policy Lab, ha desarrollado el flujo de género de la organización, gestionando equipos de investigación y desarrollando recomendaciones de políticas públicas.

  • Maia Numerosky es Data Science Engineer en Eryx Coop. Ha trabajado como docente multidisciplinaria en enseñanza media y superior de matemática. Es licenciada en Matemática Aplicada de la Universidad de Buenos Aires.

  • María Paz Hermosilla es Fundadora y Directora del GobLab, laboratorio de innovación pública de la Escuela de Gobierno de la Universidad Adolfo Ibáñez, experta en innovación pública y uso de tecnologías para la transformación del Gobierno. Ha ejercido posiciones en la administración del Estado y asesorado a agencias en temáticas de transformación del Estado, innovación y uso ético de información. Docente en ética de datos en posgrados en varias escuelas de la UAI.

  • Sofía Trejo es doctora en matemática e investigadora del Centro Nacional de Supercomputación de España (BSC-CNS), especializada en los aspectos éticos, legales, sociales, económicos y culturales de la Inteligencia Artificial.  Interesada en promover el entendimiento crítico de la tecnología dentro y fuera de espacios académicos, con un enfoque particular en temas relacionados con género y los «Sures Globales».

  • Virginia Brussa es docente e investigadora en temas de datos, género, contexto internacional en gobernanza tecnológica y políticas públicas. Coordina el proyecto +Datalab (UNR), es co-directora de la unidad de investigación sobre Educación Abierta Ambiental en la Plataforma de Estudios Ambientales y Sostenibilidad (PEAS-UNR) y contraparte de proyectos locales sobre datos abiertos del Plan Federal de Gobierno Abierto de Argentina.


Créditos

Este proyecto ha sido idealizado y liderado por Juliana Guerra en conjunto con el equipo de Derechos Digitales y contó con la colaboración de Adriana Castrillón y Maria José Porras Sepúlveda.

Este esfuerzo ha sido viable gracias al apoyo de la Red f<a+i>r.

Equipo de realización de los conversatorios

Alejandra Erramuspe
Adriana Castrillón
Juliana Guerra
Ileana Silva
María Encalada

Sistematización y notas

Adriana Castrillón
Juliana Guerra
Ileana Silva

Texto

Ileana Silva
Jamila Venturini
Vladimir Garay

Revisión y correcciones

Vladimir Garay

Traducción

Alice Nunes, Jennifer Marshall e Sarah Reimann de Urgas Tradu.c.toras

Video (concepción y guión)

Ileana Silva
Vladimir Garay

Ilustraciones y animaciones

Maria José Porras Sepúlveda

Apoyo financiero y administrativo

Camila Lobato
Juan Carlos Lara
Paula Jaramillo

Supervisión general

Jamila Venturini
Juan Carlos Lara
Michel Souza
Vladimir Garay

Versión y licencia

«Reflexiones feministas para el desarrollo de Inteligencia Artificial».

Versión 2.0 del 24 de mayo de 2023.

Esta obra se encuentra bajo una licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0): https://creativecommons.org/licenses/by/4.0/deed.es

Tratados de comercio digital no pueden impedir transparencia sobre IA

Hace unas semanas se publicó el AI Index 2023 de la Universidad de Standford, que analiza diferentes aspectos relativos a los avances de la Inteligencia Artificial, con una mirada comparativa de la Human-Centered Artificial Intelligence. Varios aspectos de esta publicación son dignos de mención. Entre ellos, el crecimiento en el número de incidentes y controversias relativas a la IA, que se ha multiplicado por 26 desde 2012, según datos del Algorithmic, y Automation Incidents and Controversies (AAIC).

Diversas investigaciones relativas, por ejemplo, a ChatGPT, también demuestran que los problemas relacionados con el uso de estos sistemas, ya sea por parte del sector privado o por parte de las autoridades, se hacen cada vez más evidentes y confirman las preocupaciones de varias organizaciones de derechos humanos dedicadas a estudiar la temática en los últimos años. Por otro lado, llama la atención el mapeo de importantes sistemas de aprendizaje automático atribuidos a investigadores de determinados países. Siguiendo la tendencia de años anteriores, en 2022 la gran mayoría de autores son de países del norte global, concretamente de Estados Unidos, algunos países europeos y China.

Destacamos un punto que amerita mayores consideraciones de los países latinoamericanos, en especial, la utilización de tratados de comercio digital para la regulación de inteligencia artificial, además de dispositivos que puedan impedir la transparencia del uso de varios sistemas de IA. 

Tratados de comercio: la agenda digital sin consideraciones de derechos humanos

Diversos tratados de comercio tienen consecuencias para los entornos digitales, regulando aspectos en temas como el comercio electrónico, la protección del consumidor en línea y el establecimiento de estándares para la inteligencia artificial. El Acuerdo de Asociación de Economía Digital (DEPA), firmado por Chile, Nueva Zelanda y Singapur, contiene un capítulo específico sobre IA, obligando a los Estados a adoptar marcos éticos para la gobernanza de esta tecnología.

Pero estos tratados de comercio digital también pueden prohibir exigir transparencia de los algoritmos, impidiendo la divulgación del código fuente de los softwares de IA, lo que puede limitar las posibilidades para la búsqueda de soluciones a estos problemas, excluyendo la participación de autoridades judiciales o reguladoras. Así, por ejemplo, lo establece la propuesta de reglamentación sobre IA de la Unión Europea, presentada en 2021 y que todavía está en discusión.

Actualmente se han suscrito una serie de acuerdos comerciales bilaterales y multilaterales con compromisos para permitir el libre flujo de datos a través de las fronteras, fortalecer las leyes nacionales sobre secretos comerciales y aplicar estrictas protecciones de propiedad intelectual para el código fuente y los algoritmos inclusive, esto viene en forma de una nueva prohibición para que los gobiernos exijan el acceso o la transferencia del código fuente del software, sujeto a ciertas excepciones, y cuenta con el apoyo activo de EE. UU., Australia, Canadá, Japón y Nueva Zelanda.

Los esfuerzos por inyectar otra capa de protección para el software en el derecho comercial digital pueden ser muy problemáticos. La cláusula del código fuente ya puede resultar demasiado restrictiva para las políticas digitales nacionales. Al mismo tiempo, se ha avanzado mucho menos en abordar los riesgos y daños transfronterizos asociados con la IA, en áreas como la política de competencia, la protección de datos personales, las protecciones contra el uso abusivo de algoritmos en los mercados laborales y de consumo, y el uso respetuoso con los derechos humanos, de forma transparente y responsable.

Haciendo un análisis histórico, las disposiciones que prohíben los requisitos de divulgación del código fuente fueron introducidas por EE. UU. en las negociaciones del Acuerdo Transpacífico de Cooperación Económica (TPP) y desde entonces han sido emuladas en muchos otros acuerdos comerciales, aunque muchos países en desarrollo se oponen firmemente a ellas. El TPP impide a los estados suscriptores solicitar la transferencia o el acceso al código fuente de software. El código fuente es la especificación de un proceso computacional que puede ser compilado y ejecutado por una computadora.  En contraste con el código fuente se encuentra el llamado «código objeto», que es el que convierte el código fuente (legible por el ser humano) en instrucciones legibles por la máquina, mediante un proceso conocido como «compilación». El código fuente de un programa informático puede estar protegido por propiedad intelectual y considerarse secreto comercial. De acuerdo con el artículo 10.1 del Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio (ADPIC), de la OMC, los programas informáticos, tanto en código fuente como en código objeto, pueden protegerse mediante derechos de autor. Por lo anterior, estas disposiciones pueden amenazar el derecho de acceso a la información pública y, por tanto, el derecho a la libertad de expresión, según lo determinan la Constitución y las leyes de varios países latinoamericanos.

La transparencia, además de reforzar la confianza en las instituciones, constituye un derecho humano fundamental cuando se considera desde la perspectiva del acceso a la información. Este es un derecho consagrado en la Convención Americana sobre Derechos Humanos y, en el caso chileno, es una obligación del Estado prevista en la Constitución, en sus artículos 8 y 19 n. 14, en virtud del cual se presume pública toda la información que obre en poder de los órganos de la administración del estado y del principio de máxima transparencia o divulgación, expresamente definido en la ley de acceso a la información pública.

Pese a lo anterior, no se puede denegar la solicitud de acceso a información pública referida al código fuente de una aplicación estatal de reconocimiento facial, por ejemplo, en base a la supuesta vulneración de derechos de propiedad. La divulgación del código fuente de un software permite auditar su funcionamiento, participar en su mejora y controlar su seguridad, idoneidad y eficacia. Sin embargo, hay posiciones que lo consideran una forma de divulgación forzada de tecnología y como una barrera al comercio exterior. Así lo establecen los “Report on Foreign Trade Barriers” elaborados por EE. UU. en los años de 2022 y 2023, pero sin considerar los derechos humanos involucrados en estos casos.

El uso de la inteligencia artificial debe respetar los derechos humanos

Son cada vez más evidentes las consecuencias negativas de varios sistemas de IA, relativas a potenciales violaciones de derechos humanos y, particularmente, al incremento de la discriminación hacia grupos históricamente vulnerables, basado en sus ingresos, color de piel o género. El otro factor que llama atención en el reporte de AI Index 2023 es el aumento del interés de los formuladores de políticas en la Inteligencia Artificial, dado el creciente número de leyes y proyectos de ley que buscan regular el uso de la IA. En Brasil y Chile, actualmente existen diferentes propuestas normativas al respecto y una parte importante de estas discusiones es justamente sobre cómo brindar transparencia a la utilización de estos sistemas, para lo cual el acceso al código fuente y los algoritmos ciertamente tienen un rol fundamental.

Los estándares internacionales de la IA cubren sus usos y procesos, y es importante que reflejen los intereses públicos, en conformidad con los derechos humanos de las personas y los valores sociales. Sin embargo, el establecimiento de estándares está dominado por los principales actores de la industria y un número selecto de gobiernos del norte global. A las tecnologías de IA se les otorgan derechos de propiedad intelectual adicionales a través de acuerdos comerciales, incluidos los algoritmos y el código fuente, lo que presenta el riesgo de reforzar el poder de mercado de las empresas dominantes e impedir los avances hacia la transparencia algorítmica y la responsabilidad.

Derechos humanos en el credit scoring

Es probable que usted conozca a alguien que haya tenido un problema derivado de su puntaje de crédito (credit scoring). Esta ha sido una herramienta muy utilizada por bancos y comercios en general para evaluar la capacidad de pago de una persona. A pesar de ser útil para muchas personas a la hora de dar acceso al crédito en entidades financieras, poco se habla sobre los problemas relacionados con esta práctica.

Muchas veces no existe información adecuada sobre este registro. Es como una verdadera caja oscura con respecto a los datos personales: no se sabe de dónde provienen los datos, qué criterios se utilizan para su tratamiento y, principalmente, cómo se utilizan las técnicas de inteligencia artificial para determinar si una persona puede o no, por ejemplo, financiar un automóvil.

Esta columna analiza brevemente cómo el tema es cada vez más relevante para las personas, además de traer algunos ejemplos actuales de discusiones regulatorias y prácticas de mercado ante posibles denegaciones de crédito, discriminación, falta de transparencia, entre otros problemas encontrados.

Importantes discusiones de los EE.UU. a la Europa

El tema está regulado en Estados Unidos, principalmente por la Ley de informes crediticios justos (FCRA), modificada en gran medida por la Ley Dodd-Frank que trajo importantes medidas para la regulación del capital financiero y la protección del consumidor después de la crisis financiera de 2008.

Siguiendo la citada ley, la Oficina de Protección Financiera del Consumidor (CFPB), de EE.UU. publicó un reporte anual sobre los burós de crédito más grandes de EE.UU.: Experian, Equifax y TransUnion. Entre sus recomendaciones, se aconseja considerar cómo los procesos automatizados impactan a los clientes, particularmente aquellos que reportan un derecho deben considerar la carga del consumidor (consumer burden) y, sobre todo, si un cambio hacia la automatización requerirá que los consumidores tengan que sortear más obstáculos y lidiar con distintos organismos para ejercer sus derechos.

La medida cumple con algunas de las obligaciones establecidas en la ley FCRA, pero la CFPB quiere ampliar la discusión, tratando de entender cómo opera el mercado y cuáles son las posibles prácticas que pueden lesionar los derechos de las personas. Esta semana, en el día mundial del consumidor, la CFPB publicó un llamado solicitando informaciones sobre los data brokers y otras prácticas comerciales que involucran la recopilación y venta de información del consumidor. Además de supervisar las agencias de informes del consumidor, incluidas las tres agencias más grandes del país, la CFPB se esfuerza por obtener información sobre el alcance completo de la industria de data brokers.

En Europa, la Corte de justicia europea analizará un caso importante sobre este tema. El caso C-634/21 trata acerca de una agencia privada de información crediticia alemana (SCHUFA) que proporciona información sobre la solvencia de los consumidores a sus socios contractuales. SCHUFA establece puntajes de crédito donde la probabilidad del comportamiento futuro de una persona se predice sobre la base de ciertas características de esa persona, utilizando métodos estadísticos matemáticos.

Las organizaciones Algorithm Watch y Open Knowledge Fountation lanzaran la campaña OpenSCHUFA que, aparte de arrojar luz sobre el tema y visibilizar la conducta poco transparente de la empresa, también condujo a la evaluación de datos de más de 2000 consumidores por parte de periodistas de datos de BR Data y SPIEGEL Data. La investigación concluye que muchas personas son declaradas caso de riesgo sin culpa propia.

El caso europeo pretende definir cuestiones tales como si la calificación crediticia es una decisión basada únicamente en el procesamiento automatizado, incluida la elaboración de perfiles, y los límites de la ley europea de datos (RGPD) para aplicar el credit scoring. La Corte de Justicia va a analizar la aplicación del artículo 22 del RGPD, que trata del derecho del interesado a “no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. Esta semana, el Abogado General publicó su opinión en el caso de que, entre otros puntos, la conservación de datos por una agencia privada de información comercial no puede ser lícita “a partir del momento en que los datos personales relativos a una insolvencia se hayan suprimido de los registros públicos”.

Brasil: múltiples leyes para la protección de los derechos

En Brasil, la discusión también está caliente. A mediados de febrero, Idec publicó el libro “El consumidor en la era del puntaje de crédito”, coordinado por Juliana Oms y disponible en versión digital. El libro trae varios artículos que exploran cómo se puede entender el interés económico en relación con la protección de datos personales y la privacidad, además de profundizar en la producción de la regulación en Brasil sobre el tema en los últimos años, y analizar la perspectiva de defensa del consumidor sobre el tema.

Por un lado, la legislación brasileña, a pesar de estar inspirada en la legislación europea, define de manera muy amplia la protección del crédito como una de las hipótesis para el tratamiento de datos personales. Por otro lado, la ley específica sobre la materia (Lei do Cadastro Positivo) prohíbe el registro de información excesiva que no esté vinculada al análisis del riesgo crediticio del consumidor; e información sensible, como origen social y étnico, salud, información genética, orientación sexual; y creencias políticas, religiosas y filosóficas. Tal como lo entiende la jurisprudencia brasileña, el uso de este tipo de información sería un abuso de derecho, lo que está prohibido por el Código de Protección del Consumidor.

La inteligencia artificial, datos crediticios y sus riesgos

El tema aún está en discusión y, actualmente, se está abordando el riesgo de utilizar sistemas de inteligencia artificial (IA) para este propósito. En el marco brasileño de las discusiones del Proyecto de Ley sobre inteligencia artificial, la comisión de juristas encargada de analizar los proyectos de ley propuso la adopción de un sistema de calificación de riesgos, que debe ser un paso previo a la publicación de la oferta de estos productos ante los consumidores. Por lo tanto, los sistemas de IA considerados de alto riesgo han de adoptar medidas de mitigación, como realizar una evaluación de impacto algorítmico y adoptar medidas de gobernanza, y medidas de gestión de datos para aminorar y prevenir sesgos discriminatorios. El sistema de calificación crediticia, según la propuesta, sería un sistema de alto riesgo y, por ende, requiere del cumplimiento de las medidas mencionadas.

La solución propuesta por la comisión brasileña de juristas brinda mayor protección a los derechos humanos involucrados en este caso: la privacidad y la no discriminación. Sin embargo, aún queda un largo camino para que la ley sea aprobada y, posteriormente, sea aplicada efectivamente por las instituciones.

Hay mucho por hacer

Si, por un lado, hay un discurso que avala el uso de este tipo de herramienta, en tanto puede servir para tener un acceso más fácil al crédito con tasas más bajas, por otro lado, hay muchos riesgos que deben ser tomados en cuenta: denegaciones indebidas de acceso a crédito, discriminación, violación sistemática de la privacidad, uso indebido de datos sensibles, entre otros. Los factores se vuelven más complejos cuando se observa la falta de transparencia respecto de varios factores importantes de los sistemas utilizados, además de los problemas relacionados con el uso de herramientas automáticas para la evaluación.

Vemos que el análisis de algunas de las jurisdicciones apunta a la complejidad de este tema, en vista de las múltiples leyes de consumo, protección de datos y otros temas que están involucrados con el cumplimiento de los numerosos derechos humanos que se evidencia en este caso. Junto con ello, la existencia de varias instituciones encargadas de la supervisión, además del uso intensivo de herramientas de inteligencia artificial en este análisis, también son otras cuestiones que agregan complejidad al tema. Necesitamos ser conscientes de la necesidad de una mejor regulación y actuación de las autoridades sobre los datos crediticios, por el alto impacto que su uso y tratamiento tienen en la vida de las personas.

Una última mirada a los derechos digitales en 2022

Cuando comenzamos 2022, una esperanza comenzaba a crecer en buena parte del mundo: las vacunas para reducir los contagios y los síntomas de la COVID-19 surtieron efecto y llegaron a más grupos de la población. Lentamente, aspectos de la vida prepandémica volvían a materializarse y, después de dos años dramáticos, el mundo parecía realinearse.

Pero el año inició con tumulto mundial: una invasión en Europa oriental creaba una crisis humanitaria de incalculable costo humano, que a su vez desviaba la atención de otras crisis en África oriental, en Asia meridional, en América Latina. Nuevas desigualdades, internas y externas, se hicieron patentes, ahora bajo la presión del riesgo vital de una pandemia que no termina.

Como en buena parte del mundo, América Latina ha visto el agravamiento de las distintas crisis superpuestas, agudizadas por un horizonte de crisis económica que está en pleno desarrollo. Aun así, grandes aires de esperanza se sintieron en la región, en la resistencia al abuso y la injusticia, y en la participación política en varias elecciones.

En América Latina, el 2022 partió con revelaciones de hackeo a periodistas en El Salvador, en una réplica de lo que fue descubierto años antes en México, revelando que el espionaje ilegal estatal con herramientas importadas continúa en la región.

A la vez, la vigilancia masiva todavía es una disputa inconclusa. En una insigne victoria para el activismo local, en México el invasivo Padrón Nacional de Usuarios de Telefonía Móvil (PANAUT), aprobado a fines de 2021, fue declarado inconstitucional, impidiendo la vinculación entre la identidad de un usuario de teléfono y su información biométrica, entre otros datos, en una decisión anunciada en abril. Poco antes, se había detenido en el metro de San Pablo, Brasil, el uso de un sistema de reconocimiento facial automatizado, aunque luego fue autorizado por la justicia. Esa batalla continúa, ahora contra una iniciativa por extender el reconocimiento facial a toda la urbe. En la Ciudad de Buenos Aires, en tanto, la justicia declaraba la inconstitucionalidad de un sistema de reconocimiento facial.

En Colombia, una preocupación constante por la incorporación de mecanismos legales para fórmulas riesgosas de identidad digital, como también un debate sobre neutralidad de la red y zero-rating se tomaron parte de la agenda después de la fuerte escalada de violencia de las protestas de 2021. El uso de máquinas digitales para el proceso electoral fue, como siempre, objeto de escrutinio.

Al igual que en Colombia, y ante los ojos del mundo, una nueva elección presidencial en Brasil ofrecía esperanza, pero también mostraba algunos de los peores temores de la región: torpes intentos de control de la desinformación amenazaban con alterar el funcionamiento de la mensajería personal, mientras varias acusaciones de desinformación enfrentaban al gobierno y a las iniciativas de empresas privadas por controlar el discurso en línea. Que todo eso ocurriera mientras aumentaba el gasto en tecnología de hackeo y vigilancia hacía temer por el futuro.

Por cierto, las protestas sociales de los últimos años no cesaron. En Ecuador, fuimos parte del reclamo de la sociedad civil en rechazo a la represión y la vigilancia en el marco de protestas sociales a mediados de año. Presentamos a la ONU múltiples antecedentes sobre situaciones de afectación de derechos, especialmente vinculados a la expresión y la protesta, en un informe dentro del contexto del Examen Periódico Universal. En paralelo, continúa el cuestionado juicio contra Ola Bini a pesar de las reportadas infracciones al debido proceso. También vimos que persiste la represión de la expresión y la protesta en Nicaragua, incluido el allanamiento y cierre de organizaciones y de medios de comunicación, alarmando a expertos internacionales que exigen visitar el país. Y, en Venezuela, informes tanto de la industria de las telecomunicaciones como de la sociedad civil, mostraron el nivel de vigilancia y represión en ese país.

Al mismo tiempo, Brasil progresaba en un área sensible para toda la región: la protección de datos personales. Sin ser un debate ajeno a la contingencia, Brasil avanzó en el otorgamiento de autarquía de carácter especial a su nueva autoridad de control de datos personales. Por su parte, Ecuador –que promulgó su ley en 2021– inició este año el proceso de reglamentación de la ley. En Chile, paso a paso se Avanza en un proyecto de reemplazo a una ley que hoy es ineficaz ante casos públicos de vulneración de los derechos sobre los datos.

También hubo otros relevantes debates legislativos en la región, para los que este recuento quizás no basta. Fuimos testigos de la discusión por una nueva ley de inteligencia artificial en Brasil, como también en iniciativas de leyes sobre ciberseguridad, sobre desinformación y sobre ciberdelitos en varios países de la región. Nuestro trabajo de monitoreo continúa con intensidad para identificar las oportunidades, los riesgos a las libertades y derechos que puedan acompañar a esas iniciativas. Nos involucramos en la discusión por una nueva constitución en Chile, con propuestas surgidas desde distintos lugares y grupos del país.

No obstante también aprovechamos instancias globales que afectan a América Latina. Como ejemplos, contribuimos a informes de oficinas de expertos de Naciones Unidas sobre apagones de internet y sobre inteligencia artificial y privacidad. Participamos en procesos como la reunión de plenipotenciarios de la UIT, en la peligrosa discusión por un nuevo tratado sobre ciberdelitos, en el debate global sobre normas para el comportamiento de los Estados en el ciberespacio, y mucho más.

Mirar hacia el futuro

Todo lo anterior es apenas una muestra de lo intenso que fue el trabajo del año desde nuestro activismo. No obstante, también hubo muchísima colaboración, la misma que creemos que es parte esencial de la proyección hacia el futuro de la labor de Derechos Digitales.

Como organización, el año también fue de oportunidades de cooperación cruciales para la región. Volvimos a albergar un evento virtual de difusión, intercambios y aprendizajes. Participamos muy activamente en la organización del Foro de Gobernanza de Internet de América Latina y el Caribe, el LAC IGF. Nos reunimos con nuestras aliadas de la coalición Al Sur para comenzar a pensar en el futuro, en un primer encuentro presencial después de años. Mantuvimos numerosos talleres y reuniones con organizaciones e instituciones a nivel regional y global. Y nos sumamos como socios organizadores, con esperanza, al Movimiento por una Mejor Internet.

Logramos también apoyar a 21 iniciativas de acción de 12 países de la región a través de nuestro Fondo de Respuesta Rápida, no solo facilitando la respuesta ágil a situaciones de emergencia, sino también favoreciendo el aprendizaje en múltiples contextos de activismo. Es a través de procesos como este que la colaboración de 2021 con el ODIA argentino ayudó en la declaración de inconstitucionalidad del sistema de reconocimiento facial en Buenos Aires. Mecanismos de apoyo como este Fondo demuestran que existen nuevas posibilidades para la articulación de organizaciones en la región.

Lo más importante: en una época global de grandes cambios, consolidamos un equipo sólido, de muy diversos orígenes y perfiles, fortaleciendo nuestra capacidad de trabajar en distintos ámbitos. Sabemos que en 2023 habrá más cambios, pero también que con ellos vendrán nuevas oportunidades de colaboración interna y externa.

Aunque ha sido un año desafiante, sentimos orgullo por el camino recorrido y mucha esperanza en el que queda por recorrer. La mirada introspectiva ha sido fuente de gran aprendizaje, como también de importante reflexión sobre lo que necesitamos seguir haciendo. Porque creemos en nuestro derecho y en nuestra capacidad de crear un futuro más justo para América Latina, reconocemos lo que significa el fin de 2022 y damos la bienvenida a 2023.