Temática: Inteligencia artificial

América Latina ante la inteligencia artificial: mapeo de iniciativas regulatorias en la región

Alineada con las tendencias internacionales, América Latina ha hecho esfuerzos significativos por desarrollar principios y reglas para la inteligencia artificial (IA). En un primer momento, múltiples gobiernos desarrollaron instrumentos regulatorios a partir de la creación de estrategias, planes, o la adhesión a principios internacionales como los Principios de IA de la OCDE o los Principios de la Ética de la IA de UNESCO. Sin embargo, cambios de gestión gubernamental interrumpieron algunas de estas iniciativas, dada su relativa institucionalidad.

De manera paralela a la elaboración de estos instrumentos, la región también comenzó procesos para legislar sobre la implementación de IA a nivel parlamentario. Tales procesos no involucran prerrogativas emanadas desde el poder ejecutivo. En cambio, al estar en manos del poder legislativo, demandan un debate entre parlamentarios y, con ello, la creación de consensos políticos que estén en sintonía con los entramados normativos nacionales.

A continuación, repasamos la trayectoria normativa latinoamericana: desde las estrategias de IA de algunos países, hasta la revisión de algunos de los proyectos de ley que se discuten actualmente.

Estrategias de IA

Uno de los hitos que marca el inicio del proceso de regulación de la IA se encuentra en las estrategias y planes de IA publicadas entre 2019 y 2021 por gobiernos como los de Argentina, Brasil, México y Uruguay. Estas acciones fueron impulsadas desde los poderes ejecutivos de la región y buscaron dar un marco de referencia para el uso de este tipo de tecnologías.

Aun cuando, en varios casos, dichas políticas contemplaron una etapa de consulta pública, hemos identificado algunas falencias de los Estados en garantizar una discusión plural e inclusiva de forma efectiva al definir prioridades estratégicas en IA. Entre ellas están la falta de inclusión efectiva de grupos históricamente marginalizados y de mecanismos de transparencia que permitan comprender de qué manera se consideraron los comentarios presentados.

Algunas de estas iniciativas no encontraron continuidad para su implementación y, además, fueron criticadas por su falta de rumbo por defectos en la coordinación o ausencias de líneas de acción claras como para llevar el título de “estrategias”. Es que estas políticas, pese a basarse en procesos participativos y antecedentes internacionales como los Principios para la IA de la OCDE, fueron plasmadas en resoluciones administrativas –en buena parte de los casos– con una solidez institucional relativa. Además, carecían de métricas claras que permitieran el monitoreo de su implementación.

Así, estas limitaciones otorgaron mayor relevancia al debate legislativo. A la vez, y contando sus imperfecciones, la discusión y la posterior formulación de estas estrategias sentaron un precedente para los debates parlamentarios.

Discusiones legislativas para la regulación de la IA

Brasil

Desde 2019, han sido presentados muchos proyectos de ley en materia de IA. Los principales fueron los PLs 5.051/2019, 21/2020, y 872/2021. En 2021, la Cámara de Diputados brasileña aprobó el PL 21/2020, que contiene disposiciones sustentadas más en principios que en prerrogativas específicas, y que ha sido motivo de críticas por parte de la sociedad civil. A contar de la llegada de este proyecto en el Senado Federal, fue establecida una comisión de juristas para lograr un proyecto unificado, en conjunto con otros ya en tramitación en esta casa legislativa.

El extenso reporte final presentado por la comisión resultó en el desarrollo de un cuarto proyecto de ley, el PL 2338/23, presentado por el presidente del Senado y actualmente en discusión paralela a los demás proyectos sobre IA. Pese a que fue ideado como una continuidad de las discusiones previas, el PL 2338/23 guarda importantes diferencias con relación al proyecto aprobado por la Cámara.

Influenciado por los debates alrededor del AI Act europeo, el PL 2338/23 presenta un enfoque fundamentado en riesgos, en función de una tipología establecida en el proyecto mismo, además de crear derechos y determinar la creación de una autoridad centralizada de IA que debería ser apuntada por el Poder Ejecutivo y trabajada en conjunto con las demás autoridades sectoriales. Sobre el modelo de riesgos, el PL determina que, a mayor riesgo, mayores las obligaciones que corresponden a quien implemente este tipo de tecnologías. El proyecto es apoyado por la Coalición de Derechos en la Red, que lo considera un paso importante hacia el equilibrio entre el establecimiento de derechos y herramientas de gobernanza.

Chile

La discusión parlamentaria se centra en el Boletín 15869-19: un proyecto de ley que regula los sistemas de IA la robótica y las tecnologías conexas en sus distintos ámbitos de aplicación. El mismo ingresó en la Cámara de Diputados durante abril de 2023 y se encuentra en “primer trámite constitucional”, que es la forma en la que Chile denomina el proceso de discusión de un proyecto de ley donde fue presentado originalmente, sea en la Cámara de Diputados o en el Senado.

Tal como señala el texto en sus “considerandos”, el proyecto adopta un sistema de riesgos basado en la discusión existente en el parlamento de la Unión Europea. El proyecto contempla la creación de una Comisión Nacional de Inteligencia Artificial, y establece obligaciones para desarrolladores, proveedores y usuarios de sistemas de IA. Además de este proyecto, hay dos iniciativas, de orden punitivo, que buscan modificar el Código Penal. Se trata de los boletines 15935-07, para sancionar el mal uso de la inteligencia artificial (ingresado el 15 de mayo de 2023) y el 16021-07, que busca incorporar, como circunstancia agravante de la responsabilidad, el uso de inteligencia artificial en la comisión de un delito (ingresado el 13 de junio de 2023).

Costa Rica

El proyecto costarricense, que tomó cierta notoriedad en distintos medios por comenzar con una introducción realizada por ChatGPT, se encuentra en discusión en la Comisión de Tecnología y Educación de la Asamblea Legislativa de la República de Costa Rica, órgano unicameral del Poder Legislativo. Este proyecto, en trámite bajo el Expediente 23771, afirma desde su primer artículo su foco en la “protección y promoción de la dignidad, los derechos humanos y el bienestar de la persona humana”.

Si bien el proyecto habla de la existencia de riesgos, su abordaje no establece una tipología como los proyectos mencionados anteriormente. Su Capítulo VII se enfoca particularmente en la “Protección de los Derechos Humanos en la Regulación de la Inteligencia Artificial”, donde se establecen disposiciones sobre no discriminación, privacidad y protección de datos personales, transparencia y explicabilidad, acceso a la justicia, entre otras. El proyecto obliga a desarrolladores y usuarios de sistemas de IA a realizar evaluaciones de impacto en derechos humanos antes de su implementación. Estas evaluaciones, afirma el proyecto en su artículo 16, “deberán identificar y mitigar los posibles riesgos y efectos negativos en los derechos fundamentales de las personas”.

Rumbos posibles

La existencia de estos proyectos de ley no implica que vayan a ser aprobados tal como fueron formulados, o que presenten una continuidad en el debate parlamentario con regularidad. Sin embargo, presentan instrumentos que pueden modificar la gobernanza de estas tecnologías, como la creación de autoridades específicas o la obligación de generar evaluaciones de impacto.

También cabe resaltar la influencia que tienen en el debate parlamentario iniciativas internacionales como el proyecto de ley de Inteligencia Artificial del parlamento europeo, la IA Act, cuyo enfoque basado en riesgos sirvió de inspiración para la creación de algunos de los proyectos mencionados. La sanción de esta ley, aún en discusión, puede modificar el panorama y sentar un precedente de gran influencia para otros países latinoamericanos.

Por último, es necesario destacar que, más allá de estrategias y proyectos de ley específicos, la gobernanza de la IA incluye un conjunto de normas e instituciones que abarcan, incluso, el acceso a la información y la protección de datos, entre otras, que son cruciales para garantizar transparencia en su implementación y el respeto a los derechos de las personas potencialmente afectadas negativamente por ella. En ese sentido, es llamativo que países que aún no cuentan con marcos de protección de datos adecuados intenten legislar sobre IA.

Frente al avance de las discusiones internacionales sobre la regulación de IA, es fundamental que legisladores y legisladoras de América Latina estén atentas a las recomendaciones emitidas por autoridades y órganos de derechos humanos. Probablemente, 2024 sea un año donde estas discusiones avancen de la mano los avances tecnológicos en la potencialidad de estas tecnologías, sobre las que vemos novedades día a día. Estaremos atentos, monitoreando la evolución de los debates a nivel nacional.

Regulación de IA: los derechos humanos primero

En las últimas semanas fuimos inundados por debates sobre la regulación de la inteligencia artificial en diversos frentes. Un acuerdo de las grandes potencias sobre un código de conducta para las empresas que trabajan con IA, los riesgos y retos del uso de la IA para la seguridad y la paz social, y cómo afecta la IA generativa a los derechos de autor son algunos de los temas que han circulado en estos días. En los más diversos foros mundiales, como el Consejo de Seguridad de la ONU, el Grupo de los 7, el Grupo de los 20, la UNESCO, la Organización Mundial de la Propiedad Intelectual (la OMPI) y docenas de otras instiancias, la cuestión está aflorando a la superficie, como demuestra el reciente mapeo de Lea Kaspar, Maria Paz Canales y Michaela Nakayama.

En cierta medida, los diferentes debates se conectan y se solapan, pero también se integran a la maraña que conforman las referencias del derecho internacional en esta temática, como los principios de la OCDE y las recomendaciones de la UNESCO sobre la IA. Sin embargo, es urgente que este debate se base en los derechos humanos, tomando como ejemplo los recientes avances del Consejo de Derechos Humanos de la ONU, que deberían formar parte central de la discusión sobre cualquier regulación de la IA.

¿Discusión “Global”? Preocupaciones en torno a la participación desbalanceada

Las intenciones de la ONU de abordar la cuestión más general de la inteligencia artificial son cada vez mayores. Recientemente, Antonio Gutérres anunció la creación de un órgano asesor sobre IA que, paradójicamente, cuenta con una escasa participación de miembros de la sociedad civil y una sobrerrepresentación de las empresas tecnológicas. De este desequilibrio ha dado buena cuenta Juan Carlos Lara, quien argumenta que este órgano asesor deja en manos de quienes «más se benefician de las ventajas económicas de la IA» un papel preponderante en las recomendaciones sobre dicha gobernanza global, frente a quienes más sufren los efectos negativos de la IA, que es precisamente la sociedad civil.

Sin embargo, la falta de participación no solamente ocurre en el órgano asesor de la ONU, sino también en otros espacios como en las discusiones sobre el Pacto Digital Mundial, que sirve de preparación para la Cumbre del Futuro, evento que reunirá a líderes mundiales en Nueva York para “forjar un nuevo consenso internacional a fin de mejorar el presente y salvaguardar el futuro”.

En una carta, firmada por más de 30 organizaciones de la sociedad civil, se alerta sobre la falta de oportunidades de intervención de este sector, en tanto la palabra se concedió mayoritariamente a los Estados miembros, las agencias de la ONU y el sector privado, en detrimento de las organizaciones de derechos humanos de la sociedad civil durante las discusiones temáticas en línea. Lamentablemente, como afirma Gina Neff, «hemos visto cómo estas empresas se las arreglan hábilmente para establecer los términos de cómo debe ser el debate».

Riesgos inaceptables para los derechos humanos

Además de la participación, también es necesario pensar en las líneas sustantivas de estos procesos. En las últimas dos sesiones del Consejo de Derechos Humanos de la ONU, se han actualizado dos resoluciones de gran importancia. Así, las resoluciones se suman a otro importante texto aprobado por la Asamblea General de la ONU a finales del año pasado, siguiendo con fuerza una tendencia que hemos observado con anterioridad.

Tanto la resolución sobre nuevas tecnologías como la resolución sobre privacidad consolidan la necesidad de abordar a la IA desde la perspectiva de los derechos humanos. A pesar de constituir avances importantes en términos de resaltar riesgos inaceptables para los derechos humanos, estas resoluciones no son lo suficientemente explícitas a la hora de condenar el uso de la IA cuando a priori no cumplen con normativas de DD.HH., y cuya venta e implementación debe de ser prohibida o estar sujeta a una moratoria, conforme ya lo ha expresado mediante una resolución emitida por Michelle Bachelet, anterior Alta Comisionada de la ONU.

Un ejemplo claro de esto es que, si bien la resolución de privacidad deja claro que la utilización de medidas de reconocimiento facial de “vigilancia biométrica” suscitan gran preocupación en cuanto a su carácter de proporcionalidad, la resolución pierde a oportunidad de condenar la aplicación de IA en los sistemas de reconocimiento facial, dejando en manos de los Estados garantizar que la utilización de este tipo de tecnología no permita una “vigilancia masiva o ilegal”. Esto es especialmente preocupante, considerando las crecientes denuncias de vigilancia estatal en la región y a nivel global.

Sobre este punto, es importante hacer referencia al importante caso de reconocimiento facial promovido por el Observatorio Argentino de Derecho Informático (O.D.I.A) y el Centro de Estudios Legales y Sociales (CELS) resuelto recientemente por los tribunales argentinos. En 2020, tras una acción de amparo colectiva presentada por el O.D.I.A. mediante el cual se puso en discusión la constitucionalidad y convencionalidad de las normas que implementaron el sistema de reconocimiento facial en la CABA, se declaró la inconstitucionalidad del uso del sistema de reconocimiento facial por no haberse dado cumplimiento a los recursos legales de protección de los derechos personalísimos de la ciudadanía. Entre varias cuestiones, el fallo nota que el sistema se usó de manera ilegal para buscar a más de 15 mil personas que no estaban en la lista de prófugos del sistema de Consulta Nacional de Rebeldías y Capturas (CONARC). Además, la sentencia en cuestión recomienda cuestiones fundamentales como la necesidad de promover la transparencia y la explicación adecuada de los sistemas de IA, debiéndose considerar todo el ciclo de vida del sistema de IA.

La transversalidad de género, protección de datos e inteligencia artificial

Parte de la necesidad de colocar a los derechos humanos como centro de las discusiones alrededor de la implementación de sistemas de IA tiene que ver con el deber de considerar los impactos diferenciados de género que éstos causan.

En ese sentido, como ha sido constatado en la contribución conjunta sobre género presentada en el marco de las discusiones del Pacto Digital Mundial, para que los derechos de todas las personas puedan ser respetados de igual forma en el ecosistema digital global se requiere una protección efectiva y absoluta frente a la persecución, la discriminación, el abuso y la vigilancia; asegurar la igualdad de acceso a la información, las oportunidades y la comunidad, e igualdad de respeto a la privacidad, la identidad, la autoexpresión y la autodeterminación.

En la reciente resolución sobre privacidad, referida anteriormente, se realizan importantes avances en la materia. Por un lado, reconoce que las mujeres y niñas experimentan vulneraciones específicas en base al género a su derecho a la intimidad como parte de una desigualdad estructural que tiene efectos específicos en género, en tanto la implementación de tales sistemas puede reproducir, reforzar e incluso exacerbar las desigualdades raciales de género. Por otro lado, insta a los Estados a desarrollar e implementar políticas con perspectiva de género, a la par que alienta a todas las partes interesadas a que incorporen una perspectiva de género en la conceptualización, el desarrollo y la aplicación de las tecnologías digitales y las políticas conexas, y a que promuevan la participación de las mujeres para hacer frente a la violencia y la discriminación contra todas las mujeres y niñas que se producen a través del uso de la tecnología o son amplificadas por ella, instando a las empresas de tecnología digital, incluidos los proveedores de servicios de Internet, a que respeten las normas y apliquen mecanismos de información transparentes y accesibles.

Si bien celebramos dichos pronunciamientos, los que consideramos esenciales para el abordaje de esta problemática, observamos con preocupación que, tal como notamos en el análisis de la resolución proveniente de las discusiones del CSW67 del presente año, hay ausencias que implican retrocesos. En ese sentido, preocupa que el texto evite incluir a personas LGTBIQ+ en el ámbito de protección, considerando que esta exclusión tiene la potencialidad de profundizar desigualdades sobre una comunidad que ha sido históricamente vulnerada debido a cuestiones —relacionadas con desigualdades de género— y de legitimar políticas públicas discriminatorias.

A su vez, y en conexión con señalado previamente, aun cuando se reconoce el impacto negativo de la implementación de la IA sobre grupos en situación de vulnerabilidad, especialmente considerando factores de raza y género, las recomendaciones tenían la potencialidad de condenar la implementación de sistemas que ya han probado reproducir y profundizar desigualdades estructurales en ese sentido y de establecer líneas claras de protección que pongan foco en la obligación estatal de dotar protección efectiva de datos, entre otras cuestiones.

2024: agenda llena de acciones, altas expectativas

Los próximos pasos son aún inciertos y podrían conducir a una situación paradójica: las resoluciones aprobadas apuntan a la necesidad de más estudios y mayor acción efectiva en temas como la discriminación, la necesidad de regionalizar el tema, así como recomendaciones sobre cómo abordar el problema dentro del sistema de la ONU. No obstante, con la aprobación del órgano consultivo sobre IA, se han generado muchas prisas en toda la ONU. Todo ello para finalizar el trabajo en unos meses, de modo que esté listo a tiempo para la Cumbre del Futuro en septiembre del próximo año en Nueva York, donde todo lo relacionado con el Pacto Mundial Digital tendrá particular protagonismo.

Los pequeños (pero importantes) pasos que estamos dando en relación con la privacidad, los datos personales y la IA no pueden estar fuera de la concepción de esta discusión. El trabajo en curso de la Oficina del Alto Comisionado y de varios países que forman parte del Consejo de Derechos Humanos, llevado a cabo con la participación de diversas organizaciones de la sociedad civil, deberían ser un punto de partida fundamental para tomar medidas contra las repercusiones en los derechos humanos del uso indebido de los sistemas de IA por parte de Estados y empresas. La participación amplia de la sociedad civil también es un requisito necesario para esta discusión y, por nuestra parte, seguiremos en estos espacios para ampliar la voz de la sociedad latinoamericana.

Sin comunidad no hay comunes

El penacho del emperador Moctezuma da cuenta de la grandeza que alcanzó el imperio mexica. Consta de plumas azules, rosas, marrones y verdes, además de intervenciones de oro y piedras preciosas. Actualmente, se encuentra en el Museo de Etnología de Viena. Se dice que fue un regalo hecho por Moctezuma a Hernán Cortés, conquistador de México, razón por la que está en Europa. También se comenta que las noticias de su existencia datan de 1596, cuando fue hallado en la colección privada del archiduque Fernando II de Tirol.

Sea cual sea el caso, el penacho reside en un museo de Austria, cuyo boleto cuesta 17 dólares, y es promocionado como una atracción turística de ese país. El gobierno mexicano ha intentado traerlo de vuelta en 1991, 2011 y 2020. Sin embargo, científicos se han opuesto a este traslado debido a que las vibraciones propias de un largo periplo conllevan el riesgo de provocarle daños irreparables. Por lo tanto, se estima que es mejor que se quede donde está.

En el Museo Nacional de Antropología (MNA) de Ciudad de México es posible encontrar, entre su vasta colección, una réplica de la pieza. En este museo también está el monolito original de Tláloc, dios de la lluvia originario de los toltecas. La escultura fue descubierta en una localidad al sur de México y, tras negociaciones y conflictos con la población de San Miguel Coatlinchán, finalmente fue arrancada del lugar en 1964 para ser expuesta en la entrada del MNA. El boleto de este museo cuesta 5 dólares.

Ambas anécdotas evidencian la compleja relación entre cultura, patrimonio y poder, que se expresó igualmente en el desarrollo del Summit de Creative Commons (CC), realizado en Ciudad de México entre el 3 y el 6 de octubre. La edición de este año retomó por primera vez el formato presencial después de cuatro años y tuvo como tema central el advenimiento de la inteligencia artificial y su impacto en los bienes comunes.

No importa el momento histórico, ni el soporte físico, ni la localización geográfica: la decisión sobre el destino de las creaciones culturales no le pertenece ni a los imperios ni a los estados. El concepto de propiedad, una vez más, está impugnado y, como señala el periodista brasileño Leonardo Foletto, “las mejores ideas son de todos”.

Acceso justo en América Latina

En el marco del Summit tuvo lugar un taller de la Alianza Latinoamericana para el Acceso Justo al Conocimiento, articulación que se posiciona en la trinchera de la apertura del dominio público y los bienes comunes culturales a través de la incidencia en políticas nacionales e internacionales. La Alianza, de la que Derechos Digitales es miembro, participa activamente en instancias de la Organización Mundial de la Propiedad Intelectual (OMPI).

Entre las discusiones del taller tuvo especial importancia el acuerdo colectivo en torno a lo «justo». No es justa, por ejemplo, la disparidad existente en las excepciones y limitaciones al derecho de autor entre países. Aunque internet es una infraestructura global, tal como señala la Federación Internacional de Asociaciones de Bibliotecarios y Bibliotecas, estos desencuentros legislativos traen consigo barreras y fragmentación que amarran de pies y manos a investigadoras de la Mayoría Global al momento de realizar revisiones o publicaciones académicas, y el asedio constante a bibliotecas mediante acciones legales por su labor educativa. Tales son los escollos que sorteó Alexandra Elbakyan al momento de crear Sci-Hub y que padece Internet Archive desde abril de este año. 

Asimismo, en los paneles en que la Alianza estuvo presente se hizo énfasis en que, aun cuando se entiende que cambiar por completo el régimen legal internacional es una misión titánica y probablemente imposible en el mediano plazo, la colaboración entre actores de todo el mundo por este objetivo es fundamental para evidenciar que el derecho de autor tiene poco que ver con la protección y fomento de la creación cultural y más con salvaguardar el erario de entidades de gestión colectiva, de herederas y herederos, y de editoriales académicas.

En cuanto a la pregunta rectora sobre inteligencia artificial y los bienes comunes creativos del Summit, la Alianza se pronunció en febrero pasado, afirmando que la compatibilidad con los usos honrados y la apertura del uso de obras en investigación con minería de datos tienen que ser incluidos en las legislaciones de la región.

Lastimosamente para algunos, el derecho de autor parece tener fecha de vencimiento y el clavo en su ataúd, contrario a muchos pronósticos, no fue puesto por la piratería sino por la masificación de los sistemas de IA. Entre integrantes de la Alianza se abordó el tema de las recientes demandas interpuestas por artistas contra estos sistemas, cuando replican estilos creativos o utilizan obras protegidas, sin consentimiento, para su entrenamiento. Con el miedo a ser reemplazados por Midjourney, este problema dejó de ser una cuestión restringida al nicho del arte. Las artistas, por fin, ven que su trabajo es justamente eso: trabajo. Bienvenidas todas a la discusión por los derechos laborales en las próximas políticas de IA.

En español, por favor

El primer día del Summit fue constatada una situación recurrente: la del inglés como idioma por defecto en los diferentes encuentros de la gobernanza de internet a nivel global. Tiene sentido, por cierto, por su carácter de lengua vehicular de los entornos digitales. No tiene sentido en eventos desarrollados en América Latina y así fue expresado por las personas hispano y lusófonas. Así, y luego de años de insistir en la necesidad de justicia lingüística, a contar del segundo día el CC Summit 2023 de México tuvo traducción simultánea de inglés a español y viceversa*.

Este no fue el único ámbito donde se enfatizó que la lengua es también un bien común. La presentación central de la segunda jornada estuvo a cargo de Peter-Lucas Jones, quien preside, entre otras instituciones y asociaciones, Te Hiku Media: una radio maorí sin fines de lucro que, además, utiliza las grabaciones de sus transmisiones para entrenar sus propios algoritmos de procesamiento de este idioma.

Jones y otras activistas elaboraron una licencia especial, basada en la custodia o tutela entendida según el universo maorí, que solo concede acceso a quienes que respeten los valores de su cultura, mientras se mantenga dentro de los límites de consentimiento en sus usos. La licencia también apunta a que, para los casos en que su uso sea solicitado por gobiernos, corporaciones o cualquier organización o persona privilegiados, debe existir una retribución al pueblo maorí.

Según Jones, “los datos son el territorio” y, por lo tanto, deben ser protegidos de las nuevas formas que toma la dominación colonial. La licencia kaitiakitanga prohíbe expresamente su uso para fines de vigilancia, monitoreo, discriminación, persecución e injusticia. Ni Whisper, el sistema de reconocimiento de lenguaje de OpenAI, ni Duolingo han logrado obtener el acceso a estos conjuntos de datos recopilados por Te Hiku Media.

Pasado, presente y futuro de los comunes

Entre commoners de todo el planeta prevaleció cierta nostalgia por los primeros encuentros, hace más de una década. El ecosistema digital, en ese entonces, vibraba con el entusiasmo para empujar por la reforma del copyright. Ha pasado mucha agua bajo el puente y, en 2023, los problemas son otros. Con la insuficiencia demostrada del modelo de derechos de autor ante el arribo de la IA, y siendo la IA un nuevo problema en sí mismo, volvemos a cuestionamientos que se niegan a desaparecer. El colonialismo, aunque subterráneo y sutil, es patente todavía.

No obstante, otro de los aspectos destacados de este Summit fue el lugar que se le dio a la educación, infraestructuras, hardware y software libres. La transparencia y el acceso que garantizan las fuentes abiertas, la posibilidad de elaborar bifurcaciones y la confianza que otorga el desarrollo colectivo detrás de estos proyectos persisten en el espíritu de Creative Commons y en las personas que ejercen el derecho a compartir.

Silvia Federici, en su libro Reencantar el mundo. El feminismo y la política de los comunes, sistematiza algunos criterios para definir a los comunes: necesitan acceso equitativo a una propiedad compartida; son relaciones sociales y no cosas; comprenden derechos y obligaciones que regulan cómo ha de emplearse la riqueza común, derivados de decisiones colectivas, y requieren una comunidad. No hay tal cosa como “comunes globales”, pues este concepto presume la existencia de una colectividad global.

La polinización cruzada de ideas desde extremos opuestos de uno o más océanos, los intercambios culturales, el respeto por la diferencia, las respuestas y las preguntas encontradas dan cuenta de otros criterios señalados por la autora: la cooperación social, la reciprocidad y la responsabilidad en la reproducción de la riqueza compartida; la promoción del interés común, y la radical distinción de lo común y lo público, siendo esto último lo administrado y de propiedad del Estado (y por lo que, en ocasiones, cobra boletos en museos construidos sobre el expolio).

La riqueza aquí aludida no es monetaria, y lo común presente no se rige con base en criterios de escasez sino de abundancia. El mundo que nos rodea es una fuente inagotable de saberes, y la filosofía de los comunes es “un camino para transformar nuestra subjetividad”, citando nuevamente a Federici, y para adquirir la capacidad de reconocerlo y amarlo. Este Summit fue un recordatorio de que es la comunidad la que crea, reproduce y mantiene con vida a la cultura, y que no hay forma de resolver los múltiples desafíos que nos presenta la tecnología hoy sin las personas que construyen, para todas, el acervo digital del futuro.

Agradecimientos a Mayra Osorio, de Derechos Digitales, por enseñarme con cariño algunos misterios mexicanos; a las y los integrantes de la Alianza por el Acceso Justo al Conocimiento; a Fátima São Simão, de CC Portugal, y a toda la comunidad CC de América Latina.


* N/R: El texto original consignó que este fue el primer Summit que tuvo traducción simultánea inglés-español. Esto no es así: CC Summit 2013 (Buenos Aires, Argentina) sí contó con esta herramienta. La corrección fue incorporada el 13 de octubre de 2023.

Cursos virtuales, automatización y legislación insuficiente

Cada vez es más común escuchar y leer sobre los avances de la inteligencia artificial (IA) y los cambios que introduce en distintos campos del quehacer humano, los que, es justo decirlo, nos sorprenden cada vez con mayor frecuencia. La educación no es la excepción.

De un tiempo a esta parte, la IA ha pasado a formar parte de las herramientas que las y los docentes utilizan en su trabajo.  “La capacidad de aceleración exponencial de los cambios a partir de la introducción de tecnologías basadas en machine learning genera un potencial revolucionario”, afirma la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), en su estudio “El futuro de la Inteligencia Artificial en educación en América Latina”, que también advierte que aún no somos capaces de dimensionar las transformaciones profundas que podría generar la aplicación de la IA a la educación.

La IA ha llegado a la educación de maneras diferentes: por un lado, están los cursos virtuales; por otro, herramientas de automatización o aceleración de procesos disponibles para estudiantes y docentes. Sin embargo, como sociedad hemos evaluado escasamente los pros y los contras de su implementación. No sabemos si los docentes se encuentran capacitados para utilizar esas herramientas, ni qué sucede con la privacidad de las y los estudiantes cuya formación está a cargo de estos sistemas. Encontrar estas respuestas puede ayudarnos a analizar el avance y las posibles consecuencias de la IA en la educación, las posibilidades y los riesgos, algunos conocidos y otros inciertos.

IA Generativa en las aulas

La IA Generativa es un área de la IA con foco en la generación de contenido original a partir de datos ya existentes. Usa algoritmos y redes neuronales avanzadas para aprender de textos e imágenes, para luego elaborar contenido nuevo. Hemos escuchado mucho sobre la IA Generativa a partir de noviembre de 2022, con el lanzamiento del CHATGPT, cuya característica estrella es la capacidad de generar texto, imágenes, vídeos, música y códigos de software. Estas capacidades dan lugar a múltiples aplicaciones en la educación, como chatbots y algoritmos de aprendizajes, entre tantos otros.

Generalmente, se trata de recursos entrenados con valores y normas sociales dominantes en el Norte Global, lo que implica un aumento y empeoramiento de las brechas digitales en el área pedagógica en todo el resto del mundo, al reproducir sesgos propios de países desarrollados con poca o nula relación con la experiencia sensible de las y los habitantes de la Mayoría Global.

UNESCO advierte que, en el ámbito educativo, la IA enfrenta numerosos desafíos. El principales desarrollar prácticas de enseñanza y aprendizaje innovadoras. En “La Inteligencia Artificial en la Educación” declara que “El vínculo entre la IA y la educación consiste en tres ámbitos: aprender con la IA (por ejemplo, utilizando las herramientas de IA en las aulas), aprender sobre la IA (sus tecnologías y técnicas) y prepararse para la IA (por ejemplo, permitir que todos los ciudadanos comprendan la repercusión potencial de la IA en la vida humana)”. UNESCO admite también que sería ingenuo, sin embargo, no reconocer que los avances tecnológicos que suceden de manera rápida, como lo que ocurre con la IA, implican riesgos y retos y, en América Latina, las políticas y los reglamentos todavía tienen dificultades para hacerse cargo de ellos.

“Crear nuevas agendas de investigación se ha convertido en una tarea cada vez más urgente y relevante. Estamos atravesando el tiempo de un gran laboratorio, donde se están experimentando a velocidad avanzada distintos desarrollos educativos con IA”, reflexiona el documento de la UNESCO, afirmando que motores de IA (como CHATGPT) pueden contribuir a ampliar o limitar los horizontes educativos. Añade una visión que consiste en que asegurar una “IA para todos”, donde la Inteligencia Artificial sea utilizada para reducir las brechas existentes en el acceso al conocimiento y a la investigación, y no acentúe las diferencias entre países y dentro de estos.

Docentes al pizarrón

UNESCO realizó una encuesta en más de 450 escuelas y universidades a nivel mundial, que arrojó muestra que menos del 10% de los centros educativos encuestados tienen políticas institucionales o directrices formales relativas al uso de aplicaciones de IA generativa. Posiblemente se deba, en gran parte, a la ausencia de claras normativas nacionales. 

En Uruguay, recientemente se realizó el Primer debate sobre Inteligencia Artificial y Educación de ANEP, donde docentes y autoridades reflexionaron sobre los posibles impactos de las herramientas de IA en las aulas. La pregunta disparadora fue si el sistema educativo nacional está preparado ante la presencia de la Inteligencia Artificial. Los docentes sostuvieron que “deben ser los primeros en el camino de conocer esta tecnología para evitar cierta asimetría” y ser “guías en la adopción” de la IA. Se reconoció también que no todos los docentes están preparados para integrar inteligentemente IA en sus clases.

Es fundamental integrar a docentes y estudiantes en la discusión sobre la introducción de la tecnología en el proceso educativo, ya que de nada sirve dar este paso sin sentido de pertinencia pedagógica y que, además, sea apropiado por las y los involucrados. La formación de los docentes es fundamental para garantizar una aplicación ética de sistemas de IA en las escuelas. Las reglamentaciones gubernamentales, además, son cruciales para asegurar un enfoque centrado en las personas para el uso de la IA.

En un artículo publicado por el diario argentino INFOBAE, un docente reflexiona sobre el CHATGPT y menciona que “nos debería levantar la vara a los docentes, y nos daría muchas herramientas para facilitar el aprendizaje”. Señala también que “Cuantos más datos tengamos, potenciado con la digitalización, más conocimiento vamos a poner a disposición para seguir entrenando estos modelos”. Sin embargo, afirma también que “el uso excesivo de ChatGPT por los estudiantes durante el proceso, y ejercitación en trabajos prácticos, puede traer la disminución de la creatividad y la independencia de pensamiento de los estudiantes”.

Coincide con esa opinión el el sitio web español EDUCACIÓN 3.0, que en un artículo titulado “No todo vale con la Inteligencia Artificial en la educación” nos recuerda que , más allá del potencial de esta tecnología para distintos aspectos relativos a la enseñanza, aún no podemos afirmar que existen beneficios derivados del uso directo de las herramientas en las aulas. El articulo además trae a la vista que no todos los contenidos curriculares de la escuela son asuntos de las máquinas: la ética, la moral, el cuidado común o el cuidado del medio ambiente, por nombrar algunos ejemplos. Entrenar el espíritu crítico, prosigue, puede incluir el descubrimiento de lo que subyace a, construye y entrena una IA.

El compromiso ético

Docentes e investigadores han declarado, además, que el uso de la IA trae consideraciones éticas, como el impacto de la IA en la privacidad de los estudiantes y la seguridad de sus datos.

Este tipo de herramientas se alimentan de datos, que se recogen de distintas fuentes y que en muchos casos fueron producidos con finalidades distintas. En el marco educativo, esto puede incluir información sobre el rendimiento escolar, pero podría abarcar un espectro mayor, atendiendo a la complejidad de las relaciones sociales que se producen dentro y fuera del aula, como intereses, interacciones y hasta perfiles emocionales y psicológicos.

La discusión en torno al tipo de tecnologías que se implementan, la forma en que se usa, los cuidados implementados en materia de derechos humanos, así como el nivel de control real y transparente que sobre la información que entra y sale del sistema son requisitos fundamentales para evitar la imposición de una lógica extractivista parasitaria de los sistemas educativos, que merme el derecho a la autonomía de estudiantes y docentes. Más todavía, cuando hablamos de niñas, niños y adolescentes.

El desarrollo de un compromiso ético profundo de las autoridades y de los cuerpos docentes con el derecho a la educación, a la autonomía, a la privacidad y a la intimidad son fundamentales previo a la implementación de cualquier sistema de IA.

El destino del archivo «inmaterial»

Brewster Kahle, fundador de Internet Archive, afirmó en Time que detrás de este proyecto hubo un interés de construir la próxima Biblioteca de Alejandría, principal núcleo del saber en la antigüedad. Contrario a la creencia popular, no fue un incendio el que causó su declive, sino una serie de hechos políticos (la expulsión de los eruditos empleados en la biblioteca y el cese de su financiamiento, por mencionar algunos) que, lastimosamente, guardan cierta relación con el actual estado de las cosas de la historia digital.

La labor de Internet Archive consiste en preservar sitios web, archivar noticias transmitidas en televisión y digitalizar libros. Es esto último lo que dio origen a la demanda realizada por las editoriales Hachette Book Group, Penguin Random House, Harper Collins y Wiley: durante la pandemia, al flexibilizar el mecanismo de préstamos digitalizados controlados de 127 títulos de las editoriales mencionadas, Internet Archive infringió leyes de derecho de autor y, según el fallo del juez John G. Koeltl de marzo de este año, no puede acogerse al concepto de “uso justo” a pesar de que, en medio del alza de contagios de COVID-19 en 2020, el acceso a bibliotecas físicas era casi imposible.

El objetivo del derecho de autor es fomentar la creación de obras culturales (libros, ilustraciones, música, películas) otorgando facultades a las y los autores para que, durante determinado tiempo, puedan decidir cómo utilizar su obra. Existen, además, lo que se conoce como excepciones y limitaciones a este derecho, las que varían de país a país. Una de ellas, el uso justo, permite disponer de material protegido por derechos de autor en determinadas circunstancias: el propósito (sin fines de lucro), el carácter del uso (el uso debe entregar valor y emplear la obra para un propósito diferente del original), la importancia de la parte utilizada y el efecto del uso sobre el valor de la obra, como bien sostiene esta columna de Wikimedia Chile.

¿Mejor pedir perdón que pedir permiso?

No solo las editoriales son la principal amenaza al acervo de internet en este momento. A fines de mayo, el sitio estuvo fuera de línea por un día completo debido a que, de acuerdo con el propio Kahle, 64 servidores virtuales de Amazon Web Services (AWS) lanzaron decenas de miles de solicitudes por segundo para capturar archivos digitalizados de dominio público. La principal sospecha recae sobre sistemas de inteligencia artificial (IA), ya que la gran cantidad y calidad de datos almacenados en Internet Archive sin duda alguna son una valiosa fuente de información para tales modelos.

Un sistema de IA puede acceder a todo el archivo digital que hay hasta hoy con fines de entrenamiento, sin importar la procedencia de los datos. Así lo comprobó Lapine, artista residente en California quien descubrió que imágenes de su rostro, pertenecientes a su registro médico, forma parte del set de datos LAION. Nunca consintió ni tampoco recibió alguna notificación sobre este destino. En enero de este año el abogado, diseñador, escritor y programador Matthew Butterick, inició una demanda contra Stable Diffusion, un modelo de IA generativa que crea imágenes de alta calidad a partir de una línea de texto o prompt. El principal argumento tiene el mismo origen que el reclamo de Lapine: Stable Diffusion utiliza copias no autorizadas de billones de ilustraciones para enriquecer sus resultados, sin conocimiento ni consentimiento de sus autores.

Como vemos, la IA no ha estado exenta de polémicas, pero más allá de predicciones agoreras sobre sus eventuales consecuencias para el futuro de la humanidad, hasta ahora no hay noticias de que alguna de las múltiples acciones judiciales iniciadas contra estos modelos haya tenido éxito y cada día aparece una nueva IA que cambiará todo, anunciada con bombos y platillos. Por el contrario, Internet Archive sí ha estado en el foco del debate en torno al derecho de autor, aun cuando son las personas las principales usuarias de su repositorio.

Sin intención de oponer el trabajo documental que realiza Internet Archive con las posibilidades insospechadas que ofrece la inteligencia artificial, es llamativo el hecho de que, en el caso de la primera, existan severos juicios en torno al uso justo y el destino de las obras: piratería, robo, entre otros adjetivos calificativos negativos. Mientras que, para el caso de la segunda, sobran las buenas palabras. Además, semana a semana aumenta la cantidad de enlaces que no llevan a ningún lado y de anuncios -de diversas plataformas- que señalan el cierre de sus servicios gratuitos de almacenamiento, en directa proporción con el surgimiento de nuevos modelos de IA.

El ángel de la historia digital

En su famosa descripción del Angelus Novus, el filósofo Walter Benjamin enfatizó en que “su rostro está vuelto hacia el pasado. Donde nosotros percibimos una cadena de acontecimientos, él ve una catástrofe única que amontona ruina sobre ruina y la arroja a sus pies” y luego imagina un huracán que se enreda en sus alas, que ”le empuja irreteniblemente hacia el futuro, al cual da la espalda, mientras los escombros se elevan ante él hasta el cielo. Ese huracán es lo que nosotros llamamos progreso”.

Hay un riesgo de que el registro digital de la humanidad no solo desaparezca a la manera de Alejandría, sino que sea alterado de formas que desde una perspectiva antropocéntrica es imposible de imaginar. En el ojo de este huracán en el que estamos desde la masificación de la inteligencia artificial generativa, la discusión legal en torno a los bienes comunes digitales se ha complejizado y necesita que expertas y expertos se lo tomen en serio a fin de preservar, proteger y disponer de la información y tecnología creada por humanos y máquinas para los años por venir. Hoy, el derecho de autor aplica únicamente para sus titulares. Las personas usuarias, en cambio, solo tienen intereses. No es justo.

Tratados de comercio digital no pueden impedir transparencia sobre IA

Hace unas semanas se publicó el AI Index 2023 de la Universidad de Standford, que analiza diferentes aspectos relativos a los avances de la Inteligencia Artificial, con una mirada comparativa de la Human-Centered Artificial Intelligence. Varios aspectos de esta publicación son dignos de mención. Entre ellos, el crecimiento en el número de incidentes y controversias relativas a la IA, que se ha multiplicado por 26 desde 2012, según datos del Algorithmic, y Automation Incidents and Controversies (AAIC).

Diversas investigaciones relativas, por ejemplo, a ChatGPT, también demuestran que los problemas relacionados con el uso de estos sistemas, ya sea por parte del sector privado o por parte de las autoridades, se hacen cada vez más evidentes y confirman las preocupaciones de varias organizaciones de derechos humanos dedicadas a estudiar la temática en los últimos años. Por otro lado, llama la atención el mapeo de importantes sistemas de aprendizaje automático atribuidos a investigadores de determinados países. Siguiendo la tendencia de años anteriores, en 2022 la gran mayoría de autores son de países del norte global, concretamente de Estados Unidos, algunos países europeos y China.

Destacamos un punto que amerita mayores consideraciones de los países latinoamericanos, en especial, la utilización de tratados de comercio digital para la regulación de inteligencia artificial, además de dispositivos que puedan impedir la transparencia del uso de varios sistemas de IA. 

Tratados de comercio: la agenda digital sin consideraciones de derechos humanos

Diversos tratados de comercio tienen consecuencias para los entornos digitales, regulando aspectos en temas como el comercio electrónico, la protección del consumidor en línea y el establecimiento de estándares para la inteligencia artificial. El Acuerdo de Asociación de Economía Digital (DEPA), firmado por Chile, Nueva Zelanda y Singapur, contiene un capítulo específico sobre IA, obligando a los Estados a adoptar marcos éticos para la gobernanza de esta tecnología.

Pero estos tratados de comercio digital también pueden prohibir exigir transparencia de los algoritmos, impidiendo la divulgación del código fuente de los softwares de IA, lo que puede limitar las posibilidades para la búsqueda de soluciones a estos problemas, excluyendo la participación de autoridades judiciales o reguladoras. Así, por ejemplo, lo establece la propuesta de reglamentación sobre IA de la Unión Europea, presentada en 2021 y que todavía está en discusión.

Actualmente se han suscrito una serie de acuerdos comerciales bilaterales y multilaterales con compromisos para permitir el libre flujo de datos a través de las fronteras, fortalecer las leyes nacionales sobre secretos comerciales y aplicar estrictas protecciones de propiedad intelectual para el código fuente y los algoritmos inclusive, esto viene en forma de una nueva prohibición para que los gobiernos exijan el acceso o la transferencia del código fuente del software, sujeto a ciertas excepciones, y cuenta con el apoyo activo de EE. UU., Australia, Canadá, Japón y Nueva Zelanda.

Los esfuerzos por inyectar otra capa de protección para el software en el derecho comercial digital pueden ser muy problemáticos. La cláusula del código fuente ya puede resultar demasiado restrictiva para las políticas digitales nacionales. Al mismo tiempo, se ha avanzado mucho menos en abordar los riesgos y daños transfronterizos asociados con la IA, en áreas como la política de competencia, la protección de datos personales, las protecciones contra el uso abusivo de algoritmos en los mercados laborales y de consumo, y el uso respetuoso con los derechos humanos, de forma transparente y responsable.

Haciendo un análisis histórico, las disposiciones que prohíben los requisitos de divulgación del código fuente fueron introducidas por EE. UU. en las negociaciones del Acuerdo Transpacífico de Cooperación Económica (TPP) y desde entonces han sido emuladas en muchos otros acuerdos comerciales, aunque muchos países en desarrollo se oponen firmemente a ellas. El TPP impide a los estados suscriptores solicitar la transferencia o el acceso al código fuente de software. El código fuente es la especificación de un proceso computacional que puede ser compilado y ejecutado por una computadora.  En contraste con el código fuente se encuentra el llamado «código objeto», que es el que convierte el código fuente (legible por el ser humano) en instrucciones legibles por la máquina, mediante un proceso conocido como «compilación». El código fuente de un programa informático puede estar protegido por propiedad intelectual y considerarse secreto comercial. De acuerdo con el artículo 10.1 del Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio (ADPIC), de la OMC, los programas informáticos, tanto en código fuente como en código objeto, pueden protegerse mediante derechos de autor. Por lo anterior, estas disposiciones pueden amenazar el derecho de acceso a la información pública y, por tanto, el derecho a la libertad de expresión, según lo determinan la Constitución y las leyes de varios países latinoamericanos.

La transparencia, además de reforzar la confianza en las instituciones, constituye un derecho humano fundamental cuando se considera desde la perspectiva del acceso a la información. Este es un derecho consagrado en la Convención Americana sobre Derechos Humanos y, en el caso chileno, es una obligación del Estado prevista en la Constitución, en sus artículos 8 y 19 n. 14, en virtud del cual se presume pública toda la información que obre en poder de los órganos de la administración del estado y del principio de máxima transparencia o divulgación, expresamente definido en la ley de acceso a la información pública.

Pese a lo anterior, no se puede denegar la solicitud de acceso a información pública referida al código fuente de una aplicación estatal de reconocimiento facial, por ejemplo, en base a la supuesta vulneración de derechos de propiedad. La divulgación del código fuente de un software permite auditar su funcionamiento, participar en su mejora y controlar su seguridad, idoneidad y eficacia. Sin embargo, hay posiciones que lo consideran una forma de divulgación forzada de tecnología y como una barrera al comercio exterior. Así lo establecen los “Report on Foreign Trade Barriers” elaborados por EE. UU. en los años de 2022 y 2023, pero sin considerar los derechos humanos involucrados en estos casos.

El uso de la inteligencia artificial debe respetar los derechos humanos

Son cada vez más evidentes las consecuencias negativas de varios sistemas de IA, relativas a potenciales violaciones de derechos humanos y, particularmente, al incremento de la discriminación hacia grupos históricamente vulnerables, basado en sus ingresos, color de piel o género. El otro factor que llama atención en el reporte de AI Index 2023 es el aumento del interés de los formuladores de políticas en la Inteligencia Artificial, dado el creciente número de leyes y proyectos de ley que buscan regular el uso de la IA. En Brasil y Chile, actualmente existen diferentes propuestas normativas al respecto y una parte importante de estas discusiones es justamente sobre cómo brindar transparencia a la utilización de estos sistemas, para lo cual el acceso al código fuente y los algoritmos ciertamente tienen un rol fundamental.

Los estándares internacionales de la IA cubren sus usos y procesos, y es importante que reflejen los intereses públicos, en conformidad con los derechos humanos de las personas y los valores sociales. Sin embargo, el establecimiento de estándares está dominado por los principales actores de la industria y un número selecto de gobiernos del norte global. A las tecnologías de IA se les otorgan derechos de propiedad intelectual adicionales a través de acuerdos comerciales, incluidos los algoritmos y el código fuente, lo que presenta el riesgo de reforzar el poder de mercado de las empresas dominantes e impedir los avances hacia la transparencia algorítmica y la responsabilidad.

Derechos humanos en el credit scoring

Es probable que usted conozca a alguien que haya tenido un problema derivado de su puntaje de crédito (credit scoring). Esta ha sido una herramienta muy utilizada por bancos y comercios en general para evaluar la capacidad de pago de una persona. A pesar de ser útil para muchas personas a la hora de dar acceso al crédito en entidades financieras, poco se habla sobre los problemas relacionados con esta práctica.

Muchas veces no existe información adecuada sobre este registro. Es como una verdadera caja oscura con respecto a los datos personales: no se sabe de dónde provienen los datos, qué criterios se utilizan para su tratamiento y, principalmente, cómo se utilizan las técnicas de inteligencia artificial para determinar si una persona puede o no, por ejemplo, financiar un automóvil.

Esta columna analiza brevemente cómo el tema es cada vez más relevante para las personas, además de traer algunos ejemplos actuales de discusiones regulatorias y prácticas de mercado ante posibles denegaciones de crédito, discriminación, falta de transparencia, entre otros problemas encontrados.

Importantes discusiones de los EE.UU. a la Europa

El tema está regulado en Estados Unidos, principalmente por la Ley de informes crediticios justos (FCRA), modificada en gran medida por la Ley Dodd-Frank que trajo importantes medidas para la regulación del capital financiero y la protección del consumidor después de la crisis financiera de 2008.

Siguiendo la citada ley, la Oficina de Protección Financiera del Consumidor (CFPB), de EE.UU. publicó un reporte anual sobre los burós de crédito más grandes de EE.UU.: Experian, Equifax y TransUnion. Entre sus recomendaciones, se aconseja considerar cómo los procesos automatizados impactan a los clientes, particularmente aquellos que reportan un derecho deben considerar la carga del consumidor (consumer burden) y, sobre todo, si un cambio hacia la automatización requerirá que los consumidores tengan que sortear más obstáculos y lidiar con distintos organismos para ejercer sus derechos.

La medida cumple con algunas de las obligaciones establecidas en la ley FCRA, pero la CFPB quiere ampliar la discusión, tratando de entender cómo opera el mercado y cuáles son las posibles prácticas que pueden lesionar los derechos de las personas. Esta semana, en el día mundial del consumidor, la CFPB publicó un llamado solicitando informaciones sobre los data brokers y otras prácticas comerciales que involucran la recopilación y venta de información del consumidor. Además de supervisar las agencias de informes del consumidor, incluidas las tres agencias más grandes del país, la CFPB se esfuerza por obtener información sobre el alcance completo de la industria de data brokers.

En Europa, la Corte de justicia europea analizará un caso importante sobre este tema. El caso C-634/21 trata acerca de una agencia privada de información crediticia alemana (SCHUFA) que proporciona información sobre la solvencia de los consumidores a sus socios contractuales. SCHUFA establece puntajes de crédito donde la probabilidad del comportamiento futuro de una persona se predice sobre la base de ciertas características de esa persona, utilizando métodos estadísticos matemáticos.

Las organizaciones Algorithm Watch y Open Knowledge Fountation lanzaran la campaña OpenSCHUFA que, aparte de arrojar luz sobre el tema y visibilizar la conducta poco transparente de la empresa, también condujo a la evaluación de datos de más de 2000 consumidores por parte de periodistas de datos de BR Data y SPIEGEL Data. La investigación concluye que muchas personas son declaradas caso de riesgo sin culpa propia.

El caso europeo pretende definir cuestiones tales como si la calificación crediticia es una decisión basada únicamente en el procesamiento automatizado, incluida la elaboración de perfiles, y los límites de la ley europea de datos (RGPD) para aplicar el credit scoring. La Corte de Justicia va a analizar la aplicación del artículo 22 del RGPD, que trata del derecho del interesado a “no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. Esta semana, el Abogado General publicó su opinión en el caso de que, entre otros puntos, la conservación de datos por una agencia privada de información comercial no puede ser lícita “a partir del momento en que los datos personales relativos a una insolvencia se hayan suprimido de los registros públicos”.

Brasil: múltiples leyes para la protección de los derechos

En Brasil, la discusión también está caliente. A mediados de febrero, Idec publicó el libro “El consumidor en la era del puntaje de crédito”, coordinado por Juliana Oms y disponible en versión digital. El libro trae varios artículos que exploran cómo se puede entender el interés económico en relación con la protección de datos personales y la privacidad, además de profundizar en la producción de la regulación en Brasil sobre el tema en los últimos años, y analizar la perspectiva de defensa del consumidor sobre el tema.

Por un lado, la legislación brasileña, a pesar de estar inspirada en la legislación europea, define de manera muy amplia la protección del crédito como una de las hipótesis para el tratamiento de datos personales. Por otro lado, la ley específica sobre la materia (Lei do Cadastro Positivo) prohíbe el registro de información excesiva que no esté vinculada al análisis del riesgo crediticio del consumidor; e información sensible, como origen social y étnico, salud, información genética, orientación sexual; y creencias políticas, religiosas y filosóficas. Tal como lo entiende la jurisprudencia brasileña, el uso de este tipo de información sería un abuso de derecho, lo que está prohibido por el Código de Protección del Consumidor.

La inteligencia artificial, datos crediticios y sus riesgos

El tema aún está en discusión y, actualmente, se está abordando el riesgo de utilizar sistemas de inteligencia artificial (IA) para este propósito. En el marco brasileño de las discusiones del Proyecto de Ley sobre inteligencia artificial, la comisión de juristas encargada de analizar los proyectos de ley propuso la adopción de un sistema de calificación de riesgos, que debe ser un paso previo a la publicación de la oferta de estos productos ante los consumidores. Por lo tanto, los sistemas de IA considerados de alto riesgo han de adoptar medidas de mitigación, como realizar una evaluación de impacto algorítmico y adoptar medidas de gobernanza, y medidas de gestión de datos para aminorar y prevenir sesgos discriminatorios. El sistema de calificación crediticia, según la propuesta, sería un sistema de alto riesgo y, por ende, requiere del cumplimiento de las medidas mencionadas.

La solución propuesta por la comisión brasileña de juristas brinda mayor protección a los derechos humanos involucrados en este caso: la privacidad y la no discriminación. Sin embargo, aún queda un largo camino para que la ley sea aprobada y, posteriormente, sea aplicada efectivamente por las instituciones.

Hay mucho por hacer

Si, por un lado, hay un discurso que avala el uso de este tipo de herramienta, en tanto puede servir para tener un acceso más fácil al crédito con tasas más bajas, por otro lado, hay muchos riesgos que deben ser tomados en cuenta: denegaciones indebidas de acceso a crédito, discriminación, violación sistemática de la privacidad, uso indebido de datos sensibles, entre otros. Los factores se vuelven más complejos cuando se observa la falta de transparencia respecto de varios factores importantes de los sistemas utilizados, además de los problemas relacionados con el uso de herramientas automáticas para la evaluación.

Vemos que el análisis de algunas de las jurisdicciones apunta a la complejidad de este tema, en vista de las múltiples leyes de consumo, protección de datos y otros temas que están involucrados con el cumplimiento de los numerosos derechos humanos que se evidencia en este caso. Junto con ello, la existencia de varias instituciones encargadas de la supervisión, además del uso intensivo de herramientas de inteligencia artificial en este análisis, también son otras cuestiones que agregan complejidad al tema. Necesitamos ser conscientes de la necesidad de una mejor regulación y actuación de las autoridades sobre los datos crediticios, por el alto impacto que su uso y tratamiento tienen en la vida de las personas.

Una última mirada a los derechos digitales en 2022

Cuando comenzamos 2022, una esperanza comenzaba a crecer en buena parte del mundo: las vacunas para reducir los contagios y los síntomas de la COVID-19 surtieron efecto y llegaron a más grupos de la población. Lentamente, aspectos de la vida prepandémica volvían a materializarse y, después de dos años dramáticos, el mundo parecía realinearse.

Pero el año inició con tumulto mundial: una invasión en Europa oriental creaba una crisis humanitaria de incalculable costo humano, que a su vez desviaba la atención de otras crisis en África oriental, en Asia meridional, en América Latina. Nuevas desigualdades, internas y externas, se hicieron patentes, ahora bajo la presión del riesgo vital de una pandemia que no termina.

Como en buena parte del mundo, América Latina ha visto el agravamiento de las distintas crisis superpuestas, agudizadas por un horizonte de crisis económica que está en pleno desarrollo. Aun así, grandes aires de esperanza se sintieron en la región, en la resistencia al abuso y la injusticia, y en la participación política en varias elecciones.

En América Latina, el 2022 partió con revelaciones de hackeo a periodistas en El Salvador, en una réplica de lo que fue descubierto años antes en México, revelando que el espionaje ilegal estatal con herramientas importadas continúa en la región.

A la vez, la vigilancia masiva todavía es una disputa inconclusa. En una insigne victoria para el activismo local, en México el invasivo Padrón Nacional de Usuarios de Telefonía Móvil (PANAUT), aprobado a fines de 2021, fue declarado inconstitucional, impidiendo la vinculación entre la identidad de un usuario de teléfono y su información biométrica, entre otros datos, en una decisión anunciada en abril. Poco antes, se había detenido en el metro de San Pablo, Brasil, el uso de un sistema de reconocimiento facial automatizado, aunque luego fue autorizado por la justicia. Esa batalla continúa, ahora contra una iniciativa por extender el reconocimiento facial a toda la urbe. En la Ciudad de Buenos Aires, en tanto, la justicia declaraba la inconstitucionalidad de un sistema de reconocimiento facial.

En Colombia, una preocupación constante por la incorporación de mecanismos legales para fórmulas riesgosas de identidad digital, como también un debate sobre neutralidad de la red y zero-rating se tomaron parte de la agenda después de la fuerte escalada de violencia de las protestas de 2021. El uso de máquinas digitales para el proceso electoral fue, como siempre, objeto de escrutinio.

Al igual que en Colombia, y ante los ojos del mundo, una nueva elección presidencial en Brasil ofrecía esperanza, pero también mostraba algunos de los peores temores de la región: torpes intentos de control de la desinformación amenazaban con alterar el funcionamiento de la mensajería personal, mientras varias acusaciones de desinformación enfrentaban al gobierno y a las iniciativas de empresas privadas por controlar el discurso en línea. Que todo eso ocurriera mientras aumentaba el gasto en tecnología de hackeo y vigilancia hacía temer por el futuro.

Por cierto, las protestas sociales de los últimos años no cesaron. En Ecuador, fuimos parte del reclamo de la sociedad civil en rechazo a la represión y la vigilancia en el marco de protestas sociales a mediados de año. Presentamos a la ONU múltiples antecedentes sobre situaciones de afectación de derechos, especialmente vinculados a la expresión y la protesta, en un informe dentro del contexto del Examen Periódico Universal. En paralelo, continúa el cuestionado juicio contra Ola Bini a pesar de las reportadas infracciones al debido proceso. También vimos que persiste la represión de la expresión y la protesta en Nicaragua, incluido el allanamiento y cierre de organizaciones y de medios de comunicación, alarmando a expertos internacionales que exigen visitar el país. Y, en Venezuela, informes tanto de la industria de las telecomunicaciones como de la sociedad civil, mostraron el nivel de vigilancia y represión en ese país.

Al mismo tiempo, Brasil progresaba en un área sensible para toda la región: la protección de datos personales. Sin ser un debate ajeno a la contingencia, Brasil avanzó en el otorgamiento de autarquía de carácter especial a su nueva autoridad de control de datos personales. Por su parte, Ecuador –que promulgó su ley en 2021– inició este año el proceso de reglamentación de la ley. En Chile, paso a paso se Avanza en un proyecto de reemplazo a una ley que hoy es ineficaz ante casos públicos de vulneración de los derechos sobre los datos.

También hubo otros relevantes debates legislativos en la región, para los que este recuento quizás no basta. Fuimos testigos de la discusión por una nueva ley de inteligencia artificial en Brasil, como también en iniciativas de leyes sobre ciberseguridad, sobre desinformación y sobre ciberdelitos en varios países de la región. Nuestro trabajo de monitoreo continúa con intensidad para identificar las oportunidades, los riesgos a las libertades y derechos que puedan acompañar a esas iniciativas. Nos involucramos en la discusión por una nueva constitución en Chile, con propuestas surgidas desde distintos lugares y grupos del país.

No obstante también aprovechamos instancias globales que afectan a América Latina. Como ejemplos, contribuimos a informes de oficinas de expertos de Naciones Unidas sobre apagones de internet y sobre inteligencia artificial y privacidad. Participamos en procesos como la reunión de plenipotenciarios de la UIT, en la peligrosa discusión por un nuevo tratado sobre ciberdelitos, en el debate global sobre normas para el comportamiento de los Estados en el ciberespacio, y mucho más.

Mirar hacia el futuro

Todo lo anterior es apenas una muestra de lo intenso que fue el trabajo del año desde nuestro activismo. No obstante, también hubo muchísima colaboración, la misma que creemos que es parte esencial de la proyección hacia el futuro de la labor de Derechos Digitales.

Como organización, el año también fue de oportunidades de cooperación cruciales para la región. Volvimos a albergar un evento virtual de difusión, intercambios y aprendizajes. Participamos muy activamente en la organización del Foro de Gobernanza de Internet de América Latina y el Caribe, el LAC IGF. Nos reunimos con nuestras aliadas de la coalición Al Sur para comenzar a pensar en el futuro, en un primer encuentro presencial después de años. Mantuvimos numerosos talleres y reuniones con organizaciones e instituciones a nivel regional y global. Y nos sumamos como socios organizadores, con esperanza, al Movimiento por una Mejor Internet.

Logramos también apoyar a 21 iniciativas de acción de 12 países de la región a través de nuestro Fondo de Respuesta Rápida, no solo facilitando la respuesta ágil a situaciones de emergencia, sino también favoreciendo el aprendizaje en múltiples contextos de activismo. Es a través de procesos como este que la colaboración de 2021 con el ODIA argentino ayudó en la declaración de inconstitucionalidad del sistema de reconocimiento facial en Buenos Aires. Mecanismos de apoyo como este Fondo demuestran que existen nuevas posibilidades para la articulación de organizaciones en la región.

Lo más importante: en una época global de grandes cambios, consolidamos un equipo sólido, de muy diversos orígenes y perfiles, fortaleciendo nuestra capacidad de trabajar en distintos ámbitos. Sabemos que en 2023 habrá más cambios, pero también que con ellos vendrán nuevas oportunidades de colaboración interna y externa.

Aunque ha sido un año desafiante, sentimos orgullo por el camino recorrido y mucha esperanza en el que queda por recorrer. La mirada introspectiva ha sido fuente de gran aprendizaje, como también de importante reflexión sobre lo que necesitamos seguir haciendo. Porque creemos en nuestro derecho y en nuestra capacidad de crear un futuro más justo para América Latina, reconocemos lo que significa el fin de 2022 y damos la bienvenida a 2023.

Más allá de las elecciones en la UIT (o de la agencia de la que nunca has oído hablar)

El creciente número de incidentes y casos de ciberataques a empresas y gobiernos ha provocado numerosas discusiones sobre la necesidad de políticas públicas en ciberseguridad con enfoque de derechos humanos. Los derechos de los ciudadanos son doblemente vulnerados. Primero, porque sufren en carne propia los efectos perversos de estos ataques, y segundo, por la falta de inversión y coordinación por parte de los estados y las empresas. Por otra parte, hemos visto discusiones crecientes, a menudo acaloradas, sobre las regulaciones de inteligencia artificial.

El ámbito de la Unión Internacional de Telecomunicaciones (UIT) no fue la excepción. Como decíamos en un texto anterior, este año tuvieron lugar los tres mayores eventos de la UIT, la Asamblea Mundial de Normalización de las Telecomunicaciones (AMNT), en marzo en Ginebra, la Conferencia Mundial de Desarrollo de las Telecomunicaciones (CMDT), sin precedentes en el continente africano, acogida por Ruanda en junio, y la reunión de Plenipotenciarios, que tuvo lugar en Rumania en octubre. Desde Derechos Digitales participamos personalmente en las reuniones de Ruanda y Rumania.

Marcada por las elecciones de varios puestos de liderazgo, y cuyo máximo cargo como secretaria general fue ganado por Doreen Bogdan-Martin en una disputa que tenía connotaciones geopolíticas y puntos de vista diferentes entre la candidata estadounidense y su competidor ruso, la reunión de Plenipotenciarios discutió muchos temas que marcarán las actividades de la agencia en los próximos años. 

En este texto evaluaremos algunos avances en el tema de ciberseguridad, principalmente desde el punto de vista de cuál ha sido el rol de la UIT y por qué su desempeño ha sido importante para los países del sur global. También analizaremos cómo una nueva resolución sobre IA en el ámbito de la UIT puede ser vista como una continuación de los proyectos de “IA para el bien” que la agencia ya venía desarrollando.

Las acciones de la UIT en el tema de la ciberseguridad

La UIT ha sido llamada la agencia de la ONU más importante de la que nunca has oído hablar. Es el organismo especializado de las Naciones Unidas para las tecnologías de la información y la comunicación (TIC), formada en 1865. Cada cuatro años, los Estados miembros se reúnen en la reunión de plenipotenciarios para discutir y planificar el curso de los próximos años. El tema de la ciberseguridad se ha discutido cada vez más en esta reunión y principalmente dentro del ámbito de trabajo de los sectores de normalización (UIT-T) y desarrollo (UIT-D).

Son múltiples los roles desempeñados por la UIT en el campo de la ciberseguridad, que resultan particularmente importantes para los países del sur global. Junto con otros actores como el Banco Mundial, la UIT publicó la “Guía para el desarrollo de una Estrategia Nacional de Ciberseguridad”, que actualmente se encuentra en su segunda edición. Además de abordar cuestiones básicas del proceso sobre cómo crear esta política pública, la Guía incluye buenas prácticas sobre el contenido de la propia estrategia. Esto es relevante para países que, como Chile y México, actualmente están discutiendo la evaluación y renovación de una estrategia nacional e incluso la creación de leyes de ciberseguridad.

Además, el Índice Global de Ciberseguridad ha servido durante años como indicador y referencia para la evaluación de los Estados en temas clave cuando se habla de ciberseguridad. La  Agenda Global de Ciberseguridad es otra herramienta lanzada en 2007, que ha influido en la creación de políticas públicas a nivel nacional, especialmente en los países del sur global. Se trata de un instrumento internacional de cooperación lanzado en 2015, que hasta el día de hoy genera controversia por tratarse de un instrumento internacional fuera del mandato de la agencia, como pudimos ver en las intensas discusiones de la reunión Plenipotenciaria este año. 

“IA para el bien”: consolidación del trabajo de IA

El trabajo de la UIT sobre inteligencia artificial (IA) no es nuevo. El programa “AI for Good” y junto con el Gobierno de Suiza y otras 40 agencias asociadas en el sistema de las Naciones Unidas, como la UNESCO, la UNCTAD, la FAO, por ejemplo, la UIT ha desarrollado proyectos para identificar aplicaciones prácticas de la IA, proporcionar soluciones a escalar para tener impactos globales y acelerar el uso de esta tecnología para cumplir con los Objetivos de Desarrollo Sostenible (ODS). 

Funciona  como una gran plataforma de IA en el sistema de la ONU, pero que vemos al margen de otras discusiones importantes sobre el uso de este tipo de tecnología contra los derechos humanos, como lo han destacado en varias ocasiones otros órganos de los sistemas de derechos humanos. La novedad este año fue la aprobación de una resolución específica sobre IA en el ámbito de la UIT ahora en Plenipotenciario, que consolida la actuación del organismo en esta materia. El riesgo en este caso es que la UIT ignore la existencia de violaciones de derechos o vaya más allá de su mandato.

La acción interinstitucional de esta agencia en temas de IA debe entenderse en el contexto de otros espacios multilaterales donde se discutan los usos de la IA contra los derechos humanos. Este es un factor de suma importancia para que los ejemplos de “AI for good” no oculten posibles sesgos discriminatorios y otros riesgos señalados en el uso de esta tecnología.

La perspectiva de derechos humanos

Debemos prestar atención a lo que se está discutiendo en la UIT. Primero, en el cumplimiento de la actuación de la agencia dentro de su competencia, por ejemplo, siguiendo su rol como mediadora/facilitadora de la línea de acción C5 de la Cumbre Mundial sobre la Sociedad de la Información (CMSI), en la creación de confianza y seguridad de las TIC. En segundo lugar, evitar que en este espacio se desarrollen temas ajenos al ámbito de la agencia en lugar de otros espacios idóneos, más participativos y multisectoriales.

Por un lado, vemos a la UIT jugando un papel importante en ciberseguridad para el sector público y privado, principalmente relacionado con actividades de investigación, normalización, difusión de buenas prácticas y formación. 

Este rol resulta muy importante para los países del sur global, dado que es un referente. Es necesario entender que la apertura de la agencia es fundamental para fomentar la discusión de aspectos relevantes en la construcción de políticas públicas de ciberseguridad, que está relacionada con el cumplimiento de los derechos humanos.

Posibles caminos a seguir

Es necesaria una mayor participación de la sociedad civil en las decisiones y diseños que se hacen en la UIT. Quizás los resultados de las elecciones de la agencia apunten a un camino más abierto para la participación de las múltiples partes interesadas. Mientras tanto, las organizaciones pueden seguir uno de los cuatro caminos para participar en este espacio, descritos por la organización Artículo 19: afiliación a la UIT, participación en una delegación nacional, participación en consultas públicas o  estar al tanto de los temas que la UIT pretende incluir en su ámbito de trabajo. 

Tenemos por delante cuatro años de discusiones importantísimas en la UIT y necesitamos una mayor participación en temas de ciberseguridad e IA, ya sea discutiendo los temas de las comisiones de estudio de cada sector, contribuyendo en contribuciones locales o regionales a la agencia, demandando más espacio para la participación de la sociedad civil o participando en los proyectos desarrollados por la agencia.

La prensa y el carácter mitológico de la tecnología

Reciente, hemos visto publicados estos tres titulares en medios de comunicación:

  • Inteligencia artificial: con algoritmos predicen qué liceales pueden abandonar o repetir y harán listas (El País, Uruguay).
  • Inteligencia Artificial demostró cómo se verán los humanos en un millón de años (Smart 13, Chile).
  • Cuadro generado por inteligencia artificial gana premio y desata polémica en el mundo del arte (Deutsche Welle, Alemania).

Esta pequeña y poco representativa muestra sirve para ilustrar algunas cuestiones relevantes respecto a la inteligencia artificial (IA) y las narrativas que se han creado en torno a ella.

Lo primero que salta a la vista es que se están usando sistemas de IA para un amplio abanico de tareas, que van desde cuestiones importantes en materia de política pública hasta otras  completamente absurdas e inconsecuentes.

Una forma de explicar esta variedad de aplicaciones dispares es que nos encontramos en un estado temprano del desarrollo de estas tecnologías y no somos capaces de comprender completamente su potencial y sus límites, cuestión que probablemente será definida en un largo proceso de ensayo, error y descarte.

Pensemos, por ejemplo, en el teléfono, una tecnología cotidinana y obvia, que en la actualidad no requiere mayor explicación de nuestra parte. Sin embargo, no lo era para las personas de fines del siglo XIX. Antes de asentarse como una tecnología de telecomunicación, los desarrollos iniciales de la telefonía avizoraban distintos usos potenciales, incluyendo la transmisión de música orquestal a larga distancia, los que eventualmente fueron abandonados.

En la medida en que los sistemas de inteligencia artificial comienzan a ser adoptados por los gobiernos y las empresas privadas para asistir la toma de decisiones de cuestiones cada vez más relevantes en las vidas de las personas, el impacto de sus errores puede ser devastador. Seguramente en un futuro no tan lejano miraremos nuestro actual uso de la inteligencia artificial de forma similar a cómo evaluamos hoy la frenología, con una mezcla de vergüenza e indignación.

Son los estados y los organismos internacionales los principales convocados a establecer límites, procedimientos y regulaciones que impidan desenlaces catastróficos asociados al uso de sistemas de IA. Pero la tarea de crear conciencia sobre la necesidad de una aproximación más cuidadosa y responsable en torno a esta tecnología la corresponde a todos los actores sociales, incluyendo a la prensa.

El carácter mitológico de la tecnología

Esa es otra cuestión que llama la atención: de las tres noticias presentadas más arriba, una es absolutamente ridícula y otra es una exageración. La idea de que una inteligencia artificial pueda predecir el modo en que lucirán los seres en un millón de años no solamente es absurda, sino que al leer la noticia nos enteramos de que se trata del ejercicio ocioso de un usuario de Tik Tok, que carece de cualquier fundamento sólido. Por su parte, si bien es cierto que una obra creada con IA ganó un concurso, afirmar que se ha desatado una polémica en “el mundo del arte” parece demasiado si consideramos que el concurso en cuestión es organizado en el marco de la “Colorado State Fair & Rodeo”, no exactamente una renombrada institución artística, y la polémica se desató principalmente en redes sociales.

A pesar de que ambas noticias no son más que entretenimiento y los hechos relatados no conllevan mayores consecuencias, la suma de noticias de este tipo generan un imaginario y unas expectativas respecto de lo que la inteligencia artificial es, completamente desconectadas de sus condiciones materiales, dejando a la población mal posicionada para evaluar y entender mejor aquellos proyectos que sí pueden impactar sus vidas de forma importante, como es el caso del sistema anunciado en Uruguay.

Esta aparente disonancia entre el modo en que socialmente pensamos en las tecnologías y sus capacidades técnicas reales no puede ser simplemente descartada como ignorancia o falta de claridad, sino que es parte de lo que podríamos denominar el carácter mitológico de la tecnología, que lejos de constituir una fantasía inocua, tiene repercusiones bastante reales: cada vez que un político promete solucionar un problema social complejo por medio de un algoritmo, está apelando a esta mitología; y si el proyecto se concreta, dependiendo de cómo sea implementado, puede tener consecuencias importantes en la vida de las personas, para bien y para mal.

No es una varita mágica

Hay una cita de Arthur C. Clarke que se ha convertido en un cliché a la hora de hablar de tecnología: “Cualquier tecnología suficientemente avanzada es indistinguible de la magia”, que ha suscitado distintas interpretaciones. La frase parece ser particularmente acertada a la luz de una problemática común en el mundo de la inteligencia artificial, donde la trazabilidad de la toma de decisiones por parte de los sistemas no siempre está garantizada, convirtiéndolos en una verdadera caja negra a la que se alimenta con grandes volúmenes de datos esperando obtener alguna respuesta, pero sin ninguna capacidad de entender cómo se ha llegado a ella.

Los sistemas de inteligencia artificial muchas veces se parecen más a un oráculo que a los postulados racionalistas y empiristas sobre los que se sustenta el método científico. No solamente los resultados no son replicables, sino que además el proceso es misterioso.

Por eso es bueno leer que Héctor Bouzón, director ejecutivo de Gestión Institucional de la Administración Nacional de Educación Pública (ANEP) de Uruguay que el sistema que están implementando no es una “varita mágica”, sino que un instrumento más de diagnóstico, y que es necesario enseñar a leer los resultados que el sistema arroja —“ Hay que tener cuidado para no estigmatizar alumnos, alerta Bouzón: “Yo tengo una nómina, ¿pero qué significa?”—.

Existen experiencias anteriores en la región donde la toma de decisiones por medio de sistemas automatizados ha generado respuestas estigmatizantes. El caso más notorio es el de la Provincia de Salta en Argentina, donde se pretendió usar un algoritmo para predecir embarazos adolescentes, con resultados deplorables y que violaba derechos fundamentales de las niñas más pobres de la provincia.

Menos visible que el anterior, pero relevante para la evaluación, es el caso del Sistema Alerta Niñez en Chile, implementado en modalidad piloto y que tiene como objetivo estimar y predecir el nivel de riesgo de niñas, niños y adolescentes de sufrir alguna vulneración en sus derechos en el futuro, mediante un análisis de datos de diferentes fuentes administrativas.

Del análisis realizado por Matías Valderrama en el marco del proyecto “Inteligencia Artificial e Inclusión” de Derechos Digitales, se determina que el sistema no explica cabalmente el tipo de tratamiento de datos al que son sujetos los NNA con el Sistema Alerta Niñez; la opacidad con la que el sistema ha operado hasta ahora, sin documentación pública sobre el funcionamiento, rendimientos y efectos de los modelos predictivos, y la ausencia de procesos de participación o consulta ciudadana en el desarrollo e implementación del sistema, entre otros varios problemas asociados a su implementación.

Las alertas levantadas por Bouzón y otros funcionarios involucrados con el desarrollo del sistema de predicción de deserción escolar consultados por el artículo de El País demuestra un nivel de conciencia poco común respecto de los problemas y desafíos de lidiar con una tecnología de este tipo, lo que, en alguna medida, es tranquilizador.

Sin embargo, es tarea de la sociedad en su conjunto velar y exigir que la implementación de este sistema cumpla con los más altos estándares en la materia, incluyendo políticas de participación, transparencia y evaluación.