Brewster Kahle, fundador de Internet Archive, afirmó en Time que detrás de este proyecto hubo un interés de construir la próxima Biblioteca de Alejandría, principal núcleo del saber en la antigüedad. Contrario a la creencia popular, no fue un incendio el que causó su declive, sino una serie de hechos políticos (la expulsión de los eruditos empleados en la biblioteca y el cese de su financiamiento, por mencionar algunos) que, lastimosamente, guardan cierta relación con el actual estado de las cosas de la historia digital.
La labor de Internet Archive consiste en preservar sitios web, archivar noticias transmitidas en televisión y digitalizar libros. Es esto último lo que dio origen a la demanda realizada por las editoriales Hachette Book Group, Penguin Random House, Harper Collins y Wiley: durante la pandemia, al flexibilizar el mecanismo de préstamos digitalizados controlados de 127 títulos de las editoriales mencionadas, Internet Archive infringió leyes de derecho de autor y, según el fallo del juez John G. Koeltl de marzo de este año, no puede acogerse al concepto de “uso justo” a pesar de que, en medio del alza de contagios de COVID-19 en 2020, el acceso a bibliotecas físicas era casi imposible.
El objetivo del derecho de autor es fomentar la creación de obras culturales (libros, ilustraciones, música, películas) otorgando facultades a las y los autores para que, durante determinado tiempo, puedan decidir cómo utilizar su obra. Existen, además, lo que se conoce como excepciones y limitaciones a este derecho, las que varían de país a país. Una de ellas, el uso justo, permite disponer de material protegido por derechos de autor en determinadas circunstancias: el propósito (sin fines de lucro), el carácter del uso (el uso debe entregar valor y emplear la obra para un propósito diferente del original), la importancia de la parte utilizada y el efecto del uso sobre el valor de la obra, como bien sostiene esta columna de Wikimedia Chile.
¿Mejor pedir perdón que pedir permiso?
No solo las editoriales son la principal amenaza al acervo de internet en este momento. A fines de mayo, el sitio estuvo fuera de línea por un día completo debido a que, de acuerdo con el propio Kahle, 64 servidores virtuales de Amazon Web Services (AWS) lanzaron decenas de miles de solicitudes por segundo para capturar archivos digitalizados de dominio público. La principal sospecha recae sobre sistemas de inteligencia artificial (IA), ya que la gran cantidad y calidad de datos almacenados en Internet Archive sin duda alguna son una valiosa fuente de información para tales modelos.
Un sistema de IA puede acceder a todo el archivo digital que hay hasta hoy con fines de entrenamiento, sin importar la procedencia de los datos. Así lo comprobó Lapine, artista residente en California quien descubrió que imágenes de su rostro, pertenecientes a su registro médico, forma parte del set de datos LAION. Nunca consintió ni tampoco recibió alguna notificación sobre este destino. En enero de este año el abogado, diseñador, escritor y programador Matthew Butterick, inició una demanda contra Stable Diffusion, un modelo de IA generativa que crea imágenes de alta calidad a partir de una línea de texto o prompt. El principal argumento tiene el mismo origen que el reclamo de Lapine: Stable Diffusion utiliza copias no autorizadas de billones de ilustraciones para enriquecer sus resultados, sin conocimiento ni consentimiento de sus autores.
Como vemos, la IA no ha estado exenta de polémicas, pero más allá de predicciones agoreras sobre sus eventuales consecuencias para el futuro de la humanidad, hasta ahora no hay noticias de que alguna de las múltiples acciones judiciales iniciadas contra estos modelos haya tenido éxito y cada día aparece una nueva IA que cambiará todo, anunciada con bombos y platillos. Por el contrario, Internet Archive sí ha estado en el foco del debate en torno al derecho de autor, aun cuando son las personas las principales usuarias de su repositorio.
Sin intención de oponer el trabajo documental que realiza Internet Archive con las posibilidades insospechadas que ofrece la inteligencia artificial, es llamativo el hecho de que, en el caso de la primera, existan severos juicios en torno al uso justo y el destino de las obras: piratería, robo, entre otros adjetivos calificativos negativos. Mientras que, para el caso de la segunda, sobran las buenas palabras. Además, semana a semana aumenta la cantidad de enlaces que no llevan a ningún lado y de anuncios -de diversas plataformas- que señalan el cierre de sus servicios gratuitos de almacenamiento, en directa proporción con el surgimiento de nuevos modelos de IA.
El ángel de la historia digital
En su famosa descripción del Angelus Novus, el filósofo Walter Benjamin enfatizó en que “su rostro está vuelto hacia el pasado. Donde nosotros percibimos una cadena de acontecimientos, él ve una catástrofe única que amontona ruina sobre ruina y la arroja a sus pies” y luego imagina un huracán que se enreda en sus alas, que ”le empuja irreteniblemente hacia el futuro, al cual da la espalda, mientras los escombros se elevan ante él hasta el cielo. Ese huracán es lo que nosotros llamamos progreso”.
Hay un riesgo de que el registro digital de la humanidad no solo desaparezca a la manera de Alejandría, sino que sea alterado de formas que desde una perspectiva antropocéntrica es imposible de imaginar. En el ojo de este huracán en el que estamos desde la masificación de la inteligencia artificial generativa, la discusión legal en torno a los bienes comunes digitales se ha complejizado y necesita que expertas y expertos se lo tomen en serio a fin de preservar, proteger y disponer de la información y tecnología creada por humanos y máquinas para los años por venir. Hoy, el derecho de autor aplica únicamente para sus titulares. Las personas usuarias, en cambio, solo tienen intereses. No es justo.
El documento comienza con la pregunta «¿Es posible desarrollar IA que no reproduzca lógicas de opresión?», invitándonos a reflexionar en torno a cómo entendemos el campo de la IA y cuál es la participación de América Latina en los escenarios de producción de conocimiento en este campo, cuáles son los problemas de discriminación asociados a la manera en que se configura el campo de la IA actualmente y qué propuestas alternativas para la gestión cuidadosa de los datos existen. En el fondo, se trata de intentar comprender cómo las prácticas feministas pueden sentar las bases para el desarrollo de una IA inclusiva y con sentido de justicia social.
Para continuar esta discusión, entre enero y febrero de 2023, Derechos Digitales organizó una serie de conversatorios entre mujeres latinoamericanas que se encuentran desarrollando sistemas de Inteligencia Artificial al alero de la red f<A+i>r, junto a otras mujeres expertas en IA en la región. El objetivo principal de estos encuentros fue incentivar la reflexión a partir de experiencias de desarrollo de proyectos concretos. Intercambiar recomendaciones y metodologías aplicables al diseño de los sistemas, con perspectivas feministas.
Este texto busca sintetizar las conversaciones desarrolladas durante los encuentros, enfatizando conceptos, desafíos y aprendizajes que pueden inspirar iniciativas futuras de desarrollo de IA. Además de referencias directas a los diálogos y a las intervenciones de las participantes, el texto busca expandir sus ideas y combinarlas con otras referencias.
Abajo se encuentra una breve descripción de las temáticas abordadas en cada uno de los espacios de diálogo realizados a lo largo del proyecto:
El primer encuentro, realizado el 26 de enero de 2023, se tituló “Las tecnologías como procesos colectivos” y contó con la participación de Sofía Trejo e Iván Meza, quienes se encuentran desarrollando el proyecto “Agente conversacional para apoyar el ejercicio digno de la interpretación en lenguas indígenas en el ámbito jurídico en México”. Conversaron con Karla Prudencio, directora de la Licenciatura en Derecho del Centro de Investigación y Docencia Económicas de México, sobre compromisos metodológicos para el codiseño entre comunidades, entendiendo, comprendiendo y colaborando con sus necesidades.
En el encuentro «Inteligencia Artificial, ¿para qué y para quién?», realizado el 31 de enero de 2023 junto a la experta Fernanda Carles, se intentó responder a la pregunta: ¿cuáles son los pasos a seguir para construir un sistema de IA? Carles mencionó algunas consideraciones a tener en cuenta en cada paso del desarrollo de proyectos de IA con un objetivo social.
La tercera sesión, realizada el 2 de febrero bajo el título “Poder feminista – Poder de la IA. Conexiones y disrupciones”, se planteó como una conversación entre Cristina Martínez Pinto y Luz Elena González, coordinadoras del proyecto “Perspectiva de género en el trabajo colectivo de IA en el Sur Global”, con Gina Neff, directora ejecutiva del Minderoo Center for Technology and Democracy. Las participantes dialogaron sobre cómo desarrollar posibles estrategias para lograr la participación de las mujeres trabajadoras colectivas o crowd workers en esfuerzos de conexión y organización de forma digital.
En “¿Se puede ajustar el enfoque feminista a los protocolos?”, cuarta y última sesión del ciclo, realizada el 8 de febrero, Virginia Brussa, una de las responsables del proyecto “Integración de la perspectiva de género al diseño de proyectos de Data Science para el sector público en Latam”, intercambió con Maia Numerosky, ingeniera en ciencia de datos, quien compartió sus perspectivas sobre el desarrollo y despliegue de proyectos de este tipo desde el sector público y la academia.
Los conversatorios contaron con la facilitación de Adriana Castrillón y Juliana Guerra, y la participación activa de personas del equipo de Derechos Digitales y del nodo de América Latina y el Caribe del proyecto f<a+i>r.
Iniciativas de IA feminista en América Latina
CC:BY (Maria José Porras Sepúlveda)
América Latina ha sido un importante centro de producción y reflexión sobre tecnologías feministas y en materia de IA no es diferente. Desde 2020, la red f<a+i>r, viene creando un espacio de intercambio y fortalecimiento de una serie de iniciativas que se proponen pensar y desarrollar una IA inclusiva y transformadora. Actualmente, la red es liderada por Women at the Table, el Tecnológico de Costa Rica y el Tecnológico de Monterrey, con el apoyo del International Development Research Centre (IDRC), y tiene un activo nodo en América Latina y el Caribe. Además de constituir una red, f<a+i>r promueve la investigación y la experimentación con la producción de IA feminista.
A continuación encontrarás más detalles de los proyectos de IA feminista discutidos durante los diálogos impulsados por Derechos Digitales y que fueron apoyados y financiados por la red f<a+i>r en América Latina entre 2022 y 2023
Agente conversacional para el apoyo al ejercicio digno de la interpretación en lenguas indígenas en el ámbito legal
La iniciativa buscó codiseñar con intérpretes de lenguas indígenas un agente conversacional que permitiera a las personas intérpretes generar datos de forma colaborativa para visibilizar las problemáticas que enfrentan en el día a día al desarrollar su labor; mejorar la planeación y toma de decisiones; dar mayor poder de incidencia en política pública a las personas intérpretes y a sus organizaciones en temas relacionados con interpretación y acceso a justicia en México. De manera complementaria el agente permitiría a las personas intérpretes construir conocimientos colectivos (como glosarios) que pudieran servirles como herramientas de apoyo en su labor.
El proyecto buscó alinear todos sus procesos y resultados con los principios de codiseño, beneficios compartidos, autonomía digital y soberanía de los datos. Para poder accionar estos principios, una parte fundamental del trabajo de investigación se sustentó en talleres presenciales, que sirvieron como espacio de diálogo y escucha. Además de los principios, el proyecto tomó en consideración la perspectiva de género de manera transversal durante todo su desarrollo. No solo al buscar la equidad en cifras, sino al generar un espacio (un taller de género) que permitiera incorporar la perspectiva de género en el diseño del proyecto y del agente.
Fue importante para el proyecto que todos los procesos de desarrollo estuvieran enfocados en balancear las relaciones de poder entre los diversos actores involucrados, particularmente entre el equipo de investigación, las personas intérpretes y los grupos de intérpretes. Este ejercicio se vio reflejado en la metodología de trabajo, que incluyó la elaboración de un protocolo de investigación y acuerdos comunitarios, y el establecimiento de estrategias para accionar los Principios CREA para el manejo de datos indígenas a lo largo del proyecto.
Más información sobre el proyecto y las personas intérpretes que colaboraron en su desarrollo puede ser consultada en su sitio web.
Integración de la perspectiva de género al diseño de proyectos de ciencia de datos para el sector público
Esta iniciativa tuvo por objetivo formular una metodología de diseño de proyectos de ciencia de datos para funcionarios públicos, a partir de dimensiones alternativas de análisis y de propuestas de acción regional. En el análisis se integran enfoques provenientes del campo de la justicia de datos, del diseño y la interseccionalidad, para promover una implementación crítica de la ciencia de datos en la arena pública y profundizar etapas claves que fortalezcan la formulación de preguntas, conformación de equipos y la naturaleza híbrida de los datos inherentes a los procesos de toma de decisiones.
La metodología de desarrollo incluyó la realización de tres talleres en octubre y noviembre de 2022 en Rosario, Argentina, dirigidos a funcionarios públicos y activistas de diversos campos de la región. Durante los talleres se exploraron y validaron cambios a una ficha de diseño de proyecto utilizada en Chile y publicada en una guía del Banco Interamericano de Desarrollo (BID) para América Latina. En esas instancias se buscó entender la necesidad de una estrategia de gobernanza, la importancia de la participación pública en proyectos de ciencias de datos desde el Estado y el concepto de justicia de datos como alternativa a la idea de ética de datos.
Como resultado, la iniciativa propone la reformulación de las fichas de proyectos de ciencias de datos en el sector público considerando una revisión interna, los aportes colectivos de los talleres en línea realizados y un análisis a partir de un conjunto de dimensiones exploratorias. Los cambios principales se refieren a la inclusión de instrumentos participativos en las distintas etapas del diseño, de una estrategia de gobernanza de proyectos y una visión transversal e iterativa de justicia de datos, en clave feminista.
«Tuvimos que adaptar los materiales para los talleres, no solo para hablar de las cuestiones técnicas, sino del enfoque feminista. Surgieron preocupaciones con la afectación al derecho a la privacidad, pero no tanto con los derechos a la comunicación o la información. Hay que seguir pensando en cómo comunicar los temas de ciencia de datos para poblaciones afectadas por este tipo de proyectos y en qué derechos necesitamos», indicaron Virginia Brussa y María Paz Hermosilla, responsables del proyecto.
Un artículo completo sobre el proyecto se puede leer aquí.
Avanzando una perspectiva de género para las Crowd Workers en IA desde el Sur Global
Se trata de un proyecto de investigación sobre las mujeres latinoamericanas que trabajan etiquetando contenidos que serán utilizados para el entrenamiento de modelos de IA, las llamadas Crowd Workers. La investigación incluyó la realización de encuestas para comprender quiénes son, cómo trabajan y cuáles son sus necesidades.
A partir de la comprensión de sus contextos, sus realidades familiares y los principales desafíos que enfrentan, el proyecto propone el desarrollo de una plataforma de IA que incluya perspectivas feministas para las plataformas de Crowd Work, permitiendo a las trabajadoras intercambiar informaciones, generar asociaciones y conseguir escalar los sistemas.
«Encontramos que estas mujeres no cuentan con canales de comunicación para conectar con otras trabajadoras ni con herramientas de traducción para muchas de las tareas que realizan. Nuestra plataforma, apoyada por IA, va a recomendarles herramientas que les ayuden a desarrollar habilidades para su crecimiento profesional y les permitirá conectar con otras colegas», afirman las responsables del proyecto.
La descripción completa del proyecto y sus hallazgos puede ser encontrada aquí.
Reflexiones feministas sobre IA
CC:BY (Maria José Porras Sepúlveda)
Revisitando conceptos
La Inteligencia Artificial ha incorporado una serie de conceptos específicos al lenguaje cotidiano y la construcción de sistemas de IA feminista requiere examinarlos e interrogarlos. En IA, como en cualquier campo, el lenguaje no es neutral y las expertas latinoamericanas investigando y desarrollando sistemas han repensado esos conceptos en sus propios términos y palabras.
La misma idea de “Inteligencia Artificial” ha estado sujeta a cuestionamientos y fue objeto de discusión durante los diálogos. Fernanda Carles la define como la capacidad de un sistema de adaptarse a su ambiente para resolver un problema, operando con insuficiencia de conocimientos y recursos. Se trataría de sistemas que están diseñados para procesar una cantidad enorme de información y que pueden resolver problemas que los humanos no. En algunos casos es más rápida «y, bien diseñada, puede ser más objetiva», apunta.
Carles diferencia dos tipos de IA: la Inteligencia Artificial angosta y la general. «La IA angosta es la que vemos que se está desplegando hoy en día, la que existe fuera de la teoría. Está enfocada en tareas específicas o delimitadas. No tienen conciencia, autoconciencia o habilidad de pensar», a diferencia de lo que la idea misma de “inteligencia” podría sugerir.
Por su parte, la experta apunta que la IA general es un desarrollo que solo existe en teoría, pues no se ha hecho realidad. La idea es generar sistemas computacionales que puedan experimentar la información de formas similares a la de los seres humanos, que tengan la capacidad de aprender, generalizar, aplicar conocimientos y planificar el futuro, que sea creativa, exprese emociones y que pueda trabajar sin supervisión.
Matteo Pasquinelli y Vladan Joler, en un manifiesto sobre la IA como mecanismo de extracción del conocimiento, apuntan que en la expresión “Inteligencia Artificial” el adjetivo artificial conlleva un mito de autonomía de la tecnología, tal como explica Carles sobre la idea de IA general. Según ellos, tal idea mistifica dos procesos de alienación en favor de un régimen corporativo extractivista del conocimiento humano: la autonomía geopolítica de las empresas de tecnología y la invisibilización de la autonomía de las personas trabajadoras. En su trabajo, plantean cambiar tal lógica y pensar el aprendizaje de máquinas como un instrumento para ampliar el conocimiento. Su reflexión completa puede ser leída en portugués aquí.
Fernanda Carles introdujo otros dos conceptos también centrales para el desarrollo de proyectos de Inteligencia Artificial: modelado y ponderación.
El modelado de datos es el proceso de documentar un diseño de sistema de software complejo como un diagrama de fácil comprensión, usando texto y símbolos para representar la forma en que los datos necesitan fluir. El modelado no indica cómo va a ser la red, sino el tipo de datos que lo va a alimentar. «Agrego datos que yo conozco, controlo lo que salga y con eso analizo qué nueva información puede darme», indica Carles.
Ella explica que el análisis de correlación permite entender qué grado de dependencia tiene la variable objetivo (lo que se quiere predecir o clasificar) con otras variables. Con esto es posible tomar decisiones acerca de qué datos usar o no, y qué importancia tiene cada variable en el sistema desde un punto de vista matemático.
Maia Numerosky apunta que «los datos son un aspecto fundamental» en un sistema de IA.Ella enfatiza cómo los datos representan relaciones de poder: la disponibilidad de unos datos u otros representa relaciones sociales más profundas. «Por ejemplo contamos con menos datos de las personas que trabajan de manera informal, menos datos de abortos clandestinos, menos datos de personas trans y no binarias. Ningún trabajo de mitigación de sesgos que se haga sobre los algoritmos produce una mejora sobre la base de datos».
De esta manera, un primer problema a la hora de considerar implementar un modelo de IA está en la disponibilidad y representatividad de los datos, además de los criterios considerados a la hora de su recolección. La indisponibilidad o falta de representatividad de los datos puede producir una serie de problemas. Por ejemplo, respecto del entrenamiento de los sistemas, la falta de datos va a significar que hay cosas que los sistemas nunca van a poder “aprender” y eso va a impactar en sus resultados.
En la investigaciónInteligencia Artificial & Inclusión, liderada por Derechos Digitales y desarrollada en alianza con un conjunto de organizaciones académicas y de sociedad civil latinoamericanas, se pudo detectar los impactos de conjuntos sesgados de datos a la decisión mediada por sistemas automatizados. En esos casos, los sesgos pueden impactar en la calidad de vida y la autonomía de las personas afectadas, además de potencialmente reiterar su condición de exclusión y profundizar desigualdades pre-existentes.
Hablando sobre el uso de IA en el ámbito de políticas públicas, Numerosky apunta que «el problema es dónde y cómo se recogen los datos. Los datos deben ser recogidos con calidad y con criterios claros por los distintos organismos». De lo contrario, será imposible analizarlos y generar información relevante para el desarrollo de políticas públicas.
Numerosky distingue entre dos tipos de datos sobre los que trabaja la IA: datos críticos y datos no críticos. Los primeros serían datos personales, mientras que los segundos son datos que refieren a objetos o accesorios. En cualquier caso, puede tratarse de una distinción tenue, porque también los objetos pueden revelar informaciones personales e incluso, sensibles.
La disponibilidad y exactitud de los datos, por lo tanto, puede implicar la existencia de sesgos que, si no son detectados y abordados desde el inicio, pueden impregnar todo el sistema, afectando sus resultados. Un sesgo ocurre cuando hay un peso desproporcionado a favor o en contra de un dato u otro. Ahí es importante recordar lo que resaltaba Numerosky: al hablar de datos, muchas veces nos referimos a informaciones recolectadas o inferidas de personas reales, que serán afectadas por dichos sesgos.
Los sesgos pueden ocurrir en la fuente de recolección, cuando la población no es representativa del fenómeno a ser estudiado. También puede haber sesgos en el diseño del protocolo, sesgos de ingeniería de datos o de los mismos algoritmos. Por ejemplo, arreglos estadísticos realizados en las bases de datos pueden distorsionar la investigación: «si metes basura en tu modelo, te va a devolver basura», resume Fernanda Carles.
Otro concepto importante surgido en las conversaciones fue el de datos abiertos, que se refiere a una filosofía y práctica que persigue que determinados tipos de datos estén disponibles de forma libre para todo el mundo, sin restricciones de derechos de autor, de patentes o de otros mecanismos de control técnicos o jurídicos. Los datos abiertos son datos digitales que son puestos a disposición con ciertas características técnicas y jurídicas necesarias para que puedan ser usados, reutilizados y redistribuidos libremente por cualquier persona, en cualquier momento y en cualquier lugar.
Cabe resaltar que, de acuerdo con la Carta Internacional de Datos Abiertos, la apertura de datos solo puede ocurrir cuando las personas tienen certeza de que eso “no comprometerá su derecho a la privacidad” y tengan el “derecho a influir en la recolección y uso de sus datos personales o de datos generados como resultado de su interacción con los gobiernos”. Por otro lado, no se trata simplemente de publicar información: hay una serie de criterios que deben cumplirse para que un conjunto de datos pueda ser considerado abierto y pueda ser utilizado libremente en distintas aplicaciones.
CC:BY (Maria José Porras Sepúlveda)
Durante el diálogo entre Virginia Brussa y Maia Numerosky se habló además de la importancia de la interoperabilidad, la característica de los datos de poder ser procesados en distintos tipos de sistemas y de diferentes formas, sin ningún tipo de traba técnica. Pensando en la importancia de los datos abiertos en el ámbito público, se cuestionó «¿cómo tener una justicia menos machista, por ejemplo, si no podemos entender los datos de manera sistemática o si los datos no están disponibles?».
El punto no solo retoma la discusión sobre sesgos en la recolección y disponibilidad de bases de datos y las luchas históricas del movimiento feminista para que ciertas informaciones sean recolectadas de manera sistemática por el Estado, por ejemplo, en materia de violencia contra las mujeres. También toca debates sobre el derecho de acceso a la información, la transparencia pública y la transparencia algorítmica: temas actuales en las discusiones sobre la regulación de IA y, a la vez, fundantes en las discusiones sobre derechos humanos y los límites a la operación estatal.
La idea de datos abiertos fue presentada en contraposición al diagnóstico de que «los códigos funcionan y a veces no entendemos muy bien por qué», como lo sintetizó Virginia Brussa. La referencia es a la idea diseminada de que los algoritmos de IA funcionan como una “caja negra” y que es imposible conocer su funcionamiento de manera completa.
Brussa señala que este es un problema común en el sector público, donde muchas veces se adquiere y adaptan tecnologías de terceros ya desarrolladas sin que haya un conocimiento acabado de sus características: «en el sector estatal se compran muchos empaquetados de software que son de código privativo, y no sabemos cómo funciona el código». Esto es particularmente problemático cuando se trata de IA, puesto que las decisiones tomadas de manera automatizada en el sector público también deben ser justificadas y explicadas. La adopción de sistemas en los modos indicados por Brussa agrega una capa de opacidad a la operación estatal y, en el caso de afectación de derechos, hace también más complejo reparar eventuales daños.
Las propuestas de explicabilidad y de transparencia algorítmica desarrolladas en normas sobre protección de datos y sobre IA, así como en distintas propuestas de marcos éticos desarrollados en diferentes sectores, buscan responder a esos desafíos. La transparencia algorítmica implica que los factores que influencian las decisiones tomadas por los algoritmos sean visibles a las personas que utilizan, regulan y son afectadas por ellos. Por otro lado, la explicabilidadgarantiza que estas decisiones puedan ser comprensibles y es un elemento clave para la transparencia.
Más allá de la necesidad de nuevas normas, las participantes enfatizaron que América Latina ha sido pionera en implementar políticas y prácticas de datos abiertos, incluso por medio de contrataciones abiertasy que hay que visibilizar esas iniciativas desde el sector público, como forma de incidencia para que se mantengan y puedan institucionalizarse y expandirse, incluso en favor de mayor transparencia algorítmica.
CC:BY (Maria José Porras Sepúlveda)
Desafíos
El avance en el uso de la Inteligencia Artificial ha conllevado una serie de desafíos que permean la labor de las personas dedicadas a desarrollar iniciativas feministas y a pensar cómo las prácticas feministas pueden ser incorporadas en proyectos de IA. Muchos de ellos son ampliamente conocidos, aunque haya poco espacio en el debate público para su discusión.
Durante los diálogos, las participantes indicaron distintos peligros potenciales a la implementación de sistemas de IA, empezando por los sesgos, que pueden estar en las bases o los modelos, pero que también reflejan patrones de discriminación históricos. «Toda tecnología que hace predicciones o nos da conclusiones a partir de la detección automática de patrones en conjuntos de datos, va a potenciar los sesgos existentes y, por lo tanto, los va a amplificar y propagar», resume Maia Numerosky.
Los sesgos en las bases de datos pueden ser más o menos evidentes. Entrenar un sistema que automatice la selección de personas a puestos de dirección con base en datos existentes sobre quienes ocupan tales puestos puede implicar reproducir un sesgo histórico en favor de un grupo social bastante específico, por ejemplo: hombres y personas de piel blanca, que son quienes mayoritariamente han ocupado dichos puestos.
Por otro lado, hay sesgos más sutiles que requieren una mirada atenta: entrenar un sistema para identificar patrones de contagio por COVID19 y orientar políticas de mitigación utilizando datos de autodiagnóstico disponibles a partir de una aplicación en línea, por ejemplo, implica potencialmente desconsiderar una serie de casos no reportados por parte de personas que no gozan del acceso a dispositivos o conexiones con la calidad requerida para utilizar aplicaciones de autodiagnóstico. Las desigualdades y brechas sociales, por lo tanto, también se reflejan en las bases de datos.
«Los modelos son opiniones incrustadas en la matemática. Cualquier modelo, sea algorítmico o no, constituye una abstracción de la realidad y simplifica e ignora detalles», explica Numerosky, quien también sugiere que «tenemos que tener en consideración los sesgos en todo el proceso de trabajo con los datos, desde la recolección del modelo hasta la evaluación de su funcionamiento», una lección clave para iniciativas de IA feministas, pero también para cualquier proyecto del tipo.
Por otro lado, se identifican actualmente una serie de desafíos en obtener información sobre el uso de sistemas automatizados en los Estados en la región, como apuntó Derechos Digitales en sus estudios sobre IA & Inclusión en América Latina. En los diálogos se ha enfatizado la existencia de iniciativas interesantes en la disponibilización de información sobre el uso de algoritmos en países como Chile, por ejemplo, donde el Consejo de Transparencia en conjunto con la Universidad Adolfo Ibáñez ha publicado un estudio con un listado de 219 sistemas en operación y una propuesta de estándar para orientar tal publicación. Sin embargo, las participantes señalan la importancia de que se adopten principios de datos abiertos en su publicación y se considere incorporar mecanismos que faciliten obtener información significativa sobre los sistemas implementados, sin tener que consultar individualmente a cada una de las agencias sobre su operación.
Pensando en el desarrollo de sistemas por parte de grupos feministas, se discutió el desafío que implica adquirir conocimiento para la creación de una aplicación que incorpore elementos de IA para resolver problemas relevantes en una comunidad, especialmente cuando hay que desarrollar código desde etapas muy iniciales. Este tipo de iniciativa es clave para reivindicar la IA en favor de intereses colectivos, comunes y públicos, más allá de la lógica comercial que ha orientado su desarrollo.
Según Virginia Brussa, proyectos ciudadanos que proponen crear una aplicación implican un enorme desgaste durante el desarrollo para obtener y poner en común el conocimiento. Ella considera que no hay suficientes materiales accesibles que puedan ser replicados, adaptados y reutilizados en el marco de esos proyectos y «es necesario que más materiales circulen».
Para ella, es importante que en proyectos de este tipo se hagan esfuerzos por gestionar mejor el conocimiento y documentar no solo los resultados, sino también los procesos de desarrollo. En la misma línea, una propuesta que surgió en los diálogos en respuesta a tal desafío fue la importancia de fomentar la creación, promoción y la sostenibilidad debibliotecas de código abierto: repositorios que contengan código con licencias libres que permitan a cualquier persona reutilizar, modificar o publicarlos, sin la necesidad de solicitar permiso a sus desarrolladores.
Pensando en iniciativas feministas, Sofía Trejo resalta que cualquier proceso de apertura de información debe estar anclado en los acuerdos desarrollados en el marco de cada proyecto y con cada comunidad: «trabajamos mucho el qué es compartir; para cada uno, qué es compartir para el mundo», cuenta. Ella enfatiza que la decisión sobre qué conocimiento compartir o no cabe a las comunidades.
Iván Meza complementa apuntando a que es necesario entender la política que hay por detrás de la elección de una tecnología. Él resalta que las tecnologías no son neutrales y, al contrario, son impactadas y tienen impactos en las relaciones de poder. Por ello, hay que preguntarse sobre los “porqués” antes de llegar al “cómo”.
Karla Prudencio resalta la importancia de desarrollar procesos más largos y que permitan generar relaciones duraderas para que estas reflexiones puedan darse de manera significativa. Sobre el proyecto desarrollado con Meza, ella cuenta: «uno de nuestros principios es que solo vamos a comunidades que nos han llamado». Un desafío que persiste, según ella, es obtener fuentes de financiación para desarrollar iniciativas que se enfoquen en procesos más que en resultados, y que vayan más allá de lo tecnológico.
A modo de guía: aprendizajes desde las iniciativas feministas latinoamericanas
CC:BY (Maria José Porras Sepúlveda)
Durante los diálogos, las participantes identificaron principios y valores que guiaron su trabajo construyendo procesos y proyectos de IA orientados por una ética y unas prácticas feministas. Sus aprendizajes pueden inspirar futuras iniciativas que apunten en la misma dirección.
Construyendo un equipo comprometido y colaborativo
Un proyecto de IA feminista debe empezar por la construcción de un equipo de trabajo diverso, considerando una perspectiva interseccional. Se debe priorizar la inclusión de personas que históricamente han sido excluidas de los espacios de decisión y desarrollo de tecnologías, como mujeres y personas LGBTQIA+, y la creación de equipos multidisciplinarios que incluyan, por ejemplo, expertas en ética.
Acuerdos de trabajo y colaboraciónentre el equipo y la comunidad que participan en el desarrollo del proyecto deben ser establecidos de manera explícita: eso implica identificar y tratar eventuales conflictos de interés, establecer acuerdos sobre la propiedad y la autoría de cualquier material derivado de la interacción, definir las licencias que se utilizarán para la publicación y difusión de datos, artículos, reportes, etc.
Es necesario fortalecer espacios para poner en común los saberes, de manera que se pueda ampliar la comunicación y el aprendizaje, no solo sobre IA, sino sobre tecnología.
Eligiendo, utilizando y cuidando las tecnologías, los datos y las personas
Es importante explorar opciones de abordaje considerando el contexto donde el proyecto se va a implementar. La selección de una determinada tecnología no es neutra y tiene impacto en las relaciones de poder que establecen.
Las tecnologías o la Inteligencia Artificial no debe ser entendidas como la solución para todo. Los proyectos deben desarrollarse con base en las necesidades concretas identificadas, no meramente como una herramienta de consumo.
«Es fundamental detenerse un rato para decidir si es necesario un sistema de IA y capacitar a las personas en hacerse esa pregunta», resalta Maia Numerosky. En el caso de que se decida por un sistema así, ella recomienda «pensar en el objetivo de la aplicación: si será descriptiva, predictiva, prescriptiva; los cuidados y los efectos que tendrá».
Al elegir una aplicación tecnológica hay que entender las políticas que las orientan y, en el caso de propuestas que adapten sistemas utilizados previamente, conocer la historia de su implementación en otros contextos, para incorporar aprendizajes y evitar utilizar bases de datos reconocidamente construidas de manera poco ética.
Todas las personas participantes de un proyecto de IA deben contar con las capacidades necesarias para apropiarse de las tecnologías, incluso las utilizadas a lo largo del proceso de desarrollo del sistema o aplicación. Si bien es importante distribuir funciones en un equipo de trabajo, todas las personas del equipo deben sentirse capaces de intervenir en las decisiones sobre las tecnologías utilizadas y las funciones proyectadas para el sistema. La creación de talleres u otros espacios de intercambio de conocimientos sobre las tecnologías es central para que eso sea posible.
Cualquier proceso de desarrollo de IA debe guiarse por la protección de las personas y de su autonomía. Fuertes criterios de anonimato y pseudonimato deben ser considerados en la construcción y uso de bases de datos, y en su posterior puesta a disposición.
A modo de conclusión: fomentar la participación, expandir comunidades, construir futuros
CC:BY (Maria José Porras Sepúlveda)
«La AI que tenemos hoy va a ser la infraestructura de la sociedad digital de mañana» advierte Gina Neff. De ahí la importancia de contrarrestar narrativas dominantes que presentan a la IA como una solución ahistórica, ajena a las desigualdades sociales estructurales y que, de no ser reconocidas, pueden ser enquistadas en nuestro futuro.
Una Inteligencia Artificial al servicio de la justicia social es una tecnología territorializada, creada para la comunidad, con la comunidad: las comunidades no están fuera del proceso y no deben ser consideradas de manera externa a la iniciativa en desarrollo. Al contrario, deben estar presentes en todo el ciclo de vida de la creación de un sistema o aplicación de IA, desde las etapas de planificación y diseño. Deben no solo poder intervenir, sino poder cuestionar las intervenciones propuestas.
Generar y mantener un espacio para el diálogo y escucha es fundamental, así como permitir que puedan tener efectiva agencia en los procesos de investigación y desarrollo. La creación de metodologías específicas para facilitar la participación y escucha de las diferentes comunidades potencialmente afectadas por una iniciativa de IA es clave para seguir avanzando en propuestas feministas.
Además, existe un deber ético de todas las personas que han participado en iniciativas de desarrollo de IA desde una perspectiva feminista de compartir y difundir sus experiencias y conocimientos, considerando siempre los acuerdos colectivos establecidos durante el proceso. Respetando las particularidades de cada contexto y la protección de la privacidad y autonomía de las personas y comunidades involucradas, es importante documentar las distintas etapas de desarrollo o discusión y considerar la disponibilización de códigos o datos en formato abierto para contribuir con iniciativas futuras que puedan fundarse en principios y compromisos comunes.
Junto con ello, la opción por bases de datos, modelos y códigos libres, abiertos e interoperables y por infraestructuras que no dependan de grandes empresas de tecnologías, siempre que sea posible, también es una decisión política al representar una forma de apoyar formas alternativas de desarrollar tecnologías.
Estas medidas pueden ayudar a la necesaria tarea de imaginar futuros comunes más justos y libres de opresión.
CC:BY (Maria José Porras Sepúlveda)
Participantes en los conversatorios
Cristina Martínez Pinto es la fundadora y CEO del PIT Policy Lab. Trabajó como consultora de desarrollo digital en el Banco Mundial, dirigió AI for Good Lab de C Minds y cofundó la Coalición Nacional de IA de México IA2030Mx. Es exalumna de la comunidad Global Shapers del Foro Económico Mundial (WEF), miembro de The Day One Project Technology Policy Accelerator y la miembro más joven de la Junta de Asesores del Centro Beeck para el Impacto Social y la Innovación.
Fernanda Carles es activista, educadora y programadora. Trabajó durante 5 años en roles de coordinación, gerencia y consultoría para organizaciones de la sociedad civil, abordando temas como educación con tecnología, seguridad digital, tecnología ética y derechos humanos en internet. Actualmente es encargada de un espacio maker educativo y trabaja en investigación en el Laboratorio de Mecánica y Energía de la Universidad Nacional de Asunción, utilizando aprendizaje de máquina para monitoreo y predicción de polución en el aire en la ciudad.
Gina Neff dirige el Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge. Su investigación galardonada se centra en cómo la información digital está cambiando nuestro trabajo y nuestra vida cotidiana. Sus libros incluyen Venture Labor (MIT Press 2012), Self-Tracking (MIT Press 2016) y Human-Centered Data Science (MIT Press 2022).
Iván Meza es investigador de la Universidad Nacional Autónoma de México (UNAM), especializado en Procesamiento del Lenguaje Natural y ha trabajado en el desarrollo de traductores de lenguas indígenas.
Karla Prudencio es jefa de Incidencia Política en Redes A.C. e Investigadora del Centro Mexicano de Tecnología y Conocimiento Comunitario (CITSAC). Fue Asesora Jurídica Principal del Instituto Federal de Telecomunicaciones de México y jefa de la Oficina de Transparencia y Protección de Datos del Centro de Investigación y Docencia Económicas. También tiene un historial de trabajo con comunidades rurales e indígenas en México en conectividad y derechos digitales.
Luz Elena González es una tecnóloga comprometida con el diseño ético de políticas tecnológicas para crear ciudades más inclusivas, sostenibles y resilientes en América Latina. Como líder de proyecto en PIT Policy Lab, ha desarrollado el flujo de género de la organización, gestionando equipos de investigación y desarrollando recomendaciones de políticas públicas.
Maia Numerosky es Data Science Engineer en Eryx Coop. Ha trabajado como docente multidisciplinaria en enseñanza media y superior de matemática. Es licenciada en Matemática Aplicada de la Universidad de Buenos Aires.
María Paz Hermosilla es Fundadora y Directora del GobLab, laboratorio de innovación pública de la Escuela de Gobierno de la Universidad Adolfo Ibáñez, experta en innovación pública y uso de tecnologías para la transformación del Gobierno. Ha ejercido posiciones en la administración del Estado y asesorado a agencias en temáticas de transformación del Estado, innovación y uso ético de información. Docente en ética de datos en posgrados en varias escuelas de la UAI.
Sofía Trejo es doctora en matemática e investigadora del Centro Nacional de Supercomputación de España (BSC-CNS), especializada en los aspectos éticos, legales, sociales, económicos y culturales de la Inteligencia Artificial. Interesada en promover el entendimiento crítico de la tecnología dentro y fuera de espacios académicos, con un enfoque particular en temas relacionados con género y los «Sures Globales».
Virginia Brussa es docente e investigadora en temas de datos, género, contexto internacional en gobernanza tecnológica y políticas públicas. Coordina el proyecto +Datalab (UNR), es co-directora de la unidad de investigación sobre Educación Abierta Ambiental en la Plataforma de Estudios Ambientales y Sostenibilidad (PEAS-UNR) y contraparte de proyectos locales sobre datos abiertos del Plan Federal de Gobierno Abierto de Argentina.
Créditos
Este proyecto ha sido idealizado y liderado por Juliana Guerra en conjunto con el equipo de Derechos Digitales y contó con la colaboración de Adriana Castrillón y Maria José Porras Sepúlveda.
Este esfuerzo ha sido viable gracias al apoyo de la Red f<a+i>r.
Equipo de realización de los conversatorios
Alejandra Erramuspe Adriana Castrillón Juliana Guerra Ileana Silva María Encalada
Sistematización y notas
Adriana Castrillón Juliana Guerra Ileana Silva
Texto
Ileana Silva Jamila Venturini Vladimir Garay
Revisión y correcciones
Vladimir Garay
Traducción
Alice Nunes, Jennifer Marshall e Sarah Reimann de Urgas Tradu.c.toras
Video (concepción y guión)
Ileana Silva Vladimir Garay
Ilustraciones y animaciones
Maria José Porras Sepúlveda
Apoyo financiero y administrativo
Camila Lobato Juan Carlos Lara Paula Jaramillo
Supervisión general
Jamila Venturini Juan Carlos Lara Michel Souza Vladimir Garay
Versión y licencia
«Reflexiones feministas para el desarrollo de Inteligencia Artificial».
Hace unas semanas se publicó el AI Index 2023 de la Universidad de Standford, que analiza diferentes aspectos relativos a los avances de la Inteligencia Artificial, con una mirada comparativa de la Human-Centered Artificial Intelligence. Varios aspectos de esta publicación son dignos de mención. Entre ellos, el crecimiento en el número de incidentes y controversias relativas a la IA, que se ha multiplicado por 26 desde 2012, según datos del Algorithmic, y Automation Incidents and Controversies (AAIC).
Diversas investigaciones relativas, por ejemplo, a ChatGPT, también demuestran que los problemas relacionados con el uso de estos sistemas, ya sea por parte del sector privado o por parte de las autoridades, se hacen cada vez más evidentes y confirman las preocupaciones de varias organizaciones de derechos humanos dedicadas a estudiar la temática en los últimos años. Por otro lado, llama la atención el mapeo de importantes sistemas de aprendizaje automático atribuidos a investigadores de determinados países. Siguiendo la tendencia de años anteriores, en 2022 la gran mayoría de autores son de países del norte global, concretamente de Estados Unidos, algunos países europeos y China.
Destacamos un punto que amerita mayores consideraciones de los países latinoamericanos, en especial, la utilización de tratados de comercio digital para la regulación de inteligencia artificial, además de dispositivos que puedan impedir la transparencia del uso de varios sistemas de IA.
Tratados de comercio: la agenda digital sin consideraciones de derechos humanos
Diversos tratados de comercio tienen consecuencias para los entornos digitales, regulando aspectos en temas como el comercio electrónico, la protección del consumidor en línea y el establecimiento de estándares para la inteligencia artificial. El Acuerdo de Asociación de Economía Digital (DEPA), firmado por Chile, Nueva Zelanda y Singapur, contiene un capítulo específico sobre IA, obligando a los Estados a adoptar marcos éticos para la gobernanza de esta tecnología.
Pero estos tratados de comercio digital también pueden prohibir exigir transparencia de los algoritmos, impidiendo la divulgación del código fuente de los softwares de IA, lo que puede limitar las posibilidades para la búsqueda de soluciones a estos problemas, excluyendo la participación de autoridades judiciales o reguladoras. Así, por ejemplo, lo establece lapropuesta de reglamentación sobre IA de la Unión Europea, presentada en 2021 y que todavía está en discusión.
Actualmente se han suscrito una serie de acuerdos comerciales bilaterales y multilaterales con compromisos para permitir el libre flujo de datos a través de las fronteras, fortalecer las leyes nacionales sobre secretos comerciales y aplicar estrictas protecciones de propiedad intelectual para el código fuente y los algoritmos inclusive, esto viene en forma de una nueva prohibición para que los gobiernos exijan el acceso o la transferencia del código fuente del software, sujeto a ciertas excepciones, y cuenta con el apoyo activo de EE. UU., Australia, Canadá, Japón y Nueva Zelanda.
Los esfuerzos por inyectar otracapa de protección para el software en el derecho comercial digital pueden ser muy problemáticos. La cláusula del código fuente ya puede resultar demasiado restrictiva para las políticas digitales nacionales. Al mismo tiempo, se ha avanzado mucho menos en abordar losriesgos y daños transfronterizos asociados con la IA, en áreas como la política de competencia, la protección de datos personales, las protecciones contra el uso abusivo de algoritmos en los mercados laborales y de consumo, y el uso respetuoso con los derechos humanos, de forma transparente y responsable.
Haciendo un análisis histórico, las disposiciones que prohíben los requisitos de divulgación del código fuente fueron introducidas por EE. UU. en las negociaciones del Acuerdo Transpacífico de Cooperación Económica (TPP) y desde entonces han sido emuladas en muchos otros acuerdos comerciales, aunque muchos países en desarrollo se oponen firmemente a ellas. El TPP impide a los estados suscriptores solicitar la transferencia o el acceso al código fuente de software. El código fuente es la especificación de un proceso computacional que puede ser compilado y ejecutado por una computadora. En contraste con el código fuente se encuentra el llamado «código objeto», que es el que convierte el código fuente (legible por el ser humano) en instrucciones legibles por la máquina, mediante un proceso conocido como «compilación». El código fuente de un programa informático puede estar protegido por propiedad intelectual y considerarse secreto comercial. De acuerdo con el artículo 10.1 del Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio (ADPIC), de la OMC, los programas informáticos, tanto en código fuente como en código objeto, pueden protegerse mediante derechos de autor. Por lo anterior, estas disposiciones pueden amenazar el derecho de acceso a la información pública y, por tanto, el derecho a la libertad de expresión, según lo determinan la Constitución y las leyes de varios países latinoamericanos.
La transparencia, además de reforzar la confianza en las instituciones, constituye un derecho humano fundamental cuando se considera desde la perspectiva del acceso a la información. Este es un derecho consagrado en laConvención Americana sobre Derechos Humanos y, en el caso chileno, es una obligación del Estado prevista en laConstitución, en sus artículos 8 y 19 n. 14, en virtud del cual se presume pública toda la información que obre en poder de los órganos de la administración del estado y del principio de máxima transparencia o divulgación, expresamente definido en la ley de acceso a la información pública.
Pese a lo anterior, no se puede denegar la solicitud de acceso a información pública referida al código fuente de una aplicación estatal de reconocimiento facial, por ejemplo, en base a la supuesta vulneración de derechos de propiedad. La divulgación del código fuente de un software permite auditar su funcionamiento, participar en su mejora y controlar su seguridad, idoneidad y eficacia. Sin embargo, hay posiciones que lo consideran una forma de divulgación forzada de tecnología y como una barrera al comercio exterior. Así lo establecen los “Report on Foreign Trade Barriers” elaborados por EE. UU. en los años de2022 y2023, pero sin considerar los derechos humanos involucrados en estos casos.
El uso de la inteligencia artificial debe respetar los derechos humanos
Son cada vez más evidentes las consecuencias negativas de varios sistemas de IA, relativas apotenciales violaciones de derechos humanos y, particularmente, al incremento de la discriminación hacia grupos históricamente vulnerables, basado en sus ingresos, color de piel o género. El otro factor que llama atención en el reporte de AI Index 2023 es el aumento del interés de los formuladores de políticas en la Inteligencia Artificial, dado el creciente número de leyes y proyectos de ley que buscan regular el uso de la IA. En Brasil y Chile, actualmente existen diferentes propuestas normativas al respecto y una parte importante de estas discusiones es justamente sobre cómo brindar transparencia a la utilización de estos sistemas, para lo cual el acceso al código fuente y los algoritmos ciertamente tienen un rol fundamental.
Los estándares internacionales de la IA cubren sus usos y procesos, y es importante que reflejen los intereses públicos, en conformidad con los derechos humanos de las personas y los valores sociales. Sin embargo, el establecimiento de estándares está dominado por los principales actores de la industria y un número selecto de gobiernos del norte global. A las tecnologías de IA se les otorgan derechos de propiedad intelectual adicionales a través de acuerdos comerciales, incluidos los algoritmos y el código fuente, lo que presenta el riesgo de reforzar el poder de mercado de las empresas dominantes e impedir los avances hacia la transparencia algorítmica y la responsabilidad.
Es probable que usted conozca a alguien que haya tenido un problema derivado de su puntaje de crédito (credit scoring). Esta ha sido una herramienta muy utilizada por bancos y comercios en general para evaluar la capacidad de pago de una persona. A pesar de ser útil para muchas personas a la hora de dar acceso al crédito en entidades financieras, poco se habla sobre los problemas relacionados con esta práctica.
Muchas veces no existe información adecuada sobre este registro. Es como una verdadera caja oscura con respecto a los datos personales: no se sabe de dónde provienen los datos, qué criterios se utilizan para su tratamiento y, principalmente, cómo se utilizan las técnicas de inteligencia artificial para determinar si una persona puede o no, por ejemplo, financiar un automóvil.
Esta columna analiza brevemente cómo el tema es cada vez más relevante para las personas, además de traer algunos ejemplos actuales de discusiones regulatorias y prácticas de mercado ante posibles denegaciones de crédito, discriminación, falta de transparencia, entre otros problemas encontrados.
Importantes discusiones de los EE.UU. a la Europa
El tema está regulado en Estados Unidos, principalmente por la Ley de informes crediticios justos (FCRA), modificada en gran medida por la Ley Dodd-Frank que trajo importantes medidas para la regulación del capital financiero y la protección del consumidor después de la crisis financiera de 2008.
Siguiendo la citada ley, la Oficina de Protección Financiera del Consumidor (CFPB), de EE.UU. publicó un reporte anual sobre los burós de crédito más grandes de EE.UU.: Experian, Equifax y TransUnion. Entre sus recomendaciones, se aconseja considerar cómo los procesos automatizados impactan a los clientes, particularmente aquellos que reportan un derecho deben considerar la carga del consumidor (consumer burden) y, sobre todo, si un cambio hacia la automatización requerirá que los consumidores tengan que sortear más obstáculos y lidiar con distintos organismos para ejercer sus derechos.
En Europa, la Corte de justicia europea analizará un caso importante sobre este tema. El caso C-634/21 trata acerca de una agencia privada de información crediticia alemana (SCHUFA) que proporciona información sobre la solvencia de los consumidores a sus socios contractuales. SCHUFA establece puntajes de crédito donde la probabilidad del comportamiento futuro de una persona se predice sobre la base de ciertas características de esa persona, utilizando métodos estadísticos matemáticos.
Las organizaciones Algorithm Watch y Open Knowledge Fountation lanzaran la campaña OpenSCHUFA que, aparte de arrojar luz sobre el tema y visibilizar la conducta poco transparente de la empresa, también condujo a la evaluación de datos de más de 2000 consumidores por parte de periodistas de datos de BR Data y SPIEGEL Data. La investigación concluye que muchas personas son declaradas caso de riesgo sin culpa propia.
El caso europeo pretende definir cuestiones tales como si la calificación crediticia es una decisión basada únicamente en el procesamiento automatizado, incluida la elaboración de perfiles, y los límites de la ley europea de datos (RGPD) para aplicar el credit scoring. La Corte de Justicia va a analizar la aplicación del artículo 22 del RGPD, que trata del derecho del interesado a “no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. Esta semana, el Abogado General publicó su opinión en el caso de que, entre otros puntos, la conservación de datos por una agencia privada de información comercial no puede ser lícita “a partir del momento en que los datos personales relativos a una insolvencia se hayan suprimido de los registros públicos”.
Brasil: múltiples leyes para la protección de los derechos
En Brasil, la discusión también está caliente. A mediados de febrero, Idec publicó el libro “El consumidor en la era del puntaje de crédito”, coordinado por Juliana Oms y disponible en versión digital. El libro trae varios artículos que exploran cómo se puede entender el interés económico en relación con la protección de datos personales y la privacidad, además de profundizar en la producción de la regulación en Brasil sobre el tema en los últimos años, y analizar la perspectiva de defensa del consumidor sobre el tema.
Por un lado, la legislación brasileña, a pesar de estar inspirada en la legislación europea, define de manera muy amplia la protección del crédito como una de las hipótesis para el tratamiento de datos personales. Por otro lado, la ley específica sobre la materia (Lei do Cadastro Positivo) prohíbe el registro de información excesiva que no esté vinculada al análisis del riesgo crediticio del consumidor; e información sensible, como origen social y étnico, salud, información genética, orientación sexual; y creencias políticas, religiosas y filosóficas. Tal como lo entiende la jurisprudencia brasileña, el uso de este tipo de información sería un abuso de derecho, lo que está prohibido por el Código de Protección del Consumidor.
La inteligencia artificial, datos crediticios y sus riesgos
El tema aún está en discusión y, actualmente, se está abordando el riesgo de utilizar sistemas de inteligencia artificial (IA) para este propósito. En el marco brasileño de las discusiones del Proyecto de Ley sobre inteligencia artificial, la comisión de juristas encargada de analizar los proyectos de ley propuso la adopción de un sistema de calificación de riesgos, que debe ser un paso previo a la publicación de la oferta de estos productos ante los consumidores. Por lo tanto, los sistemas de IA considerados de alto riesgo han de adoptar medidas de mitigación, como realizar una evaluación de impacto algorítmico y adoptar medidas de gobernanza, y medidas de gestión de datos para aminorar y prevenir sesgos discriminatorios. El sistema de calificación crediticia, según la propuesta, sería un sistema de alto riesgo y, por ende, requiere del cumplimiento de las medidas mencionadas.
La solución propuesta por la comisión brasileña de juristas brinda mayor protección a los derechos humanos involucrados en este caso: la privacidad y la no discriminación. Sin embargo, aún queda un largo camino para que la ley sea aprobada y, posteriormente, sea aplicada efectivamente por las instituciones.
Hay mucho por hacer
Si, por un lado, hay un discurso que avala el uso de este tipo de herramienta, en tanto puede servir para tener un acceso más fácil al crédito con tasas más bajas, por otro lado, hay muchos riesgos que deben ser tomados en cuenta: denegaciones indebidas de acceso a crédito, discriminación, violación sistemática de la privacidad, uso indebido de datos sensibles, entre otros. Los factores se vuelven más complejos cuando se observa la falta de transparencia respecto de varios factores importantes de los sistemas utilizados, además de los problemas relacionados con el uso de herramientas automáticas para la evaluación.
Vemos que el análisis de algunas de las jurisdicciones apunta a la complejidad de este tema, en vista de las múltiples leyes de consumo, protección de datos y otros temas que están involucrados con el cumplimiento de los numerosos derechos humanos que se evidencia en este caso. Junto con ello, la existencia de varias instituciones encargadas de la supervisión, además del uso intensivo de herramientas de inteligencia artificial en este análisis, también son otras cuestiones que agregan complejidad al tema. Necesitamos ser conscientes de la necesidad de una mejor regulación y actuación de las autoridades sobre los datos crediticios, por el alto impacto que su uso y tratamiento tienen en la vida de las personas.
Cuando comenzamos 2022, una esperanza comenzaba a crecer en buena parte del mundo: las vacunas para reducir los contagios y los síntomas de la COVID-19 surtieron efecto y llegaron a más grupos de la población. Lentamente, aspectos de la vida prepandémica volvían a materializarse y, después de dos años dramáticos, el mundo parecía realinearse.
Pero el año inició con tumulto mundial: una invasión en Europa oriental creaba una crisis humanitaria de incalculable costo humano, que a su vez desviaba la atención de otras crisis en África oriental, en Asia meridional, en América Latina. Nuevas desigualdades, internas y externas, se hicieron patentes, ahora bajo la presión del riesgo vital de una pandemia que no termina.
Como en buena parte del mundo, América Latina ha visto el agravamiento de las distintas crisis superpuestas, agudizadas por un horizonte de crisis económica que está en pleno desarrollo. Aun así, grandes aires de esperanza se sintieron en la región, en la resistencia al abuso y la injusticia, y en la participación política en varias elecciones.
En América Latina, el 2022 partió con revelaciones de hackeo a periodistas en El Salvador, en una réplica de lo que fue descubierto años antes en México, revelando que el espionaje ilegal estatal con herramientas importadas continúa en la región.
A la vez, la vigilancia masiva todavía es una disputa inconclusa. En una insigne victoria para el activismo local, en México el invasivo Padrón Nacional de Usuarios de Telefonía Móvil (PANAUT), aprobado a fines de 2021, fue declarado inconstitucional, impidiendo la vinculación entre la identidad de un usuario de teléfono y su información biométrica, entre otros datos, en una decisión anunciada en abril. Poco antes, se había detenido en el metro de San Pablo, Brasil, el uso de un sistema de reconocimiento facial automatizado, aunque luego fue autorizado por la justicia. Esa batalla continúa, ahora contra una iniciativa por extender el reconocimiento facial a toda la urbe. En la Ciudad de Buenos Aires, en tanto, la justicia declaraba la inconstitucionalidad de un sistema de reconocimiento facial.
En Colombia, una preocupación constante por la incorporación de mecanismos legales para fórmulas riesgosas de identidad digital, como también un debate sobre neutralidad de la red y zero-rating se tomaron parte de la agenda después de la fuerte escalada de violencia de las protestas de 2021. El uso de máquinas digitales para el proceso electoral fue, como siempre, objeto de escrutinio.
Al igual que en Colombia, y ante los ojos del mundo, una nueva elección presidencial en Brasil ofrecía esperanza, pero también mostraba algunos de los peores temores de la región: torpes intentos de control de la desinformación amenazaban con alterar el funcionamiento de la mensajería personal, mientras varias acusaciones de desinformación enfrentaban al gobierno y a las iniciativas de empresas privadas por controlar el discurso en línea. Que todo eso ocurriera mientras aumentaba el gasto en tecnología de hackeo y vigilancia hacía temer por el futuro.
Por cierto, las protestas sociales de los últimos años no cesaron. En Ecuador, fuimos parte del reclamo de la sociedad civil en rechazo a la represión y la vigilancia en el marco de protestas sociales a mediados de año. Presentamos a la ONU múltiples antecedentes sobre situaciones de afectación de derechos, especialmente vinculados a la expresión y la protesta, en un informe dentro del contexto del Examen Periódico Universal. En paralelo, continúa el cuestionado juicio contra Ola Bini a pesar de las reportadas infracciones al debido proceso. También vimos que persiste la represión de la expresión y la protesta en Nicaragua, incluido el allanamiento y cierre de organizaciones y de medios de comunicación, alarmando a expertos internacionales que exigen visitar el país. Y, en Venezuela, informes tanto de la industria de las telecomunicaciones como de la sociedad civil, mostraron el nivel de vigilancia y represión en ese país.
Al mismo tiempo, Brasil progresaba en un área sensible para toda la región: la protección de datos personales. Sin ser un debate ajeno a la contingencia, Brasil avanzó en el otorgamiento de autarquía de carácter especial a su nueva autoridad de control de datos personales. Por su parte, Ecuador –que promulgó su ley en 2021– inició este año el proceso de reglamentación de la ley. En Chile, paso a paso se Avanza en un proyecto de reemplazo a una ley que hoy es ineficaz ante casos públicos de vulneración de los derechos sobre los datos.
También hubo otros relevantes debates legislativos en la región, para los que este recuento quizás no basta. Fuimos testigos de la discusión por una nueva ley de inteligencia artificial en Brasil, como también en iniciativas de leyes sobre ciberseguridad, sobre desinformación y sobre ciberdelitos en varios países de la región. Nuestro trabajo de monitoreo continúa con intensidad para identificar las oportunidades, los riesgos a las libertades y derechos que puedan acompañar a esas iniciativas. Nos involucramos en la discusión por una nueva constitución en Chile, con propuestas surgidas desde distintos lugares y grupos del país.
No obstante también aprovechamos instancias globales que afectan a América Latina. Como ejemplos, contribuimos a informes de oficinas de expertos de Naciones Unidas sobre apagones de internet y sobre inteligencia artificial y privacidad. Participamos en procesos como la reunión de plenipotenciarios de la UIT, en la peligrosa discusión por un nuevo tratado sobre ciberdelitos, en el debate global sobre normas para el comportamiento de los Estados en el ciberespacio, y mucho más.
Mirar hacia el futuro
Todo lo anterior es apenas una muestra de lo intenso que fue el trabajo del año desde nuestro activismo. No obstante, también hubo muchísima colaboración, la misma que creemos que es parte esencial de la proyección hacia el futuro de la labor de Derechos Digitales.
Como organización, el año también fue de oportunidades de cooperación cruciales para la región. Volvimos a albergar un evento virtual de difusión, intercambios y aprendizajes. Participamos muy activamente en la organización del Foro de Gobernanza de Internet de América Latina y el Caribe, el LAC IGF. Nos reunimos con nuestras aliadas de la coalición Al Sur para comenzar a pensar en el futuro, en un primer encuentro presencial después de años. Mantuvimos numerosos talleres y reuniones con organizaciones e instituciones a nivel regional y global. Y nos sumamos como socios organizadores, con esperanza, al Movimiento por una Mejor Internet.
Logramos también apoyar a 21 iniciativas de acción de 12 países de la región a través de nuestro Fondo de Respuesta Rápida, no solo facilitando la respuesta ágil a situaciones de emergencia, sino también favoreciendo el aprendizaje en múltiples contextos de activismo. Es a través de procesos como este que la colaboración de 2021 con el ODIA argentino ayudó en la declaración de inconstitucionalidad del sistema de reconocimiento facial en Buenos Aires. Mecanismos de apoyo como este Fondo demuestran que existen nuevas posibilidades para la articulación de organizaciones en la región.
Lo más importante: en una época global de grandes cambios, consolidamos un equipo sólido, de muy diversos orígenes y perfiles, fortaleciendo nuestra capacidad de trabajar en distintos ámbitos. Sabemos que en 2023 habrá más cambios, pero también que con ellos vendrán nuevas oportunidades de colaboración interna y externa.
Aunque ha sido un año desafiante, sentimos orgullo por el camino recorrido y mucha esperanza en el que queda por recorrer. La mirada introspectiva ha sido fuente de gran aprendizaje, como también de importante reflexión sobre lo que necesitamos seguir haciendo. Porque creemos en nuestro derecho y en nuestra capacidad de crear un futuro más justo para América Latina, reconocemos lo que significa el fin de 2022 y damos la bienvenida a 2023.
El creciente número de incidentes y casos de ciberataques a empresas y gobiernos ha provocado numerosas discusiones sobre la necesidad de políticas públicas en ciberseguridad con enfoque de derechos humanos. Los derechos de los ciudadanos son doblemente vulnerados. Primero, porque sufren en carne propia los efectos perversos de estos ataques, y segundo, por la falta de inversión y coordinación por parte de los estados y las empresas. Por otra parte, hemos visto discusiones crecientes, a menudo acaloradas, sobre las regulaciones de inteligencia artificial.
En este texto evaluaremos algunos avances en el tema de ciberseguridad, principalmente desde el punto de vista de cuál ha sido el rol de la UIT y por qué su desempeño ha sido importante para los países del sur global. También analizaremos cómo una nueva resolución sobre IA en el ámbito de la UIT puede ser vista como una continuación de los proyectos de “IA para el bien” que la agencia ya venía desarrollando.
Las acciones de la UIT en el tema de la ciberseguridad
La UIT ha sido llamada la agencia de la ONU más importante de la que nunca has oído hablar. Es el organismo especializado de las Naciones Unidas para las tecnologías de la información y la comunicación (TIC), formada en 1865. Cada cuatro años, los Estados miembros se reúnen en la reunión de plenipotenciarios para discutir y planificar el curso de los próximos años. El tema de la ciberseguridad se ha discutido cada vez más en esta reunión y principalmente dentro del ámbito de trabajo de los sectores de normalización (UIT-T) y desarrollo (UIT-D).
Son múltiples los roles desempeñados por la UIT en el campo de la ciberseguridad, que resultan particularmente importantes para los países del sur global. Junto con otros actores como el Banco Mundial, la UIT publicó la “Guía para el desarrollo de una Estrategia Nacional de Ciberseguridad”, que actualmente se encuentra en su segunda edición. Además de abordar cuestiones básicas del proceso sobre cómo crear esta política pública, la Guía incluye buenas prácticas sobre el contenido de la propia estrategia. Esto es relevante para países que, como Chile y México, actualmente están discutiendo la evaluación y renovación de una estrategia nacional e incluso la creación de leyes de ciberseguridad.
Además, el Índice Global de Ciberseguridad ha servido durante años como indicador y referencia para la evaluación de los Estados en temas clave cuando se habla de ciberseguridad. La Agenda Global de Ciberseguridad es otra herramienta lanzada en 2007, que ha influido en la creación de políticas públicas a nivel nacional, especialmente en los países del sur global. Se trata de un instrumento internacional de cooperación lanzado en 2015, que hasta el día de hoy genera controversia por tratarse de un instrumento internacional fuera del mandato de la agencia, como pudimos ver en las intensas discusiones de la reunión Plenipotenciaria este año.
“IA para el bien”: consolidación del trabajo de IA
El trabajo de la UIT sobre inteligencia artificial (IA) no es nuevo. El programa “AI for Good” y junto con el Gobierno de Suiza y otras 40 agencias asociadas en el sistema de las Naciones Unidas, como la UNESCO, la UNCTAD, la FAO, por ejemplo, la UIT ha desarrollado proyectos para identificar aplicaciones prácticas de la IA, proporcionar soluciones a escalar para tener impactos globales y acelerar el uso de esta tecnología para cumplir con los Objetivos de Desarrollo Sostenible (ODS).
La acción interinstitucional de esta agencia en temas de IA debe entenderse en el contexto de otros espacios multilaterales donde se discutan los usos de la IA contra los derechos humanos. Este es un factor de suma importancia para que los ejemplos de “AI for good” no oculten posibles sesgos discriminatorios y otros riesgos señalados en el uso de esta tecnología.
La perspectiva de derechos humanos
Debemos prestar atención a lo que se está discutiendo en la UIT. Primero, en el cumplimiento de la actuación de la agencia dentro de su competencia, por ejemplo, siguiendo su rol como mediadora/facilitadora de la línea de acción C5 de la Cumbre Mundial sobre la Sociedad de la Información (CMSI), en la creación de confianza y seguridad de las TIC. En segundo lugar, evitar que en este espacio se desarrollen temas ajenos al ámbito de la agencia en lugar de otros espacios idóneos, más participativos y multisectoriales.
Por un lado, vemos a la UIT jugando un papel importante en ciberseguridad para el sector público y privado, principalmente relacionado con actividades de investigación, normalización, difusión de buenas prácticas y formación.
Este rol resulta muy importante para los países del sur global, dado que es un referente. Es necesario entender que la apertura de la agencia es fundamental para fomentar la discusión de aspectos relevantes en la construcción de políticas públicas de ciberseguridad, que está relacionada con el cumplimiento de los derechos humanos.
Posibles caminos a seguir
Es necesaria una mayor participación de la sociedad civil en las decisiones y diseños que se hacen en la UIT. Quizás los resultados de las elecciones de la agencia apunten a un camino más abierto para la participación de las múltiples partes interesadas. Mientras tanto, las organizaciones pueden seguir uno de los cuatro caminos para participar en este espacio, descritos por la organización Artículo 19: afiliación a la UIT, participación en una delegación nacional, participación en consultas públicas o estar al tanto de los temas que la UIT pretende incluir en su ámbito de trabajo.
Tenemos por delante cuatro años de discusiones importantísimas en la UIT y necesitamos una mayor participación en temas de ciberseguridad e IA, ya sea discutiendo los temas de las comisiones de estudio de cada sector, contribuyendo en contribuciones locales o regionales a la agencia, demandando más espacio para la participación de la sociedad civil o participando en los proyectos desarrollados por la agencia.
Reciente, hemos visto publicados estos tres titulares en medios de comunicación:
Inteligencia artificial: con algoritmos predicen qué liceales pueden abandonar o repetir y harán listas (El País, Uruguay).
Inteligencia Artificial demostró cómo se verán los humanos en un millón de años (Smart 13, Chile).
Cuadro generado por inteligencia artificial gana premio y desata polémica en el mundo del arte (Deutsche Welle, Alemania).
Esta pequeña y poco representativa muestra sirve para ilustrar algunas cuestiones relevantes respecto a la inteligencia artificial (IA) y las narrativas que se han creado en torno a ella.
Lo primero que salta a la vista es que se están usando sistemas de IA para un amplio abanico de tareas, que van desde cuestiones importantes en materia de política pública hasta otras completamente absurdas e inconsecuentes.
Una forma de explicar esta variedad de aplicaciones dispares es que nos encontramos en un estado temprano del desarrollo de estas tecnologías y no somos capaces de comprender completamente su potencial y sus límites, cuestión que probablemente será definida en un largo proceso de ensayo, error y descarte.
Pensemos, por ejemplo, en el teléfono, una tecnología cotidinana y obvia, que en la actualidad no requiere mayor explicación de nuestra parte. Sin embargo, no lo era para las personas de fines del siglo XIX. Antes de asentarse como una tecnología de telecomunicación, los desarrollos iniciales de la telefonía avizoraban distintos usos potenciales, incluyendo la transmisión de música orquestal a larga distancia, los que eventualmente fueron abandonados.
En la medida en que los sistemas de inteligencia artificial comienzan a ser adoptados por los gobiernos y las empresas privadas para asistir la toma de decisiones de cuestiones cada vez más relevantes en las vidas de las personas, el impacto de sus errores puede ser devastador. Seguramente en un futuro no tan lejano miraremos nuestro actual uso de la inteligencia artificial de forma similar a cómo evaluamos hoy la frenología, con una mezcla de vergüenza e indignación.
Son los estados y los organismos internacionales los principales convocados a establecer límites, procedimientos y regulaciones que impidan desenlaces catastróficos asociados al uso de sistemas de IA. Pero la tarea de crear conciencia sobre la necesidad de una aproximación más cuidadosa y responsable en torno a esta tecnología la corresponde a todos los actores sociales, incluyendo a la prensa.
El carácter mitológico de la tecnología
Esa es otra cuestión que llama la atención: de las tres noticias presentadas más arriba, una es absolutamente ridícula y otra es una exageración. La idea de que una inteligencia artificial pueda predecir el modo en que lucirán los seres en un millón de años no solamente es absurda, sino que al leer la noticia nos enteramos de que se trata del ejercicio ocioso de un usuario de Tik Tok, que carece de cualquier fundamento sólido. Por su parte, si bien es cierto que una obra creada con IA ganó un concurso, afirmar que se ha desatado una polémica en “el mundo del arte” parece demasiado si consideramos que el concurso en cuestión es organizado en el marco de la “Colorado State Fair & Rodeo”, no exactamente una renombrada institución artística, y la polémica se desató principalmente en redes sociales.
A pesar de que ambas noticias no son más que entretenimiento y los hechos relatados no conllevan mayores consecuencias, la suma de noticias de este tipo generan un imaginario y unas expectativas respecto de lo que la inteligencia artificial es, completamente desconectadas de sus condiciones materiales, dejando a la población mal posicionada para evaluar y entender mejor aquellos proyectos que sí pueden impactar sus vidas de forma importante, como es el caso del sistema anunciado en Uruguay.
Esta aparente disonancia entre el modo en que socialmente pensamos en las tecnologías y sus capacidades técnicas reales no puede ser simplemente descartada como ignorancia o falta de claridad, sino que es parte de lo que podríamos denominar el carácter mitológico de la tecnología, que lejos de constituir una fantasía inocua, tiene repercusiones bastante reales: cada vez que un político promete solucionar un problema social complejo por medio de un algoritmo, está apelando a esta mitología; y si el proyecto se concreta, dependiendo de cómo sea implementado, puede tener consecuencias importantes en la vida de las personas, para bien y para mal.
No es una varita mágica
Hay una cita de Arthur C. Clarke que se ha convertido en un cliché a la hora de hablar de tecnología: “Cualquier tecnología suficientemente avanzada es indistinguible de la magia”, que ha suscitado distintas interpretaciones. La frase parece ser particularmente acertada a la luz de una problemática común en el mundo de la inteligencia artificial, donde la trazabilidad de la toma de decisiones por parte de los sistemas no siempre está garantizada, convirtiéndolos en una verdadera caja negra a la que se alimenta con grandes volúmenes de datos esperando obtener alguna respuesta, pero sin ninguna capacidad de entender cómo se ha llegado a ella.
Los sistemas de inteligencia artificial muchas veces se parecen más a un oráculo que a los postulados racionalistas y empiristas sobre los que se sustenta el método científico. No solamente los resultados no son replicables, sino que además el proceso es misterioso.
Por eso es bueno leer que Héctor Bouzón, director ejecutivo de Gestión Institucional de la Administración Nacional de Educación Pública (ANEP) de Uruguay que el sistema que están implementando no es una “varita mágica”, sino que un instrumento más de diagnóstico, y que es necesario enseñar a leer los resultados que el sistema arroja —“ Hay que tener cuidado para no estigmatizar alumnos, alerta Bouzón: “Yo tengo una nómina, ¿pero qué significa?”—.
Existen experiencias anteriores en la región donde la toma de decisiones por medio de sistemas automatizados ha generado respuestas estigmatizantes. El caso más notorio es el de la Provincia de Salta en Argentina, donde se pretendió usar un algoritmo para predecir embarazos adolescentes, con resultados deplorables y que violaba derechos fundamentales de las niñas más pobres de la provincia.
Menos visible que el anterior, pero relevante para la evaluación, es el caso del Sistema Alerta Niñez en Chile, implementado en modalidad piloto y que tiene como objetivo estimar y predecir el nivel de riesgo de niñas, niños y adolescentes de sufrir alguna vulneración en sus derechos en el futuro, mediante un análisis de datos de diferentes fuentes administrativas.
Del análisis realizado por Matías Valderrama en el marco del proyecto “Inteligencia Artificial e Inclusión” de Derechos Digitales, se determina que el sistema no explica cabalmente el tipo de tratamiento de datos al que son sujetos los NNA con el Sistema Alerta Niñez; la opacidad con la que el sistema ha operado hasta ahora, sin documentación pública sobre el funcionamiento, rendimientos y efectos de los modelos predictivos, y la ausencia de procesos de participación o consulta ciudadana en el desarrollo e implementación del sistema, entre otros varios problemas asociados a su implementación.
Las alertas levantadas por Bouzón y otros funcionarios involucrados con el desarrollo del sistema de predicción de deserción escolar consultados por el artículo de El País demuestra un nivel de conciencia poco común respecto de los problemas y desafíos de lidiar con una tecnología de este tipo, lo que, en alguna medida, es tranquilizador.
Sin embargo, es tarea de la sociedad en su conjunto velar y exigir que la implementación de este sistema cumpla con los más altos estándares en la materia, incluyendo políticas de participación, transparencia y evaluación.
¿Es posible desarrollar IA que no reproduzca lógicas de opresión? Para responder a esta pregunta, nos enfocamos en las relaciones de poder inmersas en el campo de la IA y hacemos un análisis interpretativo de las experiencias, en el día a día, de siete mujeres que trabajan en algún campo de la IA o la ciencia de datos en la región, en diálogo con distintas declaraciones de principios y guías feministas para el desarrollo y despliegue de tecnologías digitales.
Esta semana se conocieron detalles sobre los planes del Reino Unido para regular la IA. Según el gobierno,la propuesta «desataría la innovación y aumentaría la confianza pública en la tecnología», prometiendo tener una regulación menos centralizada, en comparación con el enfoque europeo. El Reino Unido también está trabajando en reformular las leyes de protección de datos y la información digital.
El enfoque británico tiene en cuenta seis principios fundamentales para desarrolladoras y usuarias de IA: seguridad (es técnicamente seguro y funciona según lo diseñado), transparencia y explicabilidad, justicia, identificación de la persona jurídica responsable e indicación de vías de reparación o impugnabilidad.
Desde 2021, la propuesta de la Ley de IA de la Unión Europea se ha ido materializando. La adopción de un enfoque basado en riesgos no ha eximido la presencia de críticas. La propuesta también ha recibido múltiples sugerencias de reformas, inclusive la de aumentar la participación de la sociedad civil desde el proceso legislativo hasta la implementación de la futura ley.
Para la organización internacional Access Now, la Ley de IA europea no aborda los impactos que esos sistemas pueden tener en personas que no son ciudadanas de la Unión Europea, como migrantes y refugiadas de guerra que ya están sujetas a algoritmos de evaluación de riesgos, perfilado, detectores de mentiras, entre otros.
Construyendo la regulación de IA en Brasil
Luego de un apresurado y ampliamente criticado proceso de discusión y aprobación en la Cámara de Diputados brasileña, un conjunto de tres propuestas de regulación de IA se están actualmente en debate en el Senado. Las propuestas aprobadas, como ha apuntado la Coalizão Direitos na Rede, son “superficiales e incapaces de cubrir la complejidad del tema”.
En el Senado, los proyectos de ley fueron enviados para el análisis y la revisión de una comisión de juristas, encargada de elaborar un texto sustitutivo. Se trata de 18 profesionales del campo del derecho actuando en distintos sectores y con amplia experiencia en temas como protección de datos, derecho civil en internet y derechos del consumidor, entre otros, componen la comisión.
La instalación de la comisión recibió críticas por su composición, y se solicitó ampliar el nivel de participación con “profesionales de prestigio de diferentes áreas, regiones, con paridad de género y raza”.
En respuesta a tales demandas, la comisión abrió distintos procesos de consulta para subsidiar sus decisiones, incluyendo una serie de audiencias públicas, un seminario internacional y una consulta de insumos por escrito que en la que se recibieron más de 100 contribuciones.
Han sido escuchadas más de 60 personas en las audiencias públicas que se llevaron a cabo entre el 28 de abril y el 13 de mayo. Con énfasis en diferentes ejes, se han discutido los conceptos, la comprensión y clasificación de la inteligencia artificial, los impactos de la inteligencia artificial, derechos y deberes, así como rendición de cuentas, gobernanza e inspección.
El primero es que todos los derechos humanos pueden verse afectados por los sistemas de IA en especial por los riesgos que trae en términos de expansión de la vigilancia, sesgos y discriminación y la opacidad en la toma de decisiones y la consecuente pérdida de autonomía de las personas e instituciones. Como señaló Jamila Venturini en una de las audiencias, los riesgos de discriminación en el ejercicio de derechos fundamentales ya es observado en la implementación de esos sistemas en el sector público y en áreas sensibles de políticas públicas, como apuntan investigaciones coordinadas por Derechos Digitales.
Segundo: los principios éticos o dispositivos genéricos no son suficientes para la protección de la sociedad frente al avance de estas tecnologías. Son necesarios límites, procedimientos adecuados y normas concretas, como defendió Derechos Digitales en su participación escrita y como también recomiendan organismos internacionales como la Unesco. Eso incluye la necesidad de implementación de estudios de impacto a los derechos humanos que den cuenta de identificar los potenciales riesgos de un determinado sistema, así como las debidas medidas de mitigación.
Finalmente, el tercer punto se refiere a la necesidad de un sistema de reparación que considere la responsabilidad civil, pero también un análisis previo que permita limitar la implementación de sistemas que representen riesgos excesivos en el contexto brasileño. Una crítica a los textos en discusión es que se presenta la idea de un sistema de evaluación de riesgos de manera genérica y sin una exhaustiva descripción de los procedimientos y condiciones para su implementación.
Un concepto que no es inocente
El concepto de Inteligencia Artificial utilizado en el proyecto aprobado por la Cámara de Diputados fue duramente criticado durante las audiencias. Mireille Hildebrandt, profesora de derecho y tecnología en la Universidad Vrije Universiteit de Bruselas, argumentó que el tema principal para la protección legal con respecto al uso de sistemas de IA debe centrarse en su impacto. Pues no se trata de impedir el desarrollo de tecnologías, sino de anticipar, mitigar y evitar riesgos. Venturini reforzó el punto, indicando que una interpretación acotada del concepto de IA puede dejar desreguladas preocupantes implementaciones de procesamiento y clasificación algorítmica de datos en la región, cuyo grado de autonomía o inteligencia es incierto.
Un ejemplo es el sistema utilizado en Brasil para la distribución de ayuda financiera durante la pandemia.Un estudio reciente de InternetLab, con apoyo de Derechos Digitales, sobre la decisión algorítmica en el caso del programa Auxilio Emergencial evidencia una serie de problemas y riesgos al acceso a un derecho fundamental por parte de poblaciones en condición de vulnerabilidad debido a errores y desactualización en las bases de datos .
Otra preocupación relacionada a la conceptualización de IA tiene que ver con las distintas implementaciones que podrían abarcar y las consecuencias de ello. En particular, el hecho de que una regulación genérica sobre IA podría ser utilizada para legitimar el uso, por ejemplo, del reconocimiento facial – tecnología que puede estar basada en IA y que, según expertas internacionales, contraría a los estándares establecidos de derechos humanos.
Los sistemas de reconocimiento facial han sido fuertemente cuestionados en la región y actualmente hay una campaña en curso en Brasil por su prohibición con más de 40 organizaciones firmantes. En junio de 2022, más de 10 proyectos de ley fueron presentados en distintos estados para formalizar tal demanda.
Un gran desafío por delante
El desafío de regular los sistemas de IA es grande, ya sea por los riesgos para los derechos humanos, o por la complejidad, opacidad y amplia gama de temas a regular. Las discusiones legislativas y las garantías de participación social deben estar a la altura de este desafío. La comisión de juristas ha ganado tiempo adicional para terminar su trabajo, y es nuestra expectativa que los resultados reflejen manera satisfactoria los aportes recibidos y se logre una legislación que efectivamente proteja los derechos humanos.
