Temática: Inteligencia artificial

Cursos virtuales, automatización y legislación insuficiente

Cada vez es más común escuchar y leer sobre los avances de la inteligencia artificial (IA) y los cambios que introduce en distintos campos del quehacer humano, los que, es justo decirlo, nos sorprenden cada vez con mayor frecuencia. La educación no es la excepción.

De un tiempo a esta parte, la IA ha pasado a formar parte de las herramientas que las y los docentes utilizan en su trabajo.  “La capacidad de aceleración exponencial de los cambios a partir de la introducción de tecnologías basadas en machine learning genera un potencial revolucionario”, afirma la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), en su estudio “El futuro de la Inteligencia Artificial en educación en América Latina”, que también advierte que aún no somos capaces de dimensionar las transformaciones profundas que podría generar la aplicación de la IA a la educación.

La IA ha llegado a la educación de maneras diferentes: por un lado, están los cursos virtuales; por otro, herramientas de automatización o aceleración de procesos disponibles para estudiantes y docentes. Sin embargo, como sociedad hemos evaluado escasamente los pros y los contras de su implementación. No sabemos si los docentes se encuentran capacitados para utilizar esas herramientas, ni qué sucede con la privacidad de las y los estudiantes cuya formación está a cargo de estos sistemas. Encontrar estas respuestas puede ayudarnos a analizar el avance y las posibles consecuencias de la IA en la educación, las posibilidades y los riesgos, algunos conocidos y otros inciertos.

IA Generativa en las aulas

La IA Generativa es un área de la IA con foco en la generación de contenido original a partir de datos ya existentes. Usa algoritmos y redes neuronales avanzadas para aprender de textos e imágenes, para luego elaborar contenido nuevo. Hemos escuchado mucho sobre la IA Generativa a partir de noviembre de 2022, con el lanzamiento del CHATGPT, cuya característica estrella es la capacidad de generar texto, imágenes, vídeos, música y códigos de software. Estas capacidades dan lugar a múltiples aplicaciones en la educación, como chatbots y algoritmos de aprendizajes, entre tantos otros.

Generalmente, se trata de recursos entrenados con valores y normas sociales dominantes en el Norte Global, lo que implica un aumento y empeoramiento de las brechas digitales en el área pedagógica en todo el resto del mundo, al reproducir sesgos propios de países desarrollados con poca o nula relación con la experiencia sensible de las y los habitantes de la Mayoría Global.

UNESCO advierte que, en el ámbito educativo, la IA enfrenta numerosos desafíos. El principales desarrollar prácticas de enseñanza y aprendizaje innovadoras. En “La Inteligencia Artificial en la Educación” declara que “El vínculo entre la IA y la educación consiste en tres ámbitos: aprender con la IA (por ejemplo, utilizando las herramientas de IA en las aulas), aprender sobre la IA (sus tecnologías y técnicas) y prepararse para la IA (por ejemplo, permitir que todos los ciudadanos comprendan la repercusión potencial de la IA en la vida humana)”. UNESCO admite también que sería ingenuo, sin embargo, no reconocer que los avances tecnológicos que suceden de manera rápida, como lo que ocurre con la IA, implican riesgos y retos y, en América Latina, las políticas y los reglamentos todavía tienen dificultades para hacerse cargo de ellos.

“Crear nuevas agendas de investigación se ha convertido en una tarea cada vez más urgente y relevante. Estamos atravesando el tiempo de un gran laboratorio, donde se están experimentando a velocidad avanzada distintos desarrollos educativos con IA”, reflexiona el documento de la UNESCO, afirmando que motores de IA (como CHATGPT) pueden contribuir a ampliar o limitar los horizontes educativos. Añade una visión que consiste en que asegurar una “IA para todos”, donde la Inteligencia Artificial sea utilizada para reducir las brechas existentes en el acceso al conocimiento y a la investigación, y no acentúe las diferencias entre países y dentro de estos.

Docentes al pizarrón

UNESCO realizó una encuesta en más de 450 escuelas y universidades a nivel mundial, que arrojó muestra que menos del 10% de los centros educativos encuestados tienen políticas institucionales o directrices formales relativas al uso de aplicaciones de IA generativa. Posiblemente se deba, en gran parte, a la ausencia de claras normativas nacionales. 

En Uruguay, recientemente se realizó el Primer debate sobre Inteligencia Artificial y Educación de ANEP, donde docentes y autoridades reflexionaron sobre los posibles impactos de las herramientas de IA en las aulas. La pregunta disparadora fue si el sistema educativo nacional está preparado ante la presencia de la Inteligencia Artificial. Los docentes sostuvieron que “deben ser los primeros en el camino de conocer esta tecnología para evitar cierta asimetría” y ser “guías en la adopción” de la IA. Se reconoció también que no todos los docentes están preparados para integrar inteligentemente IA en sus clases.

Es fundamental integrar a docentes y estudiantes en la discusión sobre la introducción de la tecnología en el proceso educativo, ya que de nada sirve dar este paso sin sentido de pertinencia pedagógica y que, además, sea apropiado por las y los involucrados. La formación de los docentes es fundamental para garantizar una aplicación ética de sistemas de IA en las escuelas. Las reglamentaciones gubernamentales, además, son cruciales para asegurar un enfoque centrado en las personas para el uso de la IA.

En un artículo publicado por el diario argentino INFOBAE, un docente reflexiona sobre el CHATGPT y menciona que “nos debería levantar la vara a los docentes, y nos daría muchas herramientas para facilitar el aprendizaje”. Señala también que “Cuantos más datos tengamos, potenciado con la digitalización, más conocimiento vamos a poner a disposición para seguir entrenando estos modelos”. Sin embargo, afirma también que “el uso excesivo de ChatGPT por los estudiantes durante el proceso, y ejercitación en trabajos prácticos, puede traer la disminución de la creatividad y la independencia de pensamiento de los estudiantes”.

Coincide con esa opinión el el sitio web español EDUCACIÓN 3.0, que en un artículo titulado “No todo vale con la Inteligencia Artificial en la educación” nos recuerda que , más allá del potencial de esta tecnología para distintos aspectos relativos a la enseñanza, aún no podemos afirmar que existen beneficios derivados del uso directo de las herramientas en las aulas. El articulo además trae a la vista que no todos los contenidos curriculares de la escuela son asuntos de las máquinas: la ética, la moral, el cuidado común o el cuidado del medio ambiente, por nombrar algunos ejemplos. Entrenar el espíritu crítico, prosigue, puede incluir el descubrimiento de lo que subyace a, construye y entrena una IA.

El compromiso ético

Docentes e investigadores han declarado, además, que el uso de la IA trae consideraciones éticas, como el impacto de la IA en la privacidad de los estudiantes y la seguridad de sus datos.

Este tipo de herramientas se alimentan de datos, que se recogen de distintas fuentes y que en muchos casos fueron producidos con finalidades distintas. En el marco educativo, esto puede incluir información sobre el rendimiento escolar, pero podría abarcar un espectro mayor, atendiendo a la complejidad de las relaciones sociales que se producen dentro y fuera del aula, como intereses, interacciones y hasta perfiles emocionales y psicológicos.

La discusión en torno al tipo de tecnologías que se implementan, la forma en que se usa, los cuidados implementados en materia de derechos humanos, así como el nivel de control real y transparente que sobre la información que entra y sale del sistema son requisitos fundamentales para evitar la imposición de una lógica extractivista parasitaria de los sistemas educativos, que merme el derecho a la autonomía de estudiantes y docentes. Más todavía, cuando hablamos de niñas, niños y adolescentes.

El desarrollo de un compromiso ético profundo de las autoridades y de los cuerpos docentes con el derecho a la educación, a la autonomía, a la privacidad y a la intimidad son fundamentales previo a la implementación de cualquier sistema de IA.

El destino del archivo «inmaterial»

Brewster Kahle, fundador de Internet Archive, afirmó en Time que detrás de este proyecto hubo un interés de construir la próxima Biblioteca de Alejandría, principal núcleo del saber en la antigüedad. Contrario a la creencia popular, no fue un incendio el que causó su declive, sino una serie de hechos políticos (la expulsión de los eruditos empleados en la biblioteca y el cese de su financiamiento, por mencionar algunos) que, lastimosamente, guardan cierta relación con el actual estado de las cosas de la historia digital.

La labor de Internet Archive consiste en preservar sitios web, archivar noticias transmitidas en televisión y digitalizar libros. Es esto último lo que dio origen a la demanda realizada por las editoriales Hachette Book Group, Penguin Random House, Harper Collins y Wiley: durante la pandemia, al flexibilizar el mecanismo de préstamos digitalizados controlados de 127 títulos de las editoriales mencionadas, Internet Archive infringió leyes de derecho de autor y, según el fallo del juez John G. Koeltl de marzo de este año, no puede acogerse al concepto de “uso justo” a pesar de que, en medio del alza de contagios de COVID-19 en 2020, el acceso a bibliotecas físicas era casi imposible.

El objetivo del derecho de autor es fomentar la creación de obras culturales (libros, ilustraciones, música, películas) otorgando facultades a las y los autores para que, durante determinado tiempo, puedan decidir cómo utilizar su obra. Existen, además, lo que se conoce como excepciones y limitaciones a este derecho, las que varían de país a país. Una de ellas, el uso justo, permite disponer de material protegido por derechos de autor en determinadas circunstancias: el propósito (sin fines de lucro), el carácter del uso (el uso debe entregar valor y emplear la obra para un propósito diferente del original), la importancia de la parte utilizada y el efecto del uso sobre el valor de la obra, como bien sostiene esta columna de Wikimedia Chile.

¿Mejor pedir perdón que pedir permiso?

No solo las editoriales son la principal amenaza al acervo de internet en este momento. A fines de mayo, el sitio estuvo fuera de línea por un día completo debido a que, de acuerdo con el propio Kahle, 64 servidores virtuales de Amazon Web Services (AWS) lanzaron decenas de miles de solicitudes por segundo para capturar archivos digitalizados de dominio público. La principal sospecha recae sobre sistemas de inteligencia artificial (IA), ya que la gran cantidad y calidad de datos almacenados en Internet Archive sin duda alguna son una valiosa fuente de información para tales modelos.

Un sistema de IA puede acceder a todo el archivo digital que hay hasta hoy con fines de entrenamiento, sin importar la procedencia de los datos. Así lo comprobó Lapine, artista residente en California quien descubrió que imágenes de su rostro, pertenecientes a su registro médico, forma parte del set de datos LAION. Nunca consintió ni tampoco recibió alguna notificación sobre este destino. En enero de este año el abogado, diseñador, escritor y programador Matthew Butterick, inició una demanda contra Stable Diffusion, un modelo de IA generativa que crea imágenes de alta calidad a partir de una línea de texto o prompt. El principal argumento tiene el mismo origen que el reclamo de Lapine: Stable Diffusion utiliza copias no autorizadas de billones de ilustraciones para enriquecer sus resultados, sin conocimiento ni consentimiento de sus autores.

Como vemos, la IA no ha estado exenta de polémicas, pero más allá de predicciones agoreras sobre sus eventuales consecuencias para el futuro de la humanidad, hasta ahora no hay noticias de que alguna de las múltiples acciones judiciales iniciadas contra estos modelos haya tenido éxito y cada día aparece una nueva IA que cambiará todo, anunciada con bombos y platillos. Por el contrario, Internet Archive sí ha estado en el foco del debate en torno al derecho de autor, aun cuando son las personas las principales usuarias de su repositorio.

Sin intención de oponer el trabajo documental que realiza Internet Archive con las posibilidades insospechadas que ofrece la inteligencia artificial, es llamativo el hecho de que, en el caso de la primera, existan severos juicios en torno al uso justo y el destino de las obras: piratería, robo, entre otros adjetivos calificativos negativos. Mientras que, para el caso de la segunda, sobran las buenas palabras. Además, semana a semana aumenta la cantidad de enlaces que no llevan a ningún lado y de anuncios -de diversas plataformas- que señalan el cierre de sus servicios gratuitos de almacenamiento, en directa proporción con el surgimiento de nuevos modelos de IA.

El ángel de la historia digital

En su famosa descripción del Angelus Novus, el filósofo Walter Benjamin enfatizó en que “su rostro está vuelto hacia el pasado. Donde nosotros percibimos una cadena de acontecimientos, él ve una catástrofe única que amontona ruina sobre ruina y la arroja a sus pies” y luego imagina un huracán que se enreda en sus alas, que ”le empuja irreteniblemente hacia el futuro, al cual da la espalda, mientras los escombros se elevan ante él hasta el cielo. Ese huracán es lo que nosotros llamamos progreso”.

Hay un riesgo de que el registro digital de la humanidad no solo desaparezca a la manera de Alejandría, sino que sea alterado de formas que desde una perspectiva antropocéntrica es imposible de imaginar. En el ojo de este huracán en el que estamos desde la masificación de la inteligencia artificial generativa, la discusión legal en torno a los bienes comunes digitales se ha complejizado y necesita que expertas y expertos se lo tomen en serio a fin de preservar, proteger y disponer de la información y tecnología creada por humanos y máquinas para los años por venir. Hoy, el derecho de autor aplica únicamente para sus titulares. Las personas usuarias, en cambio, solo tienen intereses. No es justo.

Tratados de comercio digital no pueden impedir transparencia sobre IA

Hace unas semanas se publicó el AI Index 2023 de la Universidad de Standford, que analiza diferentes aspectos relativos a los avances de la Inteligencia Artificial, con una mirada comparativa de la Human-Centered Artificial Intelligence. Varios aspectos de esta publicación son dignos de mención. Entre ellos, el crecimiento en el número de incidentes y controversias relativas a la IA, que se ha multiplicado por 26 desde 2012, según datos del Algorithmic, y Automation Incidents and Controversies (AAIC).

Diversas investigaciones relativas, por ejemplo, a ChatGPT, también demuestran que los problemas relacionados con el uso de estos sistemas, ya sea por parte del sector privado o por parte de las autoridades, se hacen cada vez más evidentes y confirman las preocupaciones de varias organizaciones de derechos humanos dedicadas a estudiar la temática en los últimos años. Por otro lado, llama la atención el mapeo de importantes sistemas de aprendizaje automático atribuidos a investigadores de determinados países. Siguiendo la tendencia de años anteriores, en 2022 la gran mayoría de autores son de países del norte global, concretamente de Estados Unidos, algunos países europeos y China.

Destacamos un punto que amerita mayores consideraciones de los países latinoamericanos, en especial, la utilización de tratados de comercio digital para la regulación de inteligencia artificial, además de dispositivos que puedan impedir la transparencia del uso de varios sistemas de IA. 

Tratados de comercio: la agenda digital sin consideraciones de derechos humanos

Diversos tratados de comercio tienen consecuencias para los entornos digitales, regulando aspectos en temas como el comercio electrónico, la protección del consumidor en línea y el establecimiento de estándares para la inteligencia artificial. El Acuerdo de Asociación de Economía Digital (DEPA), firmado por Chile, Nueva Zelanda y Singapur, contiene un capítulo específico sobre IA, obligando a los Estados a adoptar marcos éticos para la gobernanza de esta tecnología.

Pero estos tratados de comercio digital también pueden prohibir exigir transparencia de los algoritmos, impidiendo la divulgación del código fuente de los softwares de IA, lo que puede limitar las posibilidades para la búsqueda de soluciones a estos problemas, excluyendo la participación de autoridades judiciales o reguladoras. Así, por ejemplo, lo establece la propuesta de reglamentación sobre IA de la Unión Europea, presentada en 2021 y que todavía está en discusión.

Actualmente se han suscrito una serie de acuerdos comerciales bilaterales y multilaterales con compromisos para permitir el libre flujo de datos a través de las fronteras, fortalecer las leyes nacionales sobre secretos comerciales y aplicar estrictas protecciones de propiedad intelectual para el código fuente y los algoritmos inclusive, esto viene en forma de una nueva prohibición para que los gobiernos exijan el acceso o la transferencia del código fuente del software, sujeto a ciertas excepciones, y cuenta con el apoyo activo de EE. UU., Australia, Canadá, Japón y Nueva Zelanda.

Los esfuerzos por inyectar otra capa de protección para el software en el derecho comercial digital pueden ser muy problemáticos. La cláusula del código fuente ya puede resultar demasiado restrictiva para las políticas digitales nacionales. Al mismo tiempo, se ha avanzado mucho menos en abordar los riesgos y daños transfronterizos asociados con la IA, en áreas como la política de competencia, la protección de datos personales, las protecciones contra el uso abusivo de algoritmos en los mercados laborales y de consumo, y el uso respetuoso con los derechos humanos, de forma transparente y responsable.

Haciendo un análisis histórico, las disposiciones que prohíben los requisitos de divulgación del código fuente fueron introducidas por EE. UU. en las negociaciones del Acuerdo Transpacífico de Cooperación Económica (TPP) y desde entonces han sido emuladas en muchos otros acuerdos comerciales, aunque muchos países en desarrollo se oponen firmemente a ellas. El TPP impide a los estados suscriptores solicitar la transferencia o el acceso al código fuente de software. El código fuente es la especificación de un proceso computacional que puede ser compilado y ejecutado por una computadora.  En contraste con el código fuente se encuentra el llamado «código objeto», que es el que convierte el código fuente (legible por el ser humano) en instrucciones legibles por la máquina, mediante un proceso conocido como «compilación». El código fuente de un programa informático puede estar protegido por propiedad intelectual y considerarse secreto comercial. De acuerdo con el artículo 10.1 del Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio (ADPIC), de la OMC, los programas informáticos, tanto en código fuente como en código objeto, pueden protegerse mediante derechos de autor. Por lo anterior, estas disposiciones pueden amenazar el derecho de acceso a la información pública y, por tanto, el derecho a la libertad de expresión, según lo determinan la Constitución y las leyes de varios países latinoamericanos.

La transparencia, además de reforzar la confianza en las instituciones, constituye un derecho humano fundamental cuando se considera desde la perspectiva del acceso a la información. Este es un derecho consagrado en la Convención Americana sobre Derechos Humanos y, en el caso chileno, es una obligación del Estado prevista en la Constitución, en sus artículos 8 y 19 n. 14, en virtud del cual se presume pública toda la información que obre en poder de los órganos de la administración del estado y del principio de máxima transparencia o divulgación, expresamente definido en la ley de acceso a la información pública.

Pese a lo anterior, no se puede denegar la solicitud de acceso a información pública referida al código fuente de una aplicación estatal de reconocimiento facial, por ejemplo, en base a la supuesta vulneración de derechos de propiedad. La divulgación del código fuente de un software permite auditar su funcionamiento, participar en su mejora y controlar su seguridad, idoneidad y eficacia. Sin embargo, hay posiciones que lo consideran una forma de divulgación forzada de tecnología y como una barrera al comercio exterior. Así lo establecen los “Report on Foreign Trade Barriers” elaborados por EE. UU. en los años de 2022 y 2023, pero sin considerar los derechos humanos involucrados en estos casos.

El uso de la inteligencia artificial debe respetar los derechos humanos

Son cada vez más evidentes las consecuencias negativas de varios sistemas de IA, relativas a potenciales violaciones de derechos humanos y, particularmente, al incremento de la discriminación hacia grupos históricamente vulnerables, basado en sus ingresos, color de piel o género. El otro factor que llama atención en el reporte de AI Index 2023 es el aumento del interés de los formuladores de políticas en la Inteligencia Artificial, dado el creciente número de leyes y proyectos de ley que buscan regular el uso de la IA. En Brasil y Chile, actualmente existen diferentes propuestas normativas al respecto y una parte importante de estas discusiones es justamente sobre cómo brindar transparencia a la utilización de estos sistemas, para lo cual el acceso al código fuente y los algoritmos ciertamente tienen un rol fundamental.

Los estándares internacionales de la IA cubren sus usos y procesos, y es importante que reflejen los intereses públicos, en conformidad con los derechos humanos de las personas y los valores sociales. Sin embargo, el establecimiento de estándares está dominado por los principales actores de la industria y un número selecto de gobiernos del norte global. A las tecnologías de IA se les otorgan derechos de propiedad intelectual adicionales a través de acuerdos comerciales, incluidos los algoritmos y el código fuente, lo que presenta el riesgo de reforzar el poder de mercado de las empresas dominantes e impedir los avances hacia la transparencia algorítmica y la responsabilidad.

Derechos humanos en el credit scoring

Es probable que usted conozca a alguien que haya tenido un problema derivado de su puntaje de crédito (credit scoring). Esta ha sido una herramienta muy utilizada por bancos y comercios en general para evaluar la capacidad de pago de una persona. A pesar de ser útil para muchas personas a la hora de dar acceso al crédito en entidades financieras, poco se habla sobre los problemas relacionados con esta práctica.

Muchas veces no existe información adecuada sobre este registro. Es como una verdadera caja oscura con respecto a los datos personales: no se sabe de dónde provienen los datos, qué criterios se utilizan para su tratamiento y, principalmente, cómo se utilizan las técnicas de inteligencia artificial para determinar si una persona puede o no, por ejemplo, financiar un automóvil.

Esta columna analiza brevemente cómo el tema es cada vez más relevante para las personas, además de traer algunos ejemplos actuales de discusiones regulatorias y prácticas de mercado ante posibles denegaciones de crédito, discriminación, falta de transparencia, entre otros problemas encontrados.

Importantes discusiones de los EE.UU. a la Europa

El tema está regulado en Estados Unidos, principalmente por la Ley de informes crediticios justos (FCRA), modificada en gran medida por la Ley Dodd-Frank que trajo importantes medidas para la regulación del capital financiero y la protección del consumidor después de la crisis financiera de 2008.

Siguiendo la citada ley, la Oficina de Protección Financiera del Consumidor (CFPB), de EE.UU. publicó un reporte anual sobre los burós de crédito más grandes de EE.UU.: Experian, Equifax y TransUnion. Entre sus recomendaciones, se aconseja considerar cómo los procesos automatizados impactan a los clientes, particularmente aquellos que reportan un derecho deben considerar la carga del consumidor (consumer burden) y, sobre todo, si un cambio hacia la automatización requerirá que los consumidores tengan que sortear más obstáculos y lidiar con distintos organismos para ejercer sus derechos.

La medida cumple con algunas de las obligaciones establecidas en la ley FCRA, pero la CFPB quiere ampliar la discusión, tratando de entender cómo opera el mercado y cuáles son las posibles prácticas que pueden lesionar los derechos de las personas. Esta semana, en el día mundial del consumidor, la CFPB publicó un llamado solicitando informaciones sobre los data brokers y otras prácticas comerciales que involucran la recopilación y venta de información del consumidor. Además de supervisar las agencias de informes del consumidor, incluidas las tres agencias más grandes del país, la CFPB se esfuerza por obtener información sobre el alcance completo de la industria de data brokers.

En Europa, la Corte de justicia europea analizará un caso importante sobre este tema. El caso C-634/21 trata acerca de una agencia privada de información crediticia alemana (SCHUFA) que proporciona información sobre la solvencia de los consumidores a sus socios contractuales. SCHUFA establece puntajes de crédito donde la probabilidad del comportamiento futuro de una persona se predice sobre la base de ciertas características de esa persona, utilizando métodos estadísticos matemáticos.

Las organizaciones Algorithm Watch y Open Knowledge Fountation lanzaran la campaña OpenSCHUFA que, aparte de arrojar luz sobre el tema y visibilizar la conducta poco transparente de la empresa, también condujo a la evaluación de datos de más de 2000 consumidores por parte de periodistas de datos de BR Data y SPIEGEL Data. La investigación concluye que muchas personas son declaradas caso de riesgo sin culpa propia.

El caso europeo pretende definir cuestiones tales como si la calificación crediticia es una decisión basada únicamente en el procesamiento automatizado, incluida la elaboración de perfiles, y los límites de la ley europea de datos (RGPD) para aplicar el credit scoring. La Corte de Justicia va a analizar la aplicación del artículo 22 del RGPD, que trata del derecho del interesado a “no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. Esta semana, el Abogado General publicó su opinión en el caso de que, entre otros puntos, la conservación de datos por una agencia privada de información comercial no puede ser lícita “a partir del momento en que los datos personales relativos a una insolvencia se hayan suprimido de los registros públicos”.

Brasil: múltiples leyes para la protección de los derechos

En Brasil, la discusión también está caliente. A mediados de febrero, Idec publicó el libro “El consumidor en la era del puntaje de crédito”, coordinado por Juliana Oms y disponible en versión digital. El libro trae varios artículos que exploran cómo se puede entender el interés económico en relación con la protección de datos personales y la privacidad, además de profundizar en la producción de la regulación en Brasil sobre el tema en los últimos años, y analizar la perspectiva de defensa del consumidor sobre el tema.

Por un lado, la legislación brasileña, a pesar de estar inspirada en la legislación europea, define de manera muy amplia la protección del crédito como una de las hipótesis para el tratamiento de datos personales. Por otro lado, la ley específica sobre la materia (Lei do Cadastro Positivo) prohíbe el registro de información excesiva que no esté vinculada al análisis del riesgo crediticio del consumidor; e información sensible, como origen social y étnico, salud, información genética, orientación sexual; y creencias políticas, religiosas y filosóficas. Tal como lo entiende la jurisprudencia brasileña, el uso de este tipo de información sería un abuso de derecho, lo que está prohibido por el Código de Protección del Consumidor.

La inteligencia artificial, datos crediticios y sus riesgos

El tema aún está en discusión y, actualmente, se está abordando el riesgo de utilizar sistemas de inteligencia artificial (IA) para este propósito. En el marco brasileño de las discusiones del Proyecto de Ley sobre inteligencia artificial, la comisión de juristas encargada de analizar los proyectos de ley propuso la adopción de un sistema de calificación de riesgos, que debe ser un paso previo a la publicación de la oferta de estos productos ante los consumidores. Por lo tanto, los sistemas de IA considerados de alto riesgo han de adoptar medidas de mitigación, como realizar una evaluación de impacto algorítmico y adoptar medidas de gobernanza, y medidas de gestión de datos para aminorar y prevenir sesgos discriminatorios. El sistema de calificación crediticia, según la propuesta, sería un sistema de alto riesgo y, por ende, requiere del cumplimiento de las medidas mencionadas.

La solución propuesta por la comisión brasileña de juristas brinda mayor protección a los derechos humanos involucrados en este caso: la privacidad y la no discriminación. Sin embargo, aún queda un largo camino para que la ley sea aprobada y, posteriormente, sea aplicada efectivamente por las instituciones.

Hay mucho por hacer

Si, por un lado, hay un discurso que avala el uso de este tipo de herramienta, en tanto puede servir para tener un acceso más fácil al crédito con tasas más bajas, por otro lado, hay muchos riesgos que deben ser tomados en cuenta: denegaciones indebidas de acceso a crédito, discriminación, violación sistemática de la privacidad, uso indebido de datos sensibles, entre otros. Los factores se vuelven más complejos cuando se observa la falta de transparencia respecto de varios factores importantes de los sistemas utilizados, además de los problemas relacionados con el uso de herramientas automáticas para la evaluación.

Vemos que el análisis de algunas de las jurisdicciones apunta a la complejidad de este tema, en vista de las múltiples leyes de consumo, protección de datos y otros temas que están involucrados con el cumplimiento de los numerosos derechos humanos que se evidencia en este caso. Junto con ello, la existencia de varias instituciones encargadas de la supervisión, además del uso intensivo de herramientas de inteligencia artificial en este análisis, también son otras cuestiones que agregan complejidad al tema. Necesitamos ser conscientes de la necesidad de una mejor regulación y actuación de las autoridades sobre los datos crediticios, por el alto impacto que su uso y tratamiento tienen en la vida de las personas.

Una última mirada a los derechos digitales en 2022

Cuando comenzamos 2022, una esperanza comenzaba a crecer en buena parte del mundo: las vacunas para reducir los contagios y los síntomas de la COVID-19 surtieron efecto y llegaron a más grupos de la población. Lentamente, aspectos de la vida prepandémica volvían a materializarse y, después de dos años dramáticos, el mundo parecía realinearse.

Pero el año inició con tumulto mundial: una invasión en Europa oriental creaba una crisis humanitaria de incalculable costo humano, que a su vez desviaba la atención de otras crisis en África oriental, en Asia meridional, en América Latina. Nuevas desigualdades, internas y externas, se hicieron patentes, ahora bajo la presión del riesgo vital de una pandemia que no termina.

Como en buena parte del mundo, América Latina ha visto el agravamiento de las distintas crisis superpuestas, agudizadas por un horizonte de crisis económica que está en pleno desarrollo. Aun así, grandes aires de esperanza se sintieron en la región, en la resistencia al abuso y la injusticia, y en la participación política en varias elecciones.

En América Latina, el 2022 partió con revelaciones de hackeo a periodistas en El Salvador, en una réplica de lo que fue descubierto años antes en México, revelando que el espionaje ilegal estatal con herramientas importadas continúa en la región.

A la vez, la vigilancia masiva todavía es una disputa inconclusa. En una insigne victoria para el activismo local, en México el invasivo Padrón Nacional de Usuarios de Telefonía Móvil (PANAUT), aprobado a fines de 2021, fue declarado inconstitucional, impidiendo la vinculación entre la identidad de un usuario de teléfono y su información biométrica, entre otros datos, en una decisión anunciada en abril. Poco antes, se había detenido en el metro de San Pablo, Brasil, el uso de un sistema de reconocimiento facial automatizado, aunque luego fue autorizado por la justicia. Esa batalla continúa, ahora contra una iniciativa por extender el reconocimiento facial a toda la urbe. En la Ciudad de Buenos Aires, en tanto, la justicia declaraba la inconstitucionalidad de un sistema de reconocimiento facial.

En Colombia, una preocupación constante por la incorporación de mecanismos legales para fórmulas riesgosas de identidad digital, como también un debate sobre neutralidad de la red y zero-rating se tomaron parte de la agenda después de la fuerte escalada de violencia de las protestas de 2021. El uso de máquinas digitales para el proceso electoral fue, como siempre, objeto de escrutinio.

Al igual que en Colombia, y ante los ojos del mundo, una nueva elección presidencial en Brasil ofrecía esperanza, pero también mostraba algunos de los peores temores de la región: torpes intentos de control de la desinformación amenazaban con alterar el funcionamiento de la mensajería personal, mientras varias acusaciones de desinformación enfrentaban al gobierno y a las iniciativas de empresas privadas por controlar el discurso en línea. Que todo eso ocurriera mientras aumentaba el gasto en tecnología de hackeo y vigilancia hacía temer por el futuro.

Por cierto, las protestas sociales de los últimos años no cesaron. En Ecuador, fuimos parte del reclamo de la sociedad civil en rechazo a la represión y la vigilancia en el marco de protestas sociales a mediados de año. Presentamos a la ONU múltiples antecedentes sobre situaciones de afectación de derechos, especialmente vinculados a la expresión y la protesta, en un informe dentro del contexto del Examen Periódico Universal. En paralelo, continúa el cuestionado juicio contra Ola Bini a pesar de las reportadas infracciones al debido proceso. También vimos que persiste la represión de la expresión y la protesta en Nicaragua, incluido el allanamiento y cierre de organizaciones y de medios de comunicación, alarmando a expertos internacionales que exigen visitar el país. Y, en Venezuela, informes tanto de la industria de las telecomunicaciones como de la sociedad civil, mostraron el nivel de vigilancia y represión en ese país.

Al mismo tiempo, Brasil progresaba en un área sensible para toda la región: la protección de datos personales. Sin ser un debate ajeno a la contingencia, Brasil avanzó en el otorgamiento de autarquía de carácter especial a su nueva autoridad de control de datos personales. Por su parte, Ecuador –que promulgó su ley en 2021– inició este año el proceso de reglamentación de la ley. En Chile, paso a paso se Avanza en un proyecto de reemplazo a una ley que hoy es ineficaz ante casos públicos de vulneración de los derechos sobre los datos.

También hubo otros relevantes debates legislativos en la región, para los que este recuento quizás no basta. Fuimos testigos de la discusión por una nueva ley de inteligencia artificial en Brasil, como también en iniciativas de leyes sobre ciberseguridad, sobre desinformación y sobre ciberdelitos en varios países de la región. Nuestro trabajo de monitoreo continúa con intensidad para identificar las oportunidades, los riesgos a las libertades y derechos que puedan acompañar a esas iniciativas. Nos involucramos en la discusión por una nueva constitución en Chile, con propuestas surgidas desde distintos lugares y grupos del país.

No obstante también aprovechamos instancias globales que afectan a América Latina. Como ejemplos, contribuimos a informes de oficinas de expertos de Naciones Unidas sobre apagones de internet y sobre inteligencia artificial y privacidad. Participamos en procesos como la reunión de plenipotenciarios de la UIT, en la peligrosa discusión por un nuevo tratado sobre ciberdelitos, en el debate global sobre normas para el comportamiento de los Estados en el ciberespacio, y mucho más.

Mirar hacia el futuro

Todo lo anterior es apenas una muestra de lo intenso que fue el trabajo del año desde nuestro activismo. No obstante, también hubo muchísima colaboración, la misma que creemos que es parte esencial de la proyección hacia el futuro de la labor de Derechos Digitales.

Como organización, el año también fue de oportunidades de cooperación cruciales para la región. Volvimos a albergar un evento virtual de difusión, intercambios y aprendizajes. Participamos muy activamente en la organización del Foro de Gobernanza de Internet de América Latina y el Caribe, el LAC IGF. Nos reunimos con nuestras aliadas de la coalición Al Sur para comenzar a pensar en el futuro, en un primer encuentro presencial después de años. Mantuvimos numerosos talleres y reuniones con organizaciones e instituciones a nivel regional y global. Y nos sumamos como socios organizadores, con esperanza, al Movimiento por una Mejor Internet.

Logramos también apoyar a 21 iniciativas de acción de 12 países de la región a través de nuestro Fondo de Respuesta Rápida, no solo facilitando la respuesta ágil a situaciones de emergencia, sino también favoreciendo el aprendizaje en múltiples contextos de activismo. Es a través de procesos como este que la colaboración de 2021 con el ODIA argentino ayudó en la declaración de inconstitucionalidad del sistema de reconocimiento facial en Buenos Aires. Mecanismos de apoyo como este Fondo demuestran que existen nuevas posibilidades para la articulación de organizaciones en la región.

Lo más importante: en una época global de grandes cambios, consolidamos un equipo sólido, de muy diversos orígenes y perfiles, fortaleciendo nuestra capacidad de trabajar en distintos ámbitos. Sabemos que en 2023 habrá más cambios, pero también que con ellos vendrán nuevas oportunidades de colaboración interna y externa.

Aunque ha sido un año desafiante, sentimos orgullo por el camino recorrido y mucha esperanza en el que queda por recorrer. La mirada introspectiva ha sido fuente de gran aprendizaje, como también de importante reflexión sobre lo que necesitamos seguir haciendo. Porque creemos en nuestro derecho y en nuestra capacidad de crear un futuro más justo para América Latina, reconocemos lo que significa el fin de 2022 y damos la bienvenida a 2023.

Más allá de las elecciones en la UIT (o de la agencia de la que nunca has oído hablar)

El creciente número de incidentes y casos de ciberataques a empresas y gobiernos ha provocado numerosas discusiones sobre la necesidad de políticas públicas en ciberseguridad con enfoque de derechos humanos. Los derechos de los ciudadanos son doblemente vulnerados. Primero, porque sufren en carne propia los efectos perversos de estos ataques, y segundo, por la falta de inversión y coordinación por parte de los estados y las empresas. Por otra parte, hemos visto discusiones crecientes, a menudo acaloradas, sobre las regulaciones de inteligencia artificial.

El ámbito de la Unión Internacional de Telecomunicaciones (UIT) no fue la excepción. Como decíamos en un texto anterior, este año tuvieron lugar los tres mayores eventos de la UIT, la Asamblea Mundial de Normalización de las Telecomunicaciones (AMNT), en marzo en Ginebra, la Conferencia Mundial de Desarrollo de las Telecomunicaciones (CMDT), sin precedentes en el continente africano, acogida por Ruanda en junio, y la reunión de Plenipotenciarios, que tuvo lugar en Rumania en octubre. Desde Derechos Digitales participamos personalmente en las reuniones de Ruanda y Rumania.

Marcada por las elecciones de varios puestos de liderazgo, y cuyo máximo cargo como secretaria general fue ganado por Doreen Bogdan-Martin en una disputa que tenía connotaciones geopolíticas y puntos de vista diferentes entre la candidata estadounidense y su competidor ruso, la reunión de Plenipotenciarios discutió muchos temas que marcarán las actividades de la agencia en los próximos años. 

En este texto evaluaremos algunos avances en el tema de ciberseguridad, principalmente desde el punto de vista de cuál ha sido el rol de la UIT y por qué su desempeño ha sido importante para los países del sur global. También analizaremos cómo una nueva resolución sobre IA en el ámbito de la UIT puede ser vista como una continuación de los proyectos de “IA para el bien” que la agencia ya venía desarrollando.

Las acciones de la UIT en el tema de la ciberseguridad

La UIT ha sido llamada la agencia de la ONU más importante de la que nunca has oído hablar. Es el organismo especializado de las Naciones Unidas para las tecnologías de la información y la comunicación (TIC), formada en 1865. Cada cuatro años, los Estados miembros se reúnen en la reunión de plenipotenciarios para discutir y planificar el curso de los próximos años. El tema de la ciberseguridad se ha discutido cada vez más en esta reunión y principalmente dentro del ámbito de trabajo de los sectores de normalización (UIT-T) y desarrollo (UIT-D).

Son múltiples los roles desempeñados por la UIT en el campo de la ciberseguridad, que resultan particularmente importantes para los países del sur global. Junto con otros actores como el Banco Mundial, la UIT publicó la “Guía para el desarrollo de una Estrategia Nacional de Ciberseguridad”, que actualmente se encuentra en su segunda edición. Además de abordar cuestiones básicas del proceso sobre cómo crear esta política pública, la Guía incluye buenas prácticas sobre el contenido de la propia estrategia. Esto es relevante para países que, como Chile y México, actualmente están discutiendo la evaluación y renovación de una estrategia nacional e incluso la creación de leyes de ciberseguridad.

Además, el Índice Global de Ciberseguridad ha servido durante años como indicador y referencia para la evaluación de los Estados en temas clave cuando se habla de ciberseguridad. La  Agenda Global de Ciberseguridad es otra herramienta lanzada en 2007, que ha influido en la creación de políticas públicas a nivel nacional, especialmente en los países del sur global. Se trata de un instrumento internacional de cooperación lanzado en 2015, que hasta el día de hoy genera controversia por tratarse de un instrumento internacional fuera del mandato de la agencia, como pudimos ver en las intensas discusiones de la reunión Plenipotenciaria este año. 

“IA para el bien”: consolidación del trabajo de IA

El trabajo de la UIT sobre inteligencia artificial (IA) no es nuevo. El programa “AI for Good” y junto con el Gobierno de Suiza y otras 40 agencias asociadas en el sistema de las Naciones Unidas, como la UNESCO, la UNCTAD, la FAO, por ejemplo, la UIT ha desarrollado proyectos para identificar aplicaciones prácticas de la IA, proporcionar soluciones a escalar para tener impactos globales y acelerar el uso de esta tecnología para cumplir con los Objetivos de Desarrollo Sostenible (ODS). 

Funciona  como una gran plataforma de IA en el sistema de la ONU, pero que vemos al margen de otras discusiones importantes sobre el uso de este tipo de tecnología contra los derechos humanos, como lo han destacado en varias ocasiones otros órganos de los sistemas de derechos humanos. La novedad este año fue la aprobación de una resolución específica sobre IA en el ámbito de la UIT ahora en Plenipotenciario, que consolida la actuación del organismo en esta materia. El riesgo en este caso es que la UIT ignore la existencia de violaciones de derechos o vaya más allá de su mandato.

La acción interinstitucional de esta agencia en temas de IA debe entenderse en el contexto de otros espacios multilaterales donde se discutan los usos de la IA contra los derechos humanos. Este es un factor de suma importancia para que los ejemplos de “AI for good” no oculten posibles sesgos discriminatorios y otros riesgos señalados en el uso de esta tecnología.

La perspectiva de derechos humanos

Debemos prestar atención a lo que se está discutiendo en la UIT. Primero, en el cumplimiento de la actuación de la agencia dentro de su competencia, por ejemplo, siguiendo su rol como mediadora/facilitadora de la línea de acción C5 de la Cumbre Mundial sobre la Sociedad de la Información (CMSI), en la creación de confianza y seguridad de las TIC. En segundo lugar, evitar que en este espacio se desarrollen temas ajenos al ámbito de la agencia en lugar de otros espacios idóneos, más participativos y multisectoriales.

Por un lado, vemos a la UIT jugando un papel importante en ciberseguridad para el sector público y privado, principalmente relacionado con actividades de investigación, normalización, difusión de buenas prácticas y formación. 

Este rol resulta muy importante para los países del sur global, dado que es un referente. Es necesario entender que la apertura de la agencia es fundamental para fomentar la discusión de aspectos relevantes en la construcción de políticas públicas de ciberseguridad, que está relacionada con el cumplimiento de los derechos humanos.

Posibles caminos a seguir

Es necesaria una mayor participación de la sociedad civil en las decisiones y diseños que se hacen en la UIT. Quizás los resultados de las elecciones de la agencia apunten a un camino más abierto para la participación de las múltiples partes interesadas. Mientras tanto, las organizaciones pueden seguir uno de los cuatro caminos para participar en este espacio, descritos por la organización Artículo 19: afiliación a la UIT, participación en una delegación nacional, participación en consultas públicas o  estar al tanto de los temas que la UIT pretende incluir en su ámbito de trabajo. 

Tenemos por delante cuatro años de discusiones importantísimas en la UIT y necesitamos una mayor participación en temas de ciberseguridad e IA, ya sea discutiendo los temas de las comisiones de estudio de cada sector, contribuyendo en contribuciones locales o regionales a la agencia, demandando más espacio para la participación de la sociedad civil o participando en los proyectos desarrollados por la agencia.

La prensa y el carácter mitológico de la tecnología

Reciente, hemos visto publicados estos tres titulares en medios de comunicación:

  • Inteligencia artificial: con algoritmos predicen qué liceales pueden abandonar o repetir y harán listas (El País, Uruguay).
  • Inteligencia Artificial demostró cómo se verán los humanos en un millón de años (Smart 13, Chile).
  • Cuadro generado por inteligencia artificial gana premio y desata polémica en el mundo del arte (Deutsche Welle, Alemania).

Esta pequeña y poco representativa muestra sirve para ilustrar algunas cuestiones relevantes respecto a la inteligencia artificial (IA) y las narrativas que se han creado en torno a ella.

Lo primero que salta a la vista es que se están usando sistemas de IA para un amplio abanico de tareas, que van desde cuestiones importantes en materia de política pública hasta otras  completamente absurdas e inconsecuentes.

Una forma de explicar esta variedad de aplicaciones dispares es que nos encontramos en un estado temprano del desarrollo de estas tecnologías y no somos capaces de comprender completamente su potencial y sus límites, cuestión que probablemente será definida en un largo proceso de ensayo, error y descarte.

Pensemos, por ejemplo, en el teléfono, una tecnología cotidinana y obvia, que en la actualidad no requiere mayor explicación de nuestra parte. Sin embargo, no lo era para las personas de fines del siglo XIX. Antes de asentarse como una tecnología de telecomunicación, los desarrollos iniciales de la telefonía avizoraban distintos usos potenciales, incluyendo la transmisión de música orquestal a larga distancia, los que eventualmente fueron abandonados.

En la medida en que los sistemas de inteligencia artificial comienzan a ser adoptados por los gobiernos y las empresas privadas para asistir la toma de decisiones de cuestiones cada vez más relevantes en las vidas de las personas, el impacto de sus errores puede ser devastador. Seguramente en un futuro no tan lejano miraremos nuestro actual uso de la inteligencia artificial de forma similar a cómo evaluamos hoy la frenología, con una mezcla de vergüenza e indignación.

Son los estados y los organismos internacionales los principales convocados a establecer límites, procedimientos y regulaciones que impidan desenlaces catastróficos asociados al uso de sistemas de IA. Pero la tarea de crear conciencia sobre la necesidad de una aproximación más cuidadosa y responsable en torno a esta tecnología la corresponde a todos los actores sociales, incluyendo a la prensa.

El carácter mitológico de la tecnología

Esa es otra cuestión que llama la atención: de las tres noticias presentadas más arriba, una es absolutamente ridícula y otra es una exageración. La idea de que una inteligencia artificial pueda predecir el modo en que lucirán los seres en un millón de años no solamente es absurda, sino que al leer la noticia nos enteramos de que se trata del ejercicio ocioso de un usuario de Tik Tok, que carece de cualquier fundamento sólido. Por su parte, si bien es cierto que una obra creada con IA ganó un concurso, afirmar que se ha desatado una polémica en “el mundo del arte” parece demasiado si consideramos que el concurso en cuestión es organizado en el marco de la “Colorado State Fair & Rodeo”, no exactamente una renombrada institución artística, y la polémica se desató principalmente en redes sociales.

A pesar de que ambas noticias no son más que entretenimiento y los hechos relatados no conllevan mayores consecuencias, la suma de noticias de este tipo generan un imaginario y unas expectativas respecto de lo que la inteligencia artificial es, completamente desconectadas de sus condiciones materiales, dejando a la población mal posicionada para evaluar y entender mejor aquellos proyectos que sí pueden impactar sus vidas de forma importante, como es el caso del sistema anunciado en Uruguay.

Esta aparente disonancia entre el modo en que socialmente pensamos en las tecnologías y sus capacidades técnicas reales no puede ser simplemente descartada como ignorancia o falta de claridad, sino que es parte de lo que podríamos denominar el carácter mitológico de la tecnología, que lejos de constituir una fantasía inocua, tiene repercusiones bastante reales: cada vez que un político promete solucionar un problema social complejo por medio de un algoritmo, está apelando a esta mitología; y si el proyecto se concreta, dependiendo de cómo sea implementado, puede tener consecuencias importantes en la vida de las personas, para bien y para mal.

No es una varita mágica

Hay una cita de Arthur C. Clarke que se ha convertido en un cliché a la hora de hablar de tecnología: “Cualquier tecnología suficientemente avanzada es indistinguible de la magia”, que ha suscitado distintas interpretaciones. La frase parece ser particularmente acertada a la luz de una problemática común en el mundo de la inteligencia artificial, donde la trazabilidad de la toma de decisiones por parte de los sistemas no siempre está garantizada, convirtiéndolos en una verdadera caja negra a la que se alimenta con grandes volúmenes de datos esperando obtener alguna respuesta, pero sin ninguna capacidad de entender cómo se ha llegado a ella.

Los sistemas de inteligencia artificial muchas veces se parecen más a un oráculo que a los postulados racionalistas y empiristas sobre los que se sustenta el método científico. No solamente los resultados no son replicables, sino que además el proceso es misterioso.

Por eso es bueno leer que Héctor Bouzón, director ejecutivo de Gestión Institucional de la Administración Nacional de Educación Pública (ANEP) de Uruguay que el sistema que están implementando no es una “varita mágica”, sino que un instrumento más de diagnóstico, y que es necesario enseñar a leer los resultados que el sistema arroja —“ Hay que tener cuidado para no estigmatizar alumnos, alerta Bouzón: “Yo tengo una nómina, ¿pero qué significa?”—.

Existen experiencias anteriores en la región donde la toma de decisiones por medio de sistemas automatizados ha generado respuestas estigmatizantes. El caso más notorio es el de la Provincia de Salta en Argentina, donde se pretendió usar un algoritmo para predecir embarazos adolescentes, con resultados deplorables y que violaba derechos fundamentales de las niñas más pobres de la provincia.

Menos visible que el anterior, pero relevante para la evaluación, es el caso del Sistema Alerta Niñez en Chile, implementado en modalidad piloto y que tiene como objetivo estimar y predecir el nivel de riesgo de niñas, niños y adolescentes de sufrir alguna vulneración en sus derechos en el futuro, mediante un análisis de datos de diferentes fuentes administrativas.

Del análisis realizado por Matías Valderrama en el marco del proyecto “Inteligencia Artificial e Inclusión” de Derechos Digitales, se determina que el sistema no explica cabalmente el tipo de tratamiento de datos al que son sujetos los NNA con el Sistema Alerta Niñez; la opacidad con la que el sistema ha operado hasta ahora, sin documentación pública sobre el funcionamiento, rendimientos y efectos de los modelos predictivos, y la ausencia de procesos de participación o consulta ciudadana en el desarrollo e implementación del sistema, entre otros varios problemas asociados a su implementación.

Las alertas levantadas por Bouzón y otros funcionarios involucrados con el desarrollo del sistema de predicción de deserción escolar consultados por el artículo de El País demuestra un nivel de conciencia poco común respecto de los problemas y desafíos de lidiar con una tecnología de este tipo, lo que, en alguna medida, es tranquilizador.

Sin embargo, es tarea de la sociedad en su conjunto velar y exigir que la implementación de este sistema cumpla con los más altos estándares en la materia, incluyendo políticas de participación, transparencia y evaluación.

Hacia un marco feminista para el desarrollo de IA: de los principios a la práctica

Descargar PDF

¿Es posible desarrollar IA que no reproduzca lógicas de opresión? Para responder a esta pregunta, nos enfocamos en las relaciones de poder inmersas en el campo de la IA y hacemos un análisis interpretativo
de las experiencias, en el día a día, de siete mujeres que trabajan en algún campo de la IA o la ciencia de datos en la región, en diálogo con distintas declaraciones de principios y guías feministas para
el desarrollo y despliegue de tecnologías digitales.

Proyecto de ley de inteligencia artificial: múltiples desafíos por delante

Esta semana se conocieron detalles sobre los planes del Reino Unido para regular la IA. Según el gobierno,la propuesta «desataría la innovación y aumentaría la confianza pública en la tecnología», prometiendo tener una regulación menos centralizada, en comparación con el enfoque europeo. El Reino Unido también está trabajando en reformular las leyes de protección de datos y la información digital.

El enfoque británico tiene en cuenta seis principios fundamentales para desarrolladoras y usuarias de IA: seguridad (es técnicamente seguro y funciona según lo diseñado), transparencia y explicabilidad, justicia, identificación de la persona jurídica responsable e indicación de vías de reparación o impugnabilidad.

Desde  2021, la propuesta de la Ley de IA de la Unión Europea se ha ido materializando. La adopción de un enfoque basado en riesgos no ha eximido la presencia  de críticas. La propuesta también ha recibido múltiples sugerencias de reformas, inclusive la de  aumentar la participación de la sociedad civil desde el  proceso legislativo hasta la implementación de la futura ley.

Para la organización internacional  Access Now, la Ley de IA europea no aborda los impactos que esos sistemas pueden tener en personas que no son ciudadanas  de la Unión Europea, como migrantes y refugiadas de guerra que ya están sujetas a algoritmos de evaluación de riesgos, perfilado, detectores de mentiras, entre otros.

Construyendo la regulación de IA en Brasil

Luego de un apresurado y ampliamente criticado proceso de discusión y aprobación en la Cámara de Diputados brasileña, un conjunto de tres propuestas de regulación de IA se están actualmente en debate en el Senado. Las propuestas aprobadas, como ha apuntado la Coalizão Direitos na Rede, son “superficiales e incapaces de cubrir la complejidad del tema”.

En el Senado, los proyectos de ley fueron enviados para el análisis y la  revisión de una comisión de juristas, encargada de elaborar un texto sustitutivo. Se trata de 18 profesionales del campo del derecho actuando en distintos sectores y con amplia experiencia en temas como protección de datos, derecho civil en internet y derechos del consumidor, entre otros, componen la comisión.

La instalación de la comisión recibió críticas por su composición, y se solicitó ampliar el nivel de participación con “profesionales de prestigio de diferentes áreas, regiones, con paridad de género y raza”.

En respuesta a tales demandas, la comisión abrió distintos procesos de consulta para subsidiar sus decisiones, incluyendo una serie de audiencias públicas, un seminario internacional y una consulta de insumos por escrito que en la que se recibieron más de 100 contribuciones. 

Han sido escuchadas más de  60 personas en las audiencias públicas que se llevaron a cabo entre el 28 de abril y el 13 de mayo. Con énfasis en diferentes ejes, se han discutido los conceptos, la comprensión y clasificación de la inteligencia artificial, los impactos de la inteligencia artificial, derechos y deberes, así como rendición de cuentas, gobernanza e inspección.

Reflexiones desde la sociedad civil

Luego  de más de veinte horas de sesiones híbridas de audiencias públicas con discusiones de alto nivel, se destacan algunos puntos. 

El primero es que todos los derechos humanos pueden verse afectados por los sistemas de IA en especial por los riesgos que trae en términos de expansión de la vigilancia, sesgos y discriminación y la opacidad en la toma de decisiones y la consecuente pérdida de autonomía de las personas e instituciones. Como señaló Jamila Venturini en una de las audiencias, los riesgos de discriminación en el ejercicio de derechos fundamentales ya es observado en la implementación de esos sistemas en el sector público y en áreas sensibles de políticas públicas, como apuntan investigaciones coordinadas por Derechos Digitales.

Segundo: los  principios éticos o dispositivos genéricos no son suficientes para la protección de la sociedad frente al avance de estas tecnologías. Son necesarios límites, procedimientos adecuados y normas concretas, como defendió Derechos Digitales en su participación escrita y como también recomiendan organismos internacionales como la Unesco. Eso incluye la necesidad de implementación de estudios de impacto a los derechos humanos que den cuenta de identificar los potenciales riesgos de un determinado sistema, así como las debidas medidas de mitigación.

Finalmente, el tercer punto se refiere a la necesidad de un sistema de reparación que considere la responsabilidad civil, pero también un análisis previo que permita limitar la implementación de sistemas que representen riesgos excesivos en el contexto brasileño. Una crítica a los textos en discusión es que se presenta la idea de un sistema de evaluación de riesgos de manera genérica y sin una exhaustiva descripción de los procedimientos y condiciones para su implementación.

Un concepto que no es inocente

El concepto de Inteligencia Artificial utilizado en el proyecto aprobado por la Cámara de Diputados fue duramente  criticado durante las audiencias. Mireille Hildebrandt, profesora de derecho y tecnología en la Universidad Vrije Universiteit de Bruselas, argumentó que el tema principal para la protección legal con respecto al uso de sistemas de IA debe centrarse en su impacto. Pues no se trata de impedir el desarrollo de tecnologías, sino de anticipar, mitigar y evitar riesgos. Venturini reforzó el punto, indicando que una interpretación acotada del concepto de IA puede dejar desreguladas preocupantes implementaciones de procesamiento y clasificación algorítmica de datos en la región, cuyo grado de autonomía o inteligencia es incierto.

Un ejemplo es el sistema utilizado en Brasil para la distribución de ayuda financiera durante la pandemia.Un estudio reciente de InternetLab, con apoyo de Derechos Digitales, sobre  la decisión algorítmica en el caso del programa Auxilio Emergencial evidencia una serie de problemas y riesgos al acceso a un derecho fundamental por parte de poblaciones en condición de vulnerabilidad debido a errores y desactualización en las bases de datos .

Otra preocupación relacionada a la conceptualización de IA tiene que ver con las distintas implementaciones que podrían abarcar y las consecuencias de ello. En particular, el hecho de que una regulación genérica sobre IA podría ser utilizada para legitimar el uso, por ejemplo, del reconocimiento facial – tecnología que puede estar basada en IA y que, según expertas internacionales, contraría a los estándares establecidos de derechos humanos. 

Los sistemas de reconocimiento facial han sido fuertemente cuestionados en la región y actualmente hay una campaña en curso en Brasil por su prohibición con más de 40 organizaciones firmantes. En junio de 2022, más de 10 proyectos de ley fueron presentados en distintos estados para formalizar tal demanda.

Un gran desafío por delante

El desafío de regular los sistemas de IA es grande, ya sea por los riesgos para los derechos humanos, o por la complejidad, opacidad y amplia gama de temas a regular. Las discusiones legislativas y las garantías de participación social deben estar a la altura de este desafío. La comisión de juristas ha ganado tiempo adicional para terminar su trabajo, y es nuestra expectativa que los resultados reflejen manera satisfactoria los aportes recibidos y  se logre una legislación que efectivamente proteja los derechos humanos.