Temática: Inteligencia artificial

Más allá de las elecciones en la UIT (o de la agencia de la que nunca has oído hablar)

El creciente número de incidentes y casos de ciberataques a empresas y gobiernos ha provocado numerosas discusiones sobre la necesidad de políticas públicas en ciberseguridad con enfoque de derechos humanos. Los derechos de los ciudadanos son doblemente vulnerados. Primero, porque sufren en carne propia los efectos perversos de estos ataques, y segundo, por la falta de inversión y coordinación por parte de los estados y las empresas. Por otra parte, hemos visto discusiones crecientes, a menudo acaloradas, sobre las regulaciones de inteligencia artificial.

El ámbito de la Unión Internacional de Telecomunicaciones (UIT) no fue la excepción. Como decíamos en un texto anterior, este año tuvieron lugar los tres mayores eventos de la UIT, la Asamblea Mundial de Normalización de las Telecomunicaciones (AMNT), en marzo en Ginebra, la Conferencia Mundial de Desarrollo de las Telecomunicaciones (CMDT), sin precedentes en el continente africano, acogida por Ruanda en junio, y la reunión de Plenipotenciarios, que tuvo lugar en Rumania en octubre. Desde Derechos Digitales participamos personalmente en las reuniones de Ruanda y Rumania.

Marcada por las elecciones de varios puestos de liderazgo, y cuyo máximo cargo como secretaria general fue ganado por Doreen Bogdan-Martin en una disputa que tenía connotaciones geopolíticas y puntos de vista diferentes entre la candidata estadounidense y su competidor ruso, la reunión de Plenipotenciarios discutió muchos temas que marcarán las actividades de la agencia en los próximos años. 

En este texto evaluaremos algunos avances en el tema de ciberseguridad, principalmente desde el punto de vista de cuál ha sido el rol de la UIT y por qué su desempeño ha sido importante para los países del sur global. También analizaremos cómo una nueva resolución sobre IA en el ámbito de la UIT puede ser vista como una continuación de los proyectos de “IA para el bien” que la agencia ya venía desarrollando.

Las acciones de la UIT en el tema de la ciberseguridad

La UIT ha sido llamada la agencia de la ONU más importante de la que nunca has oído hablar. Es el organismo especializado de las Naciones Unidas para las tecnologías de la información y la comunicación (TIC), formada en 1865. Cada cuatro años, los Estados miembros se reúnen en la reunión de plenipotenciarios para discutir y planificar el curso de los próximos años. El tema de la ciberseguridad se ha discutido cada vez más en esta reunión y principalmente dentro del ámbito de trabajo de los sectores de normalización (UIT-T) y desarrollo (UIT-D).

Son múltiples los roles desempeñados por la UIT en el campo de la ciberseguridad, que resultan particularmente importantes para los países del sur global. Junto con otros actores como el Banco Mundial, la UIT publicó la “Guía para el desarrollo de una Estrategia Nacional de Ciberseguridad”, que actualmente se encuentra en su segunda edición. Además de abordar cuestiones básicas del proceso sobre cómo crear esta política pública, la Guía incluye buenas prácticas sobre el contenido de la propia estrategia. Esto es relevante para países que, como Chile y México, actualmente están discutiendo la evaluación y renovación de una estrategia nacional e incluso la creación de leyes de ciberseguridad.

Además, el Índice Global de Ciberseguridad ha servido durante años como indicador y referencia para la evaluación de los Estados en temas clave cuando se habla de ciberseguridad. La  Agenda Global de Ciberseguridad es otra herramienta lanzada en 2007, que ha influido en la creación de políticas públicas a nivel nacional, especialmente en los países del sur global. Se trata de un instrumento internacional de cooperación lanzado en 2015, que hasta el día de hoy genera controversia por tratarse de un instrumento internacional fuera del mandato de la agencia, como pudimos ver en las intensas discusiones de la reunión Plenipotenciaria este año. 

“IA para el bien”: consolidación del trabajo de IA

El trabajo de la UIT sobre inteligencia artificial (IA) no es nuevo. El programa “AI for Good” y junto con el Gobierno de Suiza y otras 40 agencias asociadas en el sistema de las Naciones Unidas, como la UNESCO, la UNCTAD, la FAO, por ejemplo, la UIT ha desarrollado proyectos para identificar aplicaciones prácticas de la IA, proporcionar soluciones a escalar para tener impactos globales y acelerar el uso de esta tecnología para cumplir con los Objetivos de Desarrollo Sostenible (ODS). 

Funciona  como una gran plataforma de IA en el sistema de la ONU, pero que vemos al margen de otras discusiones importantes sobre el uso de este tipo de tecnología contra los derechos humanos, como lo han destacado en varias ocasiones otros órganos de los sistemas de derechos humanos. La novedad este año fue la aprobación de una resolución específica sobre IA en el ámbito de la UIT ahora en Plenipotenciario, que consolida la actuación del organismo en esta materia. El riesgo en este caso es que la UIT ignore la existencia de violaciones de derechos o vaya más allá de su mandato.

La acción interinstitucional de esta agencia en temas de IA debe entenderse en el contexto de otros espacios multilaterales donde se discutan los usos de la IA contra los derechos humanos. Este es un factor de suma importancia para que los ejemplos de “AI for good” no oculten posibles sesgos discriminatorios y otros riesgos señalados en el uso de esta tecnología.

La perspectiva de derechos humanos

Debemos prestar atención a lo que se está discutiendo en la UIT. Primero, en el cumplimiento de la actuación de la agencia dentro de su competencia, por ejemplo, siguiendo su rol como mediadora/facilitadora de la línea de acción C5 de la Cumbre Mundial sobre la Sociedad de la Información (CMSI), en la creación de confianza y seguridad de las TIC. En segundo lugar, evitar que en este espacio se desarrollen temas ajenos al ámbito de la agencia en lugar de otros espacios idóneos, más participativos y multisectoriales.

Por un lado, vemos a la UIT jugando un papel importante en ciberseguridad para el sector público y privado, principalmente relacionado con actividades de investigación, normalización, difusión de buenas prácticas y formación. 

Este rol resulta muy importante para los países del sur global, dado que es un referente. Es necesario entender que la apertura de la agencia es fundamental para fomentar la discusión de aspectos relevantes en la construcción de políticas públicas de ciberseguridad, que está relacionada con el cumplimiento de los derechos humanos.

Posibles caminos a seguir

Es necesaria una mayor participación de la sociedad civil en las decisiones y diseños que se hacen en la UIT. Quizás los resultados de las elecciones de la agencia apunten a un camino más abierto para la participación de las múltiples partes interesadas. Mientras tanto, las organizaciones pueden seguir uno de los cuatro caminos para participar en este espacio, descritos por la organización Artículo 19: afiliación a la UIT, participación en una delegación nacional, participación en consultas públicas o  estar al tanto de los temas que la UIT pretende incluir en su ámbito de trabajo. 

Tenemos por delante cuatro años de discusiones importantísimas en la UIT y necesitamos una mayor participación en temas de ciberseguridad e IA, ya sea discutiendo los temas de las comisiones de estudio de cada sector, contribuyendo en contribuciones locales o regionales a la agencia, demandando más espacio para la participación de la sociedad civil o participando en los proyectos desarrollados por la agencia.

La prensa y el carácter mitológico de la tecnología

Reciente, hemos visto publicados estos tres titulares en medios de comunicación:

  • Inteligencia artificial: con algoritmos predicen qué liceales pueden abandonar o repetir y harán listas (El País, Uruguay).
  • Inteligencia Artificial demostró cómo se verán los humanos en un millón de años (Smart 13, Chile).
  • Cuadro generado por inteligencia artificial gana premio y desata polémica en el mundo del arte (Deutsche Welle, Alemania).

Esta pequeña y poco representativa muestra sirve para ilustrar algunas cuestiones relevantes respecto a la inteligencia artificial (IA) y las narrativas que se han creado en torno a ella.

Lo primero que salta a la vista es que se están usando sistemas de IA para un amplio abanico de tareas, que van desde cuestiones importantes en materia de política pública hasta otras  completamente absurdas e inconsecuentes.

Una forma de explicar esta variedad de aplicaciones dispares es que nos encontramos en un estado temprano del desarrollo de estas tecnologías y no somos capaces de comprender completamente su potencial y sus límites, cuestión que probablemente será definida en un largo proceso de ensayo, error y descarte.

Pensemos, por ejemplo, en el teléfono, una tecnología cotidinana y obvia, que en la actualidad no requiere mayor explicación de nuestra parte. Sin embargo, no lo era para las personas de fines del siglo XIX. Antes de asentarse como una tecnología de telecomunicación, los desarrollos iniciales de la telefonía avizoraban distintos usos potenciales, incluyendo la transmisión de música orquestal a larga distancia, los que eventualmente fueron abandonados.

En la medida en que los sistemas de inteligencia artificial comienzan a ser adoptados por los gobiernos y las empresas privadas para asistir la toma de decisiones de cuestiones cada vez más relevantes en las vidas de las personas, el impacto de sus errores puede ser devastador. Seguramente en un futuro no tan lejano miraremos nuestro actual uso de la inteligencia artificial de forma similar a cómo evaluamos hoy la frenología, con una mezcla de vergüenza e indignación.

Son los estados y los organismos internacionales los principales convocados a establecer límites, procedimientos y regulaciones que impidan desenlaces catastróficos asociados al uso de sistemas de IA. Pero la tarea de crear conciencia sobre la necesidad de una aproximación más cuidadosa y responsable en torno a esta tecnología la corresponde a todos los actores sociales, incluyendo a la prensa.

El carácter mitológico de la tecnología

Esa es otra cuestión que llama la atención: de las tres noticias presentadas más arriba, una es absolutamente ridícula y otra es una exageración. La idea de que una inteligencia artificial pueda predecir el modo en que lucirán los seres en un millón de años no solamente es absurda, sino que al leer la noticia nos enteramos de que se trata del ejercicio ocioso de un usuario de Tik Tok, que carece de cualquier fundamento sólido. Por su parte, si bien es cierto que una obra creada con IA ganó un concurso, afirmar que se ha desatado una polémica en “el mundo del arte” parece demasiado si consideramos que el concurso en cuestión es organizado en el marco de la “Colorado State Fair & Rodeo”, no exactamente una renombrada institución artística, y la polémica se desató principalmente en redes sociales.

A pesar de que ambas noticias no son más que entretenimiento y los hechos relatados no conllevan mayores consecuencias, la suma de noticias de este tipo generan un imaginario y unas expectativas respecto de lo que la inteligencia artificial es, completamente desconectadas de sus condiciones materiales, dejando a la población mal posicionada para evaluar y entender mejor aquellos proyectos que sí pueden impactar sus vidas de forma importante, como es el caso del sistema anunciado en Uruguay.

Esta aparente disonancia entre el modo en que socialmente pensamos en las tecnologías y sus capacidades técnicas reales no puede ser simplemente descartada como ignorancia o falta de claridad, sino que es parte de lo que podríamos denominar el carácter mitológico de la tecnología, que lejos de constituir una fantasía inocua, tiene repercusiones bastante reales: cada vez que un político promete solucionar un problema social complejo por medio de un algoritmo, está apelando a esta mitología; y si el proyecto se concreta, dependiendo de cómo sea implementado, puede tener consecuencias importantes en la vida de las personas, para bien y para mal.

No es una varita mágica

Hay una cita de Arthur C. Clarke que se ha convertido en un cliché a la hora de hablar de tecnología: “Cualquier tecnología suficientemente avanzada es indistinguible de la magia”, que ha suscitado distintas interpretaciones. La frase parece ser particularmente acertada a la luz de una problemática común en el mundo de la inteligencia artificial, donde la trazabilidad de la toma de decisiones por parte de los sistemas no siempre está garantizada, convirtiéndolos en una verdadera caja negra a la que se alimenta con grandes volúmenes de datos esperando obtener alguna respuesta, pero sin ninguna capacidad de entender cómo se ha llegado a ella.

Los sistemas de inteligencia artificial muchas veces se parecen más a un oráculo que a los postulados racionalistas y empiristas sobre los que se sustenta el método científico. No solamente los resultados no son replicables, sino que además el proceso es misterioso.

Por eso es bueno leer que Héctor Bouzón, director ejecutivo de Gestión Institucional de la Administración Nacional de Educación Pública (ANEP) de Uruguay que el sistema que están implementando no es una “varita mágica”, sino que un instrumento más de diagnóstico, y que es necesario enseñar a leer los resultados que el sistema arroja —“ Hay que tener cuidado para no estigmatizar alumnos, alerta Bouzón: “Yo tengo una nómina, ¿pero qué significa?”—.

Existen experiencias anteriores en la región donde la toma de decisiones por medio de sistemas automatizados ha generado respuestas estigmatizantes. El caso más notorio es el de la Provincia de Salta en Argentina, donde se pretendió usar un algoritmo para predecir embarazos adolescentes, con resultados deplorables y que violaba derechos fundamentales de las niñas más pobres de la provincia.

Menos visible que el anterior, pero relevante para la evaluación, es el caso del Sistema Alerta Niñez en Chile, implementado en modalidad piloto y que tiene como objetivo estimar y predecir el nivel de riesgo de niñas, niños y adolescentes de sufrir alguna vulneración en sus derechos en el futuro, mediante un análisis de datos de diferentes fuentes administrativas.

Del análisis realizado por Matías Valderrama en el marco del proyecto “Inteligencia Artificial e Inclusión” de Derechos Digitales, se determina que el sistema no explica cabalmente el tipo de tratamiento de datos al que son sujetos los NNA con el Sistema Alerta Niñez; la opacidad con la que el sistema ha operado hasta ahora, sin documentación pública sobre el funcionamiento, rendimientos y efectos de los modelos predictivos, y la ausencia de procesos de participación o consulta ciudadana en el desarrollo e implementación del sistema, entre otros varios problemas asociados a su implementación.

Las alertas levantadas por Bouzón y otros funcionarios involucrados con el desarrollo del sistema de predicción de deserción escolar consultados por el artículo de El País demuestra un nivel de conciencia poco común respecto de los problemas y desafíos de lidiar con una tecnología de este tipo, lo que, en alguna medida, es tranquilizador.

Sin embargo, es tarea de la sociedad en su conjunto velar y exigir que la implementación de este sistema cumpla con los más altos estándares en la materia, incluyendo políticas de participación, transparencia y evaluación.

Hacia un marco feminista para el desarrollo de IA: de los principios a la práctica

Descargar PDF

¿Es posible desarrollar IA que no reproduzca lógicas de opresión? Para responder a esta pregunta, nos enfocamos en las relaciones de poder inmersas en el campo de la IA y hacemos un análisis interpretativo
de las experiencias, en el día a día, de siete mujeres que trabajan en algún campo de la IA o la ciencia de datos en la región, en diálogo con distintas declaraciones de principios y guías feministas para
el desarrollo y despliegue de tecnologías digitales.

Proyecto de ley de inteligencia artificial: múltiples desafíos por delante

Esta semana se conocieron detalles sobre los planes del Reino Unido para regular la IA. Según el gobierno,la propuesta «desataría la innovación y aumentaría la confianza pública en la tecnología», prometiendo tener una regulación menos centralizada, en comparación con el enfoque europeo. El Reino Unido también está trabajando en reformular las leyes de protección de datos y la información digital.

El enfoque británico tiene en cuenta seis principios fundamentales para desarrolladoras y usuarias de IA: seguridad (es técnicamente seguro y funciona según lo diseñado), transparencia y explicabilidad, justicia, identificación de la persona jurídica responsable e indicación de vías de reparación o impugnabilidad.

Desde  2021, la propuesta de la Ley de IA de la Unión Europea se ha ido materializando. La adopción de un enfoque basado en riesgos no ha eximido la presencia  de críticas. La propuesta también ha recibido múltiples sugerencias de reformas, inclusive la de  aumentar la participación de la sociedad civil desde el  proceso legislativo hasta la implementación de la futura ley.

Para la organización internacional  Access Now, la Ley de IA europea no aborda los impactos que esos sistemas pueden tener en personas que no son ciudadanas  de la Unión Europea, como migrantes y refugiadas de guerra que ya están sujetas a algoritmos de evaluación de riesgos, perfilado, detectores de mentiras, entre otros.

Construyendo la regulación de IA en Brasil

Luego de un apresurado y ampliamente criticado proceso de discusión y aprobación en la Cámara de Diputados brasileña, un conjunto de tres propuestas de regulación de IA se están actualmente en debate en el Senado. Las propuestas aprobadas, como ha apuntado la Coalizão Direitos na Rede, son “superficiales e incapaces de cubrir la complejidad del tema”.

En el Senado, los proyectos de ley fueron enviados para el análisis y la  revisión de una comisión de juristas, encargada de elaborar un texto sustitutivo. Se trata de 18 profesionales del campo del derecho actuando en distintos sectores y con amplia experiencia en temas como protección de datos, derecho civil en internet y derechos del consumidor, entre otros, componen la comisión.

La instalación de la comisión recibió críticas por su composición, y se solicitó ampliar el nivel de participación con “profesionales de prestigio de diferentes áreas, regiones, con paridad de género y raza”.

En respuesta a tales demandas, la comisión abrió distintos procesos de consulta para subsidiar sus decisiones, incluyendo una serie de audiencias públicas, un seminario internacional y una consulta de insumos por escrito que en la que se recibieron más de 100 contribuciones. 

Han sido escuchadas más de  60 personas en las audiencias públicas que se llevaron a cabo entre el 28 de abril y el 13 de mayo. Con énfasis en diferentes ejes, se han discutido los conceptos, la comprensión y clasificación de la inteligencia artificial, los impactos de la inteligencia artificial, derechos y deberes, así como rendición de cuentas, gobernanza e inspección.

Reflexiones desde la sociedad civil

Luego  de más de veinte horas de sesiones híbridas de audiencias públicas con discusiones de alto nivel, se destacan algunos puntos. 

El primero es que todos los derechos humanos pueden verse afectados por los sistemas de IA en especial por los riesgos que trae en términos de expansión de la vigilancia, sesgos y discriminación y la opacidad en la toma de decisiones y la consecuente pérdida de autonomía de las personas e instituciones. Como señaló Jamila Venturini en una de las audiencias, los riesgos de discriminación en el ejercicio de derechos fundamentales ya es observado en la implementación de esos sistemas en el sector público y en áreas sensibles de políticas públicas, como apuntan investigaciones coordinadas por Derechos Digitales.

Segundo: los  principios éticos o dispositivos genéricos no son suficientes para la protección de la sociedad frente al avance de estas tecnologías. Son necesarios límites, procedimientos adecuados y normas concretas, como defendió Derechos Digitales en su participación escrita y como también recomiendan organismos internacionales como la Unesco. Eso incluye la necesidad de implementación de estudios de impacto a los derechos humanos que den cuenta de identificar los potenciales riesgos de un determinado sistema, así como las debidas medidas de mitigación.

Finalmente, el tercer punto se refiere a la necesidad de un sistema de reparación que considere la responsabilidad civil, pero también un análisis previo que permita limitar la implementación de sistemas que representen riesgos excesivos en el contexto brasileño. Una crítica a los textos en discusión es que se presenta la idea de un sistema de evaluación de riesgos de manera genérica y sin una exhaustiva descripción de los procedimientos y condiciones para su implementación.

Un concepto que no es inocente

El concepto de Inteligencia Artificial utilizado en el proyecto aprobado por la Cámara de Diputados fue duramente  criticado durante las audiencias. Mireille Hildebrandt, profesora de derecho y tecnología en la Universidad Vrije Universiteit de Bruselas, argumentó que el tema principal para la protección legal con respecto al uso de sistemas de IA debe centrarse en su impacto. Pues no se trata de impedir el desarrollo de tecnologías, sino de anticipar, mitigar y evitar riesgos. Venturini reforzó el punto, indicando que una interpretación acotada del concepto de IA puede dejar desreguladas preocupantes implementaciones de procesamiento y clasificación algorítmica de datos en la región, cuyo grado de autonomía o inteligencia es incierto.

Un ejemplo es el sistema utilizado en Brasil para la distribución de ayuda financiera durante la pandemia.Un estudio reciente de InternetLab, con apoyo de Derechos Digitales, sobre  la decisión algorítmica en el caso del programa Auxilio Emergencial evidencia una serie de problemas y riesgos al acceso a un derecho fundamental por parte de poblaciones en condición de vulnerabilidad debido a errores y desactualización en las bases de datos .

Otra preocupación relacionada a la conceptualización de IA tiene que ver con las distintas implementaciones que podrían abarcar y las consecuencias de ello. En particular, el hecho de que una regulación genérica sobre IA podría ser utilizada para legitimar el uso, por ejemplo, del reconocimiento facial – tecnología que puede estar basada en IA y que, según expertas internacionales, contraría a los estándares establecidos de derechos humanos. 

Los sistemas de reconocimiento facial han sido fuertemente cuestionados en la región y actualmente hay una campaña en curso en Brasil por su prohibición con más de 40 organizaciones firmantes. En junio de 2022, más de 10 proyectos de ley fueron presentados en distintos estados para formalizar tal demanda.

Un gran desafío por delante

El desafío de regular los sistemas de IA es grande, ya sea por los riesgos para los derechos humanos, o por la complejidad, opacidad y amplia gama de temas a regular. Las discusiones legislativas y las garantías de participación social deben estar a la altura de este desafío. La comisión de juristas ha ganado tiempo adicional para terminar su trabajo, y es nuestra expectativa que los resultados reflejen manera satisfactoria los aportes recibidos y  se logre una legislación que efectivamente proteja los derechos humanos.