Fiscal Watson: Estudio sobre el uso de inteligencia artificial en la fiscalía general de la nación en Colombia

Fiscal Watson: Estudio sobre el uso de inteligencia artificial en la fiscalía general de la nación en Colombia. Este informe, realizado por Fundación Karisma, bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), analiza la implementación de “Fiscal Watson”, una herramienta basada en IBM Watson Explorer y Watson Discovery adquirida por la Fiscalía General de la Nación desde 2017 para asociar casos en el Sistema Penal Oral Acusatorio (SPOA). El estudio examina su funcionamiento, el marco regulatorio y las implicaciones para derechos como el debido proceso, la privacidad y la protección de datos, en un contexto de escasa regulación sobre inteligencia artificial en el sector judicial.

Aunque la Fiscalía presenta a Fiscal Watson como una innovación para agilizar investigaciones, el informe evidencia la falta de análisis de impacto en derechos, transparencia sobre su uso y claridad respecto al manejo y almacenamiento de datos, especialmente ante posibles alojamientos en infraestructura de terceros como IBM. También advierte sobre la calidad de los datos que alimentan el sistema, la dependencia tecnológica respecto a un proveedor privado y los riesgos para la soberanía de datos judiciales. El documento plantea la necesidad urgente de estándares claros de evaluación de riesgos, principios éticos, transparencia y mecanismos de monitoreo para que el uso de IA en la justicia sea compatible con las obligaciones estatales de garantizar derechos fundamentales.

SATPE: Análisis del sistema predictivo para la prevención del abandono escolar del estado de guanajuato, México

SATPE: Análisis del sistema predictivo para la prevención del abandono escolar del estado de Guanajuato, México.
Este informe, realizado por Paola Ricaurte y Jacobo Nájera, bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), analiza la implementación del Sistema de Actuación Temprana para la Permanencia Escolar (SATPE) en Guanajuato, un modelo predictivo basado en datos educativos que busca identificar y prevenir el riesgo de abandono escolar en estudiantes de secundaria. A través de revisión documental, solicitudes de transparencia y entrevistas a actores clave, el estudio examina el contexto institucional, regulatorio, tecnológico y social en el que se despliega esta herramienta.

Aunque el SATPE es valorado por fortalecer la conciencia sobre el abandono escolar y ofrecer evidencia para la toma de decisiones, el informe advierte que su efectividad depende de insertarlo en una estrategia educativa más amplia que atienda las causas estructurales del problema. Persisten desafíos en la calidad e interoperabilidad de los datos, la transparencia en su uso, la rendición de cuentas y la mitigación de sesgos, así como en la articulación entre actores públicos, privados e internacionales. El documento ofrece recomendaciones para garantizar que políticas basadas en datos respeten los derechos humanos y respondan a los contextos complejos de México y América Latina.

Boti: Estudio sobre el chatbot con procesamiento del lenguaje natural del Gobierno de la Ciudad de Buenos Aires, Argentina

Boti: Estudio sobre el chatbot con procesamiento del lenguaje natural del Gobierno de la Ciudad de Buenos Aires, Argentina.
Este informe, realizado por la Asociación por los Derechos Civiles (ADC) bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), examina el funcionamiento de Boti, el chatbot con procesamiento de lenguaje natural del Gobierno de la Ciudad de Buenos Aires. A través de entrevistas, análisis técnico y revisión normativa, el estudio analiza las implicancias de esta herramienta para la privacidad, la protección de datos personales y la rendición de cuentas en el uso de tecnologías automatizadas en el sector público.

Aunque Boti ha sido ampliamente reconocido como una innovación en la atención ciudadana, especialmente durante la pandemia, el informe evidencia preocupaciones relevantes sobre el consentimiento informado, la gestión de datos sensibles y la participación de actores privados sin mecanismos claros de supervisión. En un contexto de creciente digitalización de los servicios estatales, el documento plantea recomendaciones para fortalecer la gobernanza de la inteligencia artificial desde una perspectiva de derechos humanos.

EmpleaPY: Investigación sobre la automatización de procesos para las políticas de empleo en Paraguay

EmpleaPY: Investigación sobre la automatización de procesos para las políticas de empleo en Paraguay
Este informe, realizado por TEDIC bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), analiza el uso de herramientas algorítmicas en la plataforma EmpleaPY del gobierno paraguayo, diseñada para intermediar ofertas laborales en el sector privado. A partir de entrevistas, revisión documental y análisis técnico, el estudio identifica oportunidades y riesgos vinculados a la automatización de políticas públicas de empleo, con especial atención al contexto normativo y social del país.

Aunque la plataforma aún no implementa inteligencia artificial avanzada, el informe advierte sobre la ausencia de mecanismos de transparencia, evaluación de impacto y protección de datos personales, en un entorno donde no existe una legislación integral en la materia. Frente a la intención del Estado de incorporar herramientas más sofisticadas de análisis y selección en futuras versiones, el documento ofrece recomendaciones clave para garantizar que el desarrollo tecnológico no profundice desigualdades ni vulnere derechos fundamentales.

Una voz firme para poner los derechos humanos en el centro de la inteligencia artificial 

En un contexto donde la tecnología avanza a una velocidad sin precedentes, el Foro de Gobernanza de Internet de América Latina y el Caribe (LACIGF) se ha convertido en un espacio fundamental para discutir las complejas intersecciones entre innovación y derechos humanos. Este año, desde Derechos Digitales nos sumamos nuevamente al evento, reafirmando nuestro compromiso con la defensa de los derechos humanos en el entorno digital y abogando por una gobernanza de Internet inclusiva y equitativa. 

En la instancia participamos en dos sesiones clave donde abordamos temáticas sobre derechos humanos, tecnología e inteligencia artificial. Conversamos con organizaciones de la sociedad civil, junto a la comunidad técnica, la academia, representantes de gobiernos y sector privado para discutir sobre los derechos digitales en la región. Acá tuvimos la oportunidad de debatir sobre los desafíos para el acceso universal a derechos fundamentales en el entorno digital en América Latina, junto al auge de las tecnologías emergentes como la inteligencia artificial, repasando dónde está situada hoy, marcos regulatorios y sus riesgos. De hecho, presentamos estudios de caso sobre distintas implementaciones de inteligencia artificial en el sector público en algunos países latinoamericanos.

Estudios de caso en América Latina: IA como instrumento de políticas públicas

Si bien la IA tiene el “potencial” de mejorar aspectos de la vida cotidiana, su implementación en ámbitos críticos ha comenzado a exponer serias vulneraciones de derechos. En particular, el uso de IA en la implementación de políticas públicas sin garantías suficientes,  puede conllevar riesgos significativos para la privacidad, la libertad de expresión y, sobre todo, el bienestar de las personas. Desde Derechos Digitales, mediante una investigación activa desde el 2019, hemos realizado estudios de caso -seis publicados y cuatro en desarrollo-, a partir de los cuales hemos identificado preocupaciones profundas sobre la manera en que la implementación de la IA está afectando el ejercicio de  los derechos humanos en nuestra región.

Los casos que hemos analizado muestran que, en países como Brasil, Chile, Uruguay y Colombia, la IA se ha implementado en iniciativas gubernamentales que afectan de manera directa la vida de millones de personas. En Brasil, por ejemplo, el Sistema Nacional de Empleo utiliza IA para perfilar a personas desempleadas y ofrecerles posibles ofertas de trabajo. En Chile, el Sistema Alerta Niñez busca generar un “índice de riesgo” para predecir la vulneración de derechos de niñas, niños y adolescentes. En Uruguay, la aplicación móvil Coronavirus UY fue implementada para gestionar la pandemia; y en Colombia, el proyecto PretorIA se utiliza para definir la prioridad en casos de tutela judicial de derechos fundamentales en la Corte Constitucional.

Aunque estas iniciativas parecen responder a desafíos  importantes, nuestros hallazgos revelan serios riesgos. En primer lugar, la IA aplicada a estas áreas no siempre demuestra ser eficaz. En muchos casos, los resultados obtenidos no justifican la implementación de sistemas de IA. En segundo lugar, la mayoría de estas iniciativas se desarrollan sin marcos normativos adecuados o sin instituciones de supervisión fuertes que garanticen la protección de los derechos de las personas.

Resultados preliminares: ¿a qué nos enfrentamos?

Nuestros estudios, hasta la fecha, nos han llevado a identificar varios problemas recurrentes. Primero, la efectividad de los sistemas de IA para resolver los problemas de política pública es limitada. Esto resulta particularmente problemático en áreas como la seguridad, donde un mal uso de estas tecnologías puede tener consecuencias graves para la libertad y la privacidad de las personas.

Además, hemos detectado falencias en el manejo de datos personales. En muchos casos, no existe un consentimiento informado adecuado. En Brasil, por ejemplo, no se requiere consentimiento para reutilizar los datos recolectados por el Sistema Nacional de Empleo, lo que permite su tratamiento por parte de nuevos agentes privados sin el conocimiento de las personas afectadas. En Chile, el consentimiento para el uso de datos de niñas, niños y adolescentes no es claro ni explícito en el Sistema Alerta Niñez. Esta falta de transparencia y protección de los datos personales abre la puerta a prácticas de recolección y uso de datos que podrían vulnerar los derechos de las personas.

Otro problema clave es la escasa participación ciudadana en el diseño y la evaluación de esta implementación. En general, los estados de la región carecen de instancias donde la ciudadanía y las partes interesadas puedan formar parte de los procesos de regulación, reglamentación e implementación. Por eso, es fundamental destacar que la participación es un derecho humano. Diversos instrumentos en derechos humanos de alcance interamericano y universal dan cuenta de este derecho político de la ciudadanía y coinciden en apuntar a la participación como un habilitador para tener voz y voto sobre aspectos críticos que impactan a nivel individual y colectivo.

El camino hacia una IA ética y centrada en las personas

A pesar de estos desafíos, es posible construir una inteligencia artificial que respete y promueva los derechos humanos en nuestra región. Pronto lanzaremos un Latin America in a Glimpse: Reflexiones para una IA comunitaria y feminista, que explora iniciativas comunitarias apuntadas a reapropiar a la IA desde los contextos culturales y sociales de América Latina haciendo frente a modelos extractivistas y coloniales.

Este informe se basa en conversaciones con investigadoras, tecnólogas y activistas de distintos países que trabajan en enfoques alternativos para la IA desde temas como: género, territorio y educación. Un reporte que ilustra las diversas potencialidades de esta tecnología desde una mirada ética y justa que apunta al beneficio colectivo para y desde el sur global.

Nuestra labor continúa. A través de estos estudios y del nuevo informe Latin America in a Glimpse, buscamos aportar evidencias que contribuyan a generar un cambio en la forma en que los gobiernos utilizan  la inteligencia artificial, además de mostrar alternativas comunitarias para su uso. Queremos que la IA en América Latina sea una herramienta para el beneficio de las personas, y no un mecanismo que profundice las desigualdades estructurales y genere nuevas formas de exclusión. En Derechos Digitales, seguiremos trabajando para contribuir a que los derechos humanos estén al centro de las políticas relacionadas a la IA, con garantías jurídicas y procesos que prioricen la participación ciudadana y los contextos locales.

Pacto Global Digital: Gobernanza tecnológica y la protección de los derechos humanos

En nuestra publicación anterior, analizamos el Pacto Global Digital (GDC), un documento clave que se centra en los desafíos digitales globales y que forma parte del Pacto para el Futuro como uno de sus anexos. A pesar de que el GDC aborda específicamente aspectos relacionados con la gobernanza digital, el Pacto por el Futuro en su conjunto también trata temas esenciales relacionados a la protección de datos, los derechos humanos, la igualdad de género, y el acceso a internet. Es fundamental que comprendamos cómo estos dos documentos se complementan y responden a los desafíos globales emergentes.

El Pacto para el Futuro fue adoptado por consenso en medio de tensiones geopolíticas – y tras varias versiones que circulaban informalmente hasta el día anterior a su adopción- el día 22 de Septiembre del corriente.

Género desde una Mirada Interseccional: Omisiones que implican retrocesos

Un aspecto esencial que sigue siendo insuficientemente tratado en el Pacto para el Futuro es la incorporación de la perspectiva de género desde una mirada interseccional. A pesar de las referencias a la brecha digital de género, no se abordan con suficiente profundidad las múltiples formas de discriminación que enfrentan las mujeres y personas de género diverso, particularmente en el contexto digital.

Aunque uno de los objetivos clave del Pacto «no dejar a nadie atrás» (leave no one behind), ninguno de los documentos menciona explícitamente a las personas LGBTQIA+ en su ámbito de protección. Esto es preocupante, dado que esta comunidad enfrenta impactos diferenciados. Un ejemplo claro es la violencia de género facilitada por la tecnología (TFGBV), que afecta tanto a mujeres cis y tránsgenero como a personas con diversas identidades de género y orientaciones sexuales. Ignorar esta realidad deja a estas comunidades expuestas a sufrir violencias en línea y explotación de sus datos, subrayando la urgencia de políticas digitales verdaderamente inclusivas.

Además, es necesario considerar otras dimensiones interseccionales, como la raza, la clase social, y la ubicación geográfica, entre otras, que agravan las formas de exclusión y vulnerabilidad que también se manifiestan en el entorno digital. Las personas que enfrentan múltiples formas de discriminación suelen ser las más afectadas por las brechas digitales y, a su vez, las más expuestas a los riesgos y abusos facilitados por la tecnología. Es crucial que cualquier enfoque sobre género en el ámbito digital no sólo contemple a las mujeres cis, sino que abarque a todas las identidades de género  e incluya a la necesidad de tomar en cuenta los contextos para asegurar una verdadera inclusión.

Inteligencia Artificial y Aplicaciones Militares y Contraterrorismo: La Falta de Salvaguardias Claras

El Pacto reconoce los riesgos y las oportunidades de las tecnologías emergentes, incluida la inteligencia artificial (IA), y subraya la importancia de la cooperación internacional para evaluar estos riesgos, especialmente en sus aplicaciones militares. Sin embargo, el Pacto no establece limitaciones explícitas ni mecanismos de supervisión independiente que aseguren que la IA sea utilizada de manera que respete los derechos humanos. En nuestras contribuciones al proceso enfatizamos la necesidad de responder a estos riesgos con un marco regulatorio que se base en recomendaciones clave, como la Resolución 48/4 del Consejo de Derechos Humanos, y el informe del Alto Comisionado de las Naciones Unidas para los Derechos Humanos, que abogan por una moratoria o incluso la prohibición de herramientas de IA que no puedan ser utilizadas en cumplimiento con el derecho internacional de derechos humanos.

Además, realizamos un llamado a que se establezcan limitaciones claras en las acciones de contraterrorismo, garantizando que las respuestas de los Estados partan desde un enfoque balanceado de derechos Esto es crucial para evitar legislaciones que puedan ser aplicadas de manera arbitraria y que arriesgue los derechos fundamentales, como la libertad de expresión y la asociación, como hemos analizado en investigaciones relacionadas. El Pacto, aunque aborda los riesgos de aplicación de tecnologías, no define estas salvaguardias, lo cual abre la puerta a posibles abusos en nombre de la seguridad.

Fortalecimiento del Modelo de Múltiples partes interesadas: Desafíos y Oportunidades en la Gobernanza Global

El Pacto reconoce la importancia de un sistema multilateral más inclusivo y efectivo, pero no detalla de manera específica cómo asegurar la representación diversa de partes interesadas del Sur Global y otros grupos históricamente subrepresentados en los procesos de toma de decisiones globales.

Uno de los ejes centrales de nuestras diversas recomendaciones fue el de enfatizar en la necesidad de que para avanzar en el cumplimiento  de un modelo de múltiples partes interesadas que tenga como base a la participación significativa que garantice inclusión. Esto incluye, por ejemplo, proporcionar avisos adecuados y sistemas de acreditación accesibles. Además, enfatizamos que la participación remota no debe ser la única opción; se deben proporcionar opciones de participación robustas, incluidas el apoyo para viajes y visados, y que los foros se realicen en lugares accesibles y en entornos que protejan las libertades fundamentales.

Esto es especialmente importante considerando que el proceso de consultas no ha garantizado la plena participación de sociedad civil conforme hemos expresado en declaraciones anteriores.

Garantías de Transparencia y Rendición de Cuentas en los Procesos ligados a Iniciativas de Desarrollo:

Uno de los aspectos clave que resaltamos en nuestras recomendaciones -y que no ha sido abordado en el pacto- es la necesidad de fortalecer los mecanismos de transparencia y rendición de cuentas en los programas de desarrollo financiados por la ONU y otros organismos internacionales. En nuestras observaciones, enfatizamos que estos programas deben someterse a evaluaciones técnicas y de derechos humanos antes de su implementación. Además, los proyectos de financiamiento deben hacerse públicos, y deben establecerse mecanismos de monitoreo y evaluación durante y después de la ejecución de dichos programas.

La falta de transparencia en el diseño y ejecución de estos programas puede facilitar la implementación de tecnologías de vigilancia que, en lugar de promover el desarrollo, ponen en riesgo las libertades individuales. Investigaciones basadas en evidencia señalan una tendencia preocupante en la que las tecnologías y metodologías utilizadas por donantes bilaterales y agencias de financiamiento internacional tienden hacia prácticas de vigilancia, a menudo a expensas de los derechos humanos, en especial el derecho a la privacidad y la protección de los datos personales.

Es fundamental que los procesos de financiamiento y desarrollo sean transparentes y que las propuestas de financiamiento sean públicas y sujetas a evaluaciones técnicas y de derechos humanos antes de su implementación. Además, se deben establecer mecanismos de monitoreo que aseguren la supervisión continua durante y después de la implementación de estas iniciativas.

Relación con otros Instrumentos Internacionales

El Pacto por el Futuro y el Global Digital Compact (GDC) destacan varios aspectos positivos relacionados con la protección de datos, subrayando la necesidad de garantizar que la tecnología se utilice de manera que respete los derechos humanos, especialmente en lo que respecta a la privacidad. Sin embargo, es crucial considerar la reciente adopción de la Convención de las Naciones Unidas contra el Cibercrimen, mencionada en el Pacto, que plantea preocupaciones significativas en este contexto.

Uno de los aspectos más alarmantes de esta Convención es el intercambio transfronterizo de datos, que se permite sin las salvaguardas adecuadas. El tratado autoriza a los países a recopilar y compartir datos a través de fronteras para una amplia gama de delitos «graves», lo que incluye la vigilancia electrónica. Aunque, no establece condiciones claras sobre proporcionalidad o estándares de derechos humanos que deban respetarse en estos procedimientos.

Es importante prestar atención a cómo dialogarán estos instrumentos y abogar por la mayor protección a partir de principios de derechos humanos del pacto aplicados a la protección de datos.

Próximos Pasos: Implementación y retos de Desigualdades Globales

Con la adopción del GDC y el Pacto por el Futuro, el reto siguiente recae en su implementación. En ese sentido, es fundamental reconocer que el Pacto no operará sobre una base homogénea. Los diferentes niveles de desigualdad global—reflejados en la falta de legislación adecuada basada en derechos humanos, la debilitación de las instituciones públicas y los retrocesos democráticos—implicarán desafíos particulares en cada contexto.

Este proceso de implementación deberá ser monitoreado muy de cerca, entendiendo que, si bien el Pacto establece principios que permiten exigir responsabilidades a los Estados, la efectividad de estos dependerá de los mecanismos que cada país adopte para llevarlos a cabo. Es necesario que los Estados avancen en mecanismos de implementación que aseguren la participación de múltiples partes interesadas, prioricen las necesidades de sus comunidades locales, y sean capaces de aplicar estos principios de acuerdo con las realidades específicas de cada contexto. Sólo a través de un enfoque flexible, contextualizado y centrado en los derechos humanos, se podrá construir un futuro digital inclusivo y equitativo.

Informes, índices y estudios: ¿qué sabemos realmente sobre el uso de IA en América Latina?

El desarrollo de nuevas tecnologías basadas en Inteligencia Artificial muestra un avance vertiginoso en distintas partes del mundo. Solo en 2022, según el último reporte publicado por el Instituto de Inteligencia Artificial de Stanford, fueron presentadas más de 62 mil patentes a nivel global, lo que representa un incremento de 62,7% respecto de 2021.

Estas tecnologías comenzaron a ser implementadas en las redes sociales que usamos, son la base de las recomendaciones que recibimos en los servicios de streaming, e incluso comenzaron a inmiscuirse en las agendas de uno de los servicios de mensajería más utilizados en América Latina, como un nuevo contacto con el que dialogar. Pero el sector privado no es el único en implementar estas tecnologías. Desde el sector público comenzó a implementarse en áreas tan disímiles como la seguridad, la intermediación laboral, la prevención de la deserción escolar, la gestión de trámites e, incluso, las tareas de vigilancia e inteligencia a partir de fuentes abiertas. Y hemos analizado varios de esos despliegues por las autoridades.

Esta alta actividad de desarrollo derivó en iniciativas que buscaron acompañar ese proceso de distintas maneras. Desde el sector público, han surgido iniciativas como los planes o estrategias de IA, que buscan impulsar su desarrollo, principalmente desde el poder ejecutivo. En paralelo, legisladores han presentado múltiples proyectos de ley, algunos de los cuales están en tratamiento en la actualidad. Organismos internacionales como la OCDE o la UNESCO también han desarrollado directrices y recomendaciones para impulsar el uso ético de estas tecnologías, promoviendo principios para orientar políticas y proyectos de ley.

Frente a este torbellino de actividad, es propicio contar con herramientas que permitan establecer un panorama general a partir de dimensiones que contemplen una perspectiva de derechos humanos en torno al uso y regulación de la IA. Estas herramientas pueden ser de utilidad como mecanismos de monitoreo y para trazar una línea de referencia que permitan análisis futuros. A continuación, presentamos algunas de ellas.

Metodología de evaluación del estadio de preparación de la UNESCO

En el marco de la implementación de la Recomendación sobre la ética de la inteligencia artificial, la UNESCO generó la Metodología de evaluación del estadio de preparación (RAM, por sus siglas en inglés), una herramienta que, como su nombre lo indica, busca determinar la situación en la que se encuentran los países donde será implementada la Recomendación. Se trata de una iniciativa de implementación voluntaria, a pedido de los estados interesados en conocer su situación.

La metodología consta de cinco dimensiones: Jurídica/Regulatoria, Social/Cultural, Económica, Científica/Educativa y Tecnológica/de Infraestructura. Dentro de cada dimensión, las preguntas se agrupan en diferentes categorías las que, a la vez, se desglosan en indicadores y subindicadores específicos. Los indicadores incluyen índices tanto cualitativos como cuantitativos, lo que la UNESCO resalta como un factor diferenciador de la RAM respecto de otros índices.

Como resultado, la UNESCO publica un “informe país”, que proporciona un panorama detallado en función de las dimensiones analizadas. La evaluación se está aplicando en más de cincuenta países a nivel global y ya finalizó y presentó cerca de una decena de informes, como el de Chile en enero y México en julio de 2024.

Índice Global de Inteligencia Artificial Responsable

El Índice Global de Inteligencia Artificial Responsable (GIRAI, por sus siglas en inglés) es una herramienta que busca proporcionar un punto de referencia para evaluar el progreso hacia una IA “responsable” en todo el mundo. El programa parte de una definición operativa, que define a la IA responsable como el “diseño, desarrollo, despliegue y gobernanza de la IA de una manera que respete y proteja todos los derechos humanos y defienda los principios de la ética de la IA a través de cada etapa del ciclo de vida de la IA y la cadena de valor”. El desarrollo del índice fue liderado por el centro de pensamiento africano Global Center on AI Governance, con apoyo de múltiples instituciones públicas.

La metodología de índice contempla tres dimensiones en su medición. Ellas son: “Derechos humanos e IA”, que mide el grado en que los países toman medidas para proteger derechos involucrados en estas tecnologías; “Gobernanza responsable”, que mide cómo los países establecen herramientas como leyes, estándares técnicos o marcos de política pública; y “Capacidades de IA responsable”, que miden las capacidades en los países para avanzar en los compromisos y agendas de desarrollo de inteligencia artificial responsable. Derechos Digitales participó del desarrollo de esta metodología.

El índice acaba de publicar su primera versión, con datos sobre 24 países de América Latina y el Caribe. Aunque según el índice hay mucho en qué progresar, esta línea de base sirve como antecedente para los esfuerzos de incidencia por una IA responsable.

Inteligencia Artificial e Inclusión: el método deinvestigación de Derechos Digitales

Desde 2019, Derechos Digitales ha implementado su línea de trabajo en Inteligencia Artificial e Inclusión, para indagar acerca de casos de uso de tecnologías basadas en IA por parte de múltiples estados en América Latina. Para estas investigaciones, desarrollamos una metodología basada en criterios de derechos humanos, a partir de cinco dimensiones: Contexto nacional de implementación; Contexto regulatorio e institucional; Infraestructura de datos; Proceso de la toma de decisión; y Diseño tecnológico. Cada una de estas dimensiones, a la vez, es analizada según principios de efectividad y legitimidad.

Al momento, han sido publicados seis estudios de caso: dos en Brasil, sobre el Sistema Nacional de Empleo y el Auxilio de Emergencia durante la pandemia, dos en Chile, sobre el Sistema Alerta Niñez y el Sistema predictivo del delito urbano, uno en Uruguay, sobre la gestión de información de salud durante la pandemia de COVID-19, y otro en Colombia, acerca del uso de IA en la justicia constitucional con el proyecto PretorIA. Todos los casos están disponibles en el sitio de Inteligencia Artificial e Inclusión, junto con material de resumen de los hallazgos más relevantes.

Esta iniciativa continúa en Derechos Digitales, en un momento en que estas aplicaciones parecen solo expandirse en la región. Próximamente publicaremos cuatro nuevos casos, sobre experiencias en Argentina, México, Paraguay y Colombia. Con esto, daremos una importante panorámica sobre la forma en que estos despliegues son implementados en distintos niveles de gobierno, nacional o subnacional, tanto en los poderes ejecutivo como el judicial.

Trabajar en coalición: condición necesaria para desarrollar metodologías confiables

Las metodologías mencionadas derivan en distintos productos, tales como informes, índices y estudios de caso, que permiten monitorear el avance en la implementación y regulación de la IA en América Latina, además de otras partes del mundo. Esto representa un aporte para conocer el escenario global y comparado al que nos enfrentamos. Más allá de su utilidad, resaltamos la necesidad de generar no solamente metodologías de monitoreo, sino de formar coaliciones entre organizaciones de la sociedad civil y la academia, para la producción y el mejoramiento de este tipo de herramientas, como también para su uso y problematización, con el objetivo de contar con formas de medición más fiables, que contemplen componentes de derechos humanos y consideraciones sobre el rol de la sociedad en el despliegue de las tecnologías que pueden afectarle.

Además, el rol de coaliciones puede ser central a la hora de impulsar políticas de acceso a la información sobre el uso de IA por parte de los Estados y de promover mejores prácticas y estándares de transparencia y participación. Dada la opacidad con la que se implementan muchas de estas políticas, que como característica habitual presentan manejos cuestionables de datos personales y escasos espacios abiertos a la participación, es a través del trabajo conjunto desde pericias y puntos de vista diversos que podemos impulsar decisiones verdaderamente responsables sobre el uso de las tecnologías.

Inteligencia Artificial en América Latina: Regulación no significa protección

Ha pasado medio año desde la última vez que observamos lo que ocurre en América Latina en materia de regulación de inteligencia artificial. Al igual que las tecnologías, que se expanden, desarrollan y se popularizan, aunque no a la misma velocidad, las regulaciones en la región también han progresado. Como es esperable, no se trata de sucesos aislados en el mundo, sino parte de una tendencia global que ya tiene algunos hitos significativos en el primer mundo, que amenazan con convertirse en modelos para realidades muy distintas.

Europa: ¿modelos a seguir?

A mediados de mayo, el Consejo de Europa adoptó el primer tratado internacional sobre inteligencia artificial, marcando un hito significativo en la regulación de esta tecnología emergente.

El Convenio establece requisitos de transparencia y supervisión adaptados a riesgos específicos, incluyendo la identificación de contenidos generados por IA. Las partes deben identificar, evaluar, prevenir y mitigar riesgos, y considerar moratorias o prohibiciones si la IA es incompatible con los derechos humanos. También se garantiza la rendición de cuentas y el respeto a la igualdad y la privacidad. Además, deben asegurar recursos legales y garantías procesales para las víctimas de violaciones de derechos humanos e informar a quienes interactúan con estos sistemas. El tratado requiere medidas para que la IA no socave las instituciones democráticas. El convenio incluye un mecanismo de seguimiento mediante una Conferencia de las Partes y exige un mecanismo de supervisión independiente, sensibilización pública y consultas con múltiples partes interesadas.

En tanto, después de una larga y tensa negociación, en marzo el Parlamento Europeo aprobó una ley histórica para regular la inteligencia artificial en la Unión Europea, en un movimiento pionero a nivel global. Este acto legislativo, conocido como la Ley de Inteligencia Artificial o «AI Act», tiene como objetivo establecer un marco regulatorio robusto para la inteligencia artificial, abordando preocupaciones tanto de innovación como de ética y derechos.

 La nueva reglamentación prohíbe ciertas aplicaciones de inteligencia artificial que violan los derechos ciudadanos, como sistemas biométricos invasivos y la creación de bases de datos de reconocimiento facial mediante la captura indiscriminada de imágenes. Además, los sistemas de IA de alto riesgo deben evaluar y mitigar riesgos, ser transparentes y sujetos a supervisión humana.

Sin embargo, no todo es celebración. Críticas desde la sociedad civil han dado cuenta de que la AI Act está llena de vacíos legales y defectos que podrían socavar su eficacia en la protección del espacio cívico y el Estado de derecho. En particular, se han destacado fallas, excepciones y vacíos que podrían convertir las prohibiciones contenidas en la Ley en meras declaraciones vacías, sin efecto real.  

América Latina y los “nuevos” modelos

Volviendo a la realidad regional, ha sido medio año de interesantes y preocupantes sucesos. Algunas de las propuestas que ya hemos mencionado han seguido su curso, con la continuación de la discusión en Brasil y una propuesta de reemplazo en Costa Rica, que simplifica y mantiene la propuesta más bien como un proyecto marco. Más de un proyecto en Argentina y alguno en México dan cuenta de la tendencia a presentar iniciativas, con muy variables contenidos y perspectivas de convertirse en ley.

Otros han avanzado más. El Perú, ejemplo de la primera ley sobre inteligencia artificial en la región a mediados de 2023, de limitado alcance por sí sola, ha visto recientemente la publicación de un reglamento para la ley, sometido a comentarios públicos. El especialista Carlos Guerrero destacaba las carencias técnicas de la propuesta reglamentaria, dando cuenta de las dificultades prácticas en la implementación de medidas que hagan efectivas las obligaciones asociadas al desarrollo de la IA.

En Colombia, en tanto, logró algo de tracción un proyecto de ley, originado en la Cámara de Representantes para regular la inteligencia artificial. En audiencia ante la Comisión primera, la Fundación Karisma destacó la necesidad de mejor comprensión del panorama antes de regular, como también la conveniencia de una mayor interacción con distintas partes interesadas, en línea con su profundo llamado a la participación ciudadana en estos procesos. Por cierto, un llamado que vale la pena reforzar frente a la serie de proyectos de ley sobre IA que han proliferado también en el Senado.

En Chile, en tanto, después de un proyecto de ley de la Cámara que había encontrado críticas y resistencia, el Ejecutivo envió su propio proyecto de ley de regulación integral de la inteligencia artificial, suscrito por once ministerios. El proyecto define los sistemas de IA de manera amplia para aplicar sus obligaciones a proveedores, implementadores, importadores, distribuidores y representantes autorizados en el país, definiendo distintos roles en la cadena de suministro de IA y centrándose más en el uso que en tecnologías específicas.

En comparación con la legislación de la Unión Europea y la regulación de los Estados Unidos, el proyecto establece un enfoque reactivo en lugar de preventivo. Se clasifican los sistemas de IA en categorías de riesgo, desde inaceptable hasta sin riesgo evidente, y se aplican prohibiciones y reglas específicas para cada categoría, incluyendo casos como la prohibición de análisis biométrico en tiempo real en espacios públicos. Se promueve la autorregulación de las empresas en la evaluación, de manera que cada empresa clasifique el riesgo de sus sistemas en base al listado que elabore un nuevo Consejo Asesor de IA.

El proyecto incluye medidas para incentivar la innovación, especialmente entre las pymes y las startups. Se proponen sandboxes regulatorios, como espacios de pruebas y validación para sistemas de IA, gestionados por entidades públicas como la eventual Agencia de Protección de Datos Personales. El Consejo Asesor de IA tendría así un papel clave en la identificación de sistemas de alto riesgo y limitado riesgo, así como en la elaboración de normativas. La eventual Agencia también tendría responsabilidad en la supervisión y aplicación de la ley.

Si bien buena parte del proyecto chileno suena heredado de otros esfuerzos como la AI Act, el gobierno chileno ha reconocido que tanto los intereses económicos como la seguridad pública son factores clave en la aproximación a la adaptación local. Esto es causal de alarma: aunque hay un criterio pragmático en no fijar obligaciones estrictas previas al funcionamiento en un mercado reducido como el chileno, se abandona una aproximación precautoria de derechos fundamentales. El problema se exacerba al notar la excepción a las reglas de la ley que se extiende, de manera general, a la seguridad nacional, y separadamente, a la aplicación en la seguridad pública para usos tales como el reconocimiento facial automatizado. Así, la oportunidad de una moratoria protectora de derechos no solo es desaprovechada, sino expresamente rechazada.

Las disputas que vienen

A medida que la regulación de la inteligencia artificial avanza en América Latina, surgen preocupaciones sobre la protección de los derechos fundamentales. La excepción a las reglas de la ley para la seguridad nacional y la falta de participación cívica en la implementación y supervisión podrían debilitar la capacidad de la regulación para salvaguardar los derechos de los ciudadanos.

Es fundamental trabajar en la promoción de regulaciones que fomenten la transparencia, la rendición de cuentas y la participación ciudadana en la toma de decisiones sobre el desarrollo y uso de esta tecnología emergente, con el objetivo de garantizar un equilibrio adecuado entre la innovación tecnológica y la protección de los derechos humanos. Derechos Digitales se encargará de participar activamente en las discusiones legislativas relacionadas con la inteligencia artificial, por lo que puedes esperar análisis más detallados sobre varias de estas propuestas.

Inteligencia artificial más allá de la polarización

La edad avanza y llegamos a un punto en la vida en que vemos con curiosidad que las cosas se repiten. Convivimos por décadas con un tecno-optimismo que nos hizo ciegas a la complejidad implicada en el desarrollo tecnológico. Discursos sobre el potencial de internet para facilitar el acceso a todo – la cultura, el conocimiento, la información, la educación, etc. – olvidaban que esas mismas tecnologías no se diseñan, ni se implementan en el vacío. Un escándalo tras la exposición de cómo las principales potencias mundiales utilizaban la misma infraestructura de internet para meterse en las comunicaciones privadas de todo el mundo – incluidos jefes de Estado – fue necesario para traernos de vuelta a la tierra. Sí, las tecnologías digitales pueden y han generado mayor democratización en algunos ámbitos de la vida y para algunas personas. Pero no, no se trata de una panacea que nos va a salvar de todos los males del mundo. Al contrario, puede exacerbar algunos de esos males.

Entra 2024 – 11 años desde las lecciones dejadas por las revelaciones de Snowden –, pero parece que retrocediéramos en el tiempo. Se reemplaza “internet” por “IA” y nuevamente se multiplican expectativas sobre los potenciales beneficios (en este caso, rara vez comprobados) de esta innovadora tecnología. Incluso, frente a críticas sobre su implementación y crecientes evidencias de sus impactos en el ejercicio de derechos, se apuesta a cómo nos ayudará a superar problemas históricos y estructurales que van desde la crisis climática hasta el acceso a salud de calidad y la inclusión de personas con discapacidad. Hay quienes dicen, incluso, que la IA ayudará a combatir la desinformación – quizás ignorando u olvidando que las decisiones algorítmicas automatizadas por detrás de la priorización de contenidos en las plataformas de redes sociales están entre las raíces del caos informativo en la esfera pública digital.

Una “inteligencia” socialmente construida

Lo que se conoce como IA hoy se refiere, en gran medida, a un conjunto de procesos y técnicas que permiten a un sistema computacional hacer cálculos estadísticos capaces de identificar patrones y a partir de ellos, predecir comportamientos. Podría parecer obvio, pero es importante resaltar que pese a la referencia a la inteligencia humana, este tipo de sistema está lejos de tener una capacidad crítica o empática, por ejemplo.

Ellos dependen de al menos (i) la disponibilidad de bases de datos que permitan “entrenar” determinados modelos matemáticos para sacar inferencias, (ii) la existencia de masas de trabajadoras clasificando y etiquetando estas bases de datos según diferentes criterios, (iii) el desarrollo de los modelos algorítmicos responsables de los cálculos, y (iv) una interfaz para la interacción con las usuarias finales o con otros sistemas. Para que la IA exista es necesaria también una infraestructura física, compuesta por cables de telecomunicación, satélites, centros de datos, súper computadoras con extrema capacidad de procesamiento, baterías, etc.

Más allá de la idea de automatización, cada uno de esos procesos implica un conjunto de decisiones humanas influidas por aspectos culturales, éticos, históricos y sociales y, en algunos casos, afectada por factores políticos y económicos. Como en el caso de cualquier tecnología, la IA no es neutral y tampoco fruto de cualquier tipo de magia.

Como sintetiza el investigador de la Universidad de Edinburg, Ben Williamson: esos sistemas materializan formas particulares de percibir el mundo y a su vez pueden influenciar y modelar la manera como las personas actúan en el mundo. Académicas feministas hace mucho apuntan a ese aspecto. La australiana Judy Wajcman, por ejemplo, ha explorado ampliamente cómo las relaciones de género se encuentran materializadas en las tecnologías – que no solo incorporan nociones de masculinidad y femineidades socialmente construidas, sino que luego pasan a ser parte en la construcción del significado de tales conceptos. Y Ruha Benjamin, profesora en la Universidad de Princeton, a su vez, presenta la idea de diseño discriminatorio al identificar cómo las jerarquías raciales son normalizadas en la producción tecnológica.

Por otro lado, tal como el diseño y la implementación de las tecnologías y la IA son permeadas por factores culturales y sociales, también lo son sus usos. Aplicaciones y sistemas desarrollados para ciertos fines, pueden muy bien ser utilizados para otros y los ejemplos abundan. Al contrario de una idea determinista de que los sistemas producirían por sí mismos ciertos resultados – positivos o negativos – en la sociedad, se trata de pensar que los usos de las tecnologías son múltiples y que están en constante interacción con los contextos en que son implementadas.

IA: ¿para el bien, o para el mal?

No es posible, por lo tanto, hablar de una AI for good, o “IA para el bien”. Ese tipo de idea además de mostrar como los aprendizajes, aunque dolorosos, pueden no ser duraderos, refleja nociones deterministas y simplistas sobre las tecnologías que perjudican las importantes discusiones sobre su gobernanza.

El énfasis en el (supuesto) objetivo de determinado sistema – como si hubiera fines legítimos “para el bien” que justificaran el no cumplimiento de determinadas obligaciones –, opera como una cortina de humo que nos distrae de los procesos productivos por detrás de su desarrollo y despliegue. Antes de emprender la imposible tarea de enumerar despliegues positivos o negativos de IA, como si las mismas nociones de “bien” y “mal” fueran estáticas y universales, nuestros líderes deberían reforzar los principios acordados en el marco internacional de derechos humanos a todas las etapas de producción de IA.

Eso implica garantizar que las bases de entrenamiento cumplan con estándares de protección de datos; que las personas que trabajan en la cadena de producción de la IA – sea en la extracción de minerales usados para la creación de productos tecnológicos, sea en el etiquetado de datos – reciban una compensación justa por su trabajo y tengan observados sus derechos laborales; que los data centers obedezcan la legislación ambiental; que las personas indígenas sean consultadas de manera previa antes de intervenciones que puedan impactar sus derechos. Algunas de estas recomendaciones incluimos en el insumo de Derechos Digitales al reporte intermedio del Órgano Asesor sobre IA de la Organización de las Naciones Unidas.

No hay magia

Ningún “bien” puede derivar de la vulneración indebida de derechos garantizados. Adoptar una perspectiva de derechos humanos al enfrentar los desafíos de la gobernanza de IA significa avanzar en mecanismos para lidiar con situaciones complejas y concretas. Tal compromiso debe ir mucho más allá de la creación de principios éticos o declaraciones vacías, pero garantizar, por ejemplo, que las empresas y los Estados sean debidamente responsabilizados en el caso de abusos derivados del desarrollo o despliegue de IA.

El marco de legalidad, necesidad y proporcionalidad es una buena referencia tanto para la resolución de conflictos, como para guiar la digitalización de manera que dichos procesos no impliquen ni un incremento en el deterioro ambiental o reemplacen necesarias inversiones en infraestructura básica de educación, salud, entre otras. Además, resulta fundamental llevar a cabo estudios de impacto en derechos humanos con una participación amplia y diversa para guiar decisiones de diseño y despliegue.

El avance de los Objetivos de Desarrollo Sostenible, la “modernización”, “progreso” o la “participación en la economía digital” no pueden ser excusas para la promoción de tecnología de manera irresponsable. La transformación social y la superación de desigualdades siempre dependerá de compromisos sostenidos de los Estados y del apoyo y participación de las distintas partes interesadas. La realidad muestra y reitera que no existen las fórmulas mágicas.