Regulación de la IA en Brasil: media sanción para un proyecto de ley que seguirá en discusión

El Senado de Brasil dio media sanción, el pasado martes 10 de diciembre, a un proyecto de ley para regulación de la Inteligencia Artificial. Se trata del PL 2.338/23, que tiene por objetivo establecer normas generales para la “gobernanza responsable” de sistemas de Inteligencia Artificial (IA). Se trata de un proyecto que, de ser finalmente aprobado por ambas cámaras, puede sentar un antecedente determinante para la regulación de IA en otros países de la región.

Este proyecto adopta un sistema de riesgos inspirado, en parte, en la reciente Ley de Inteligencia Artificial de la Unión Europea. El proyecto fue acordado tras un extenso proceso de debates bicamerales donde la presencia y aportes de la academia, el sector privado y la sociedad civil fue clave.

Sin ser ley aún, el caso brasileño merece ser observado de cerca en el resto de la región, en especial de cara a la influencia excesiva que ciertos actores -como el sector de las Big Tech- tuvo al modular ciertos derechos y medidas de protección de derechos que perdieron potencia en el texto aprobado en el Senado.

Pese a todo, esta media sanción es oportuna para repasar cómo fue el proceso de construcción de este proyecto que será ley, y rescatar algunas críticas emitidas desde la sociedad civil.

¿Cómo se llegó hasta aquí?

La media sanción de este proyecto de ley marca el cierre de un proceso que se extendió por casi tres años, iniciado en febrero de 2022 con la creación de la Comisión Especial para la Regulación de la IA (CJSUBIA) por parte de la presidencia del Senado. Esta comisión trabajó durante todo 2022 y emitió un dictamen basado principalmente en el proyecto de ley 2.338/23, que sirvió como insumo clave para la versión final.

En agosto de 2023, se creó la Comisión Temporal Interna sobre la IA (CTIA), donde representantes del Senado debatieron el proyecto, presentaron enmiendas y lograron consolidar una versión final. Este texto fue llevado a la sesión plenaria de la cámara alta el martes 10 de diciembre, donde fue aprobado con media sanción tras un debate que duró apenas dos horas.

Desde Derechos Digitales seguimos este proceso desde la creación del proyecto de ley unificado, en la CJSUBIA, donde presentamos nuestros aportes en audiencias públicas, en mayo de 2022. En el marco de dicho proceso generamos un análisis detallado sobre la composición sectorial, no sólo de las audiencias, sino de todos los espacios de participación de esa comisión, y detectamos una amplia representación del sector privado en todos los espacios, sea tanto a partir de los aportes enviados directamente por representantes de las empresas, como a través de las cámaras y asociaciones que las aglutinan. Si tomamos todas las participaciones como un conjunto, 31% correspondieron al sector privado, mientras que la sociedad civil apenas estuvo representada en el 19% del total. La academia fue otro de los espacios de mayor participación, con cerca del 26% del total.

Este hallazgo fue confirmado, por su cuenta, por el medio Intercept Brasil que en un reporte reciente visibilizó la desproporcionada presencia de representantes de empresas de tecnología en las listas de oradores que participaron de las audiencias de la CTIA y que asistieron “camuflados” como parte de otros sectores que no representaban esas afiliaciones. Esto pone en evidencia los esfuerzos realizados por las empresas de tecnología para influir en el desarrollo del debate de una ley crítica que sentará un antecedente determinante para otras discusiones existentes en la región, un factor que fue denunciado desde distintos espacios, no solo en cuanto al lobby poco transparente, sino también en cuanto a su incidencia intensa para dilatar la votación en el legislativo.

Un vistazo a lo que sabemos que se aprobó hasta ahora

Lo bueno: un modelo de gobernanza que promete

Uno de los puntos de mayor resistencia fue la propuesta de creación de una autoridad única para la IA, punto que fue finalmente eliminado del proyecto aprobado en el Senado. En su lugar, esta nueva versión establece la creación del Sistema Nacional de Regulación y Gobernanza de la Inteligencia Artificial (SIA), compuesto por múltiples dependencias de la administración pública en materia de protección de datos y organismos de regulación sectorial, siendo su coordinadora la Agencia Nacional de Protección de Datos (ANPD) de Brasil (Cap IX).

El SIA tendría la responsabilidad de generar nuevos criterios para la clasificación de un sistema de IA como de alto riesgo (art. 15), lo novedoso es cómo, en el marco de ese trabajo, dicha autoridad deberá garantizar un proceso de participación social así como efectuar análisis previos de impacto normativo (art. 16).

Este sistema de gobernanza puede tener un rol central en la protección de derechos en tanto que, por una parte, desconcentra el rol regulatorio de una tecnología en desarrollo en distintas entidades públicas preexistentes, así como por otro lado supone el fortalecimiento de entidades como la ANPD para robustecer su papel en materia de protección de datos aplicable a los sistemas de IA.

Lo regular: evaluaciones de riesgos “voluntarias”

Una de las principales modificaciones en la última versión del texto es la decisión de que la “evaluación preliminar”, es decir, una autoevaluación emprendida por los “agentes de IA” –quienes desarrollan, proveen o adquieren este tipo de sistemas–, previo al despliegue de sus tecnologías de IA en el mercado, será opcional para la mayoría de los sistemas de IA, excepto los sistemas de IA generativa y de propósito general, para los que la evaluación preliminar sí será obligatoria.

Esta autoevaluación debería apuntar a determinar el nivel de riesgo que representa el sistema de IA de cara a la protección de la seguridad de la información, la transparencia y la ética en su funcionamiento, entre otros (art. 12). Para promover su adopción por el ecosistema de la IA, el proyecto propone un incentivo para que, quienes lo realicen, puedan obtener beneficios en el caso de recibir sanciones administrativas (art. 12, núm. 1). Habrá que ver si el incentivo es suficiente para volver una medida voluntaria en una práctica corriente en el ecosistema de la IA.

Lo malo: derechos de las personas trabajadoras y derechos de autor debilitados

Los derechos de las personas trabajadoras de plataformas mediadas por algoritmos quedaron mermados luego de sucesivas enmiendas al texto aprobado en el Senado. El Consejo Nacional de Derechos Humanos de Brasil (CNDH) recomendó (i) que se incluyera como sistemas de IA de alto riesgo a los que distribuyen tareas y evalúan el comportamiento de los trabajadores y trabajadoras, (ii) retomar disposiciones que fomenten la creación y valoración de empleos, la capacitación continua de trabajadores y trabajadoras y (iii) la necesidad de desarrollar evaluaciones de impacto algorítmico.

Algo de esto se incluyó, pero no todo. Por ejemplo, el art. 14 inciso III reconoce que los mecanismos de “reclutamiento, selección, filtrado, evaluación de candidatos, toma de decisiones sobre promociones o finalización de relaciones laborales, evaluación del desempeño y comportamiento de las personas afectadas en los ámbitos de empleo, gestión de trabajadores y acceso al empleo por cuenta propia” sí son sistemas de IA de alto riesgo. Y en lo relativo a los derechos laborales, se menciona la importancia de la capacitación y fomento del empleo, pero el proyecto al día de hoy no fija garantías de supervisión humana y protección y estabilidad reforzada frente a eventuales despidos motivados por la adopción de la IA en el mundo del trabajo, tal y como había sido pedido por la CNDH.

Respecto de los derechos de autor, hubo una tensión entre los reclamos impulsados principalmente por agrupaciones de artistas y las empresas tecnológicas. El conflicto se centró, principalmente, en las disposiciones del artículo 65 enfocado en la remuneración de los titulares del derecho de autor en los casos en que las empresas que desarrollen sistemas de IA utilicen contenidos que están protegidos.

Los grandes centros de datos –que tienen la materia prima para el desarrollo de sistemas de IA- pedían por su cuenta la eliminación de la remuneración en tanto que desviará recursos esenciales para el desarrollo de otros centros de datos y la inversión tecnológica en el país. Sin embargo, el artículo 65 aprobado en el Senado es un victoria a medias, pues si bien reconoce el derecho a la remuneración, pese a las objeciones del sector privado, dicho pago beneficiará en buena medida a los titulares de los derechos de autor que “tengan condiciones efectivas de negociar”, lo que beneficiará en la práctica a las grandes empresas titulares de los derechos de autor –como grandes editoriales, o empresas discográficas- más que a los titulares de pequeño tamaño y sin músculo para negociar.

Un proyecto que avanza; próximos pasos

Durante la votación en sesión plenaria, representantes del Senado tuvieron espacio para generar declaraciones acerca del proceso y de la importancia que implica contar con una regulación sobre Inteligencia Artificial. Esta media sanción fue celebrada, por ejemplo, por la Coalición de Derechos en la Red, una agrupación que nuclea más de 50 organizaciones de activistas por los derechos digitales.

Si bien manifestaron sus preocupaciones frente a algunos puntos, la Coalición consideró esta aprobación como una victoria “frente al lobby de las empresas de tecnología, la industria y la extrema derecha”. Por su parte, la organización Data Privacy Brasil aseguró que la sesión del Pleno del Senado “se caracterizó por la madurez democrática y la construcción de consensos para la aprobación de la legislación”.

Si bien el proyecto plantea algunos interrogantes a futuro, especialmente frente a la merma de ciertos derechos como los de las personas trabajadoras y los de las y los creadores y artistas, su media sanción da lugar a la continuidad en el debate sobre cómo regular la IA en América Latina atendiendo las visiones y necesidades del contexto local.

En 2025 el proyecto será debatido en la Cámara de Diputados, por lo que esperamos que entonces las victorias reconocidas no sean echadas atrás, y se aproveche esa última oportunidad para desarrollar garantías asociadas a la protección del medio ambiente en tanto que la IA es una tecnología sedienta y demandante en materia de consumo eléctrico, así como la recuperación de las protecciones para los trabajadores y trabajadoras que fueron advertidas por la CNDH.

Aprendizajes de la gobernanza de Internet para la gobernanza de la IA: Un enfoque de participación significativa desde América Latina

Este informe, realizado por Derechos Digitales, analiza cómo las lecciones aprendidas en espacios de gobernanza de internet —como la Cumbre Mundial de la Sociedad de la Información (CMSI) y NETmundial— pueden aplicarse para fortalecer la gobernanza de la inteligencia artificial (IA) desde una perspectiva latinoamericana. El estudio identifica buenas prácticas para garantizar una participación significativa, entendida como un proceso inclusivo y sustantivo que va más allá de la mera presencia física o virtual, e incorpora la voz de actores históricamente subrepresentados, especialmente la sociedad civil. Entre estas prácticas destacan: consultas abiertas en varios idiomas, acceso efectivo y equitativo a los foros, representación diversa, promoción de la equidad de género e interseccionalidad, adaptación constante de agendas y creación de espacios regionales con conexión a los debates globales.

El informe también identifica obstáculos que persisten en los actuales espacios de gobernanza de la IA, como la falta de claridad en los mecanismos de inclusión, oportunidades limitadas para incidir en las agendas, ausencia de apoyos financieros para la participación presencial y criterios poco transparentes para integrar a la sociedad civil en grupos de trabajo. Ante esto, propone recomendaciones a Estados y actores facilitadores, incluyendo: mayor transparencia operativa; eliminación de barreras materiales, financieras y lingüísticas; fortalecimiento de la participación multisectorial; enfoques centrados en derechos humanos; y procesos de consulta diversos y accesibles. El documento enfatiza que lograr una participación significativa requiere voluntad política y un compromiso sostenido para que las decisiones sobre IA reflejen el interés público y protejan los derechos fundamentales.

Descargar documento

Inteligencia artificial, derechos humanos y justicia social: Construyendo futuros desde América Latina

Este informe, realizado por Derechos Digitales, con el apoyo del International Development Research Centre (IDRC), recoge los resultados de un encuentro regional celebrado en Río de Janeiro entre representantes de la sociedad civil, academia y organismos internacionales, para debatir sobre el desarrollo, gobernanza y regulación de la inteligencia artificial (IA) desde una perspectiva de derechos humanos y justicia social. A partir de los hallazgos del Global Index on Responsible AI (GIRAI) y de diversas experiencias latinoamericanas, el documento identifica los principales desafíos que plantea la IA, incluyendo la vigilancia masiva, la desinformación, la falta de transparencia, la reproducción de desigualdades y la ausencia de marcos regulatorios inclusivos. También examina los riesgos socioambientales y laborales vinculados a la infraestructura tecnológica necesaria para su funcionamiento.

El informe propone estrategias y oportunidades para que América Latina construya alternativas no hegemónicas y socialmente transformadoras, priorizando la diversidad, la cooperación internacional, la producción de conocimiento local y la inclusión de comunidades marginadas en los debates. Plantea la necesidad de marcos regulatorios con enfoque de derechos, estándares regionales comunes y metodologías de evaluación adaptadas a los contextos locales. Asimismo, subraya el papel clave de la sociedad civil y la academia para incidir en foros internacionales, fiscalizar el cumplimiento de compromisos y promover tecnologías que respondan a las necesidades sociales desde perspectivas feministas, interseccionales y decoloniales, buscando que la IA contribuya al bien común y no profundice las desigualdades existentes.

Descargar documento

Inteligencia Artificial en el Estado: Estudio colectivo sobre experiencias y riesgos para los derechos humanos

Este informe, realizado por Derechos Digitales, con el apoyo del International Development Research Centre (IDRC), analiza diez casos de uso de inteligencia artificial y sistemas automatizados por parte de gobiernos en América Latina en áreas como empleo, protección social, seguridad pública, justicia, educación y gestión de trámites. A partir de una metodología común, el estudio examina el contexto nacional, regulatorio, técnico y operativo de cada caso, identificando riesgos para derechos fundamentales como la privacidad, la no discriminación, el acceso a la información y el debido proceso. Se observan problemáticas transversales como la baja calidad e interoperabilidad de datos, la opacidad en la toma de decisiones y la dependencia de proveedores privados, así como impactos diferenciados en grupos en situación de vulnerabilidad.

Si bien estos sistemas se presentan como innovaciones para optimizar políticas públicas, el informe advierte que su implementación suele carecer de evaluaciones previas de impacto en derechos humanos, mecanismos de rendición de cuentas y salvaguardas efectivas frente a sesgos y errores. La investigación subraya la necesidad de marcos normativos claros, prácticas de transparencia proactiva y estándares éticos vinculantes para que el uso de IA en el sector público sea compatible con las obligaciones estatales en materia de derechos humanos, evitando reproducir desigualdades o vulnerar garantías fundamentales.

Descargar documento

Fiscal Watson: Estudio sobre el uso de inteligencia artificial en la fiscalía general de la nación en Colombia

Fiscal Watson: Estudio sobre el uso de inteligencia artificial en la fiscalía general de la nación en Colombia. Este informe, realizado por Fundación Karisma, bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), analiza la implementación de “Fiscal Watson”, una herramienta basada en IBM Watson Explorer y Watson Discovery adquirida por la Fiscalía General de la Nación desde 2017 para asociar casos en el Sistema Penal Oral Acusatorio (SPOA). El estudio examina su funcionamiento, el marco regulatorio y las implicaciones para derechos como el debido proceso, la privacidad y la protección de datos, en un contexto de escasa regulación sobre inteligencia artificial en el sector judicial.

Aunque la Fiscalía presenta a Fiscal Watson como una innovación para agilizar investigaciones, el informe evidencia la falta de análisis de impacto en derechos, transparencia sobre su uso y claridad respecto al manejo y almacenamiento de datos, especialmente ante posibles alojamientos en infraestructura de terceros como IBM. También advierte sobre la calidad de los datos que alimentan el sistema, la dependencia tecnológica respecto a un proveedor privado y los riesgos para la soberanía de datos judiciales. El documento plantea la necesidad urgente de estándares claros de evaluación de riesgos, principios éticos, transparencia y mecanismos de monitoreo para que el uso de IA en la justicia sea compatible con las obligaciones estatales de garantizar derechos fundamentales.

Descargar documento

SATPE: Análisis del sistema predictivo para la prevención del abandono escolar del estado de guanajuato, México

SATPE: Análisis del sistema predictivo para la prevención del abandono escolar del estado de Guanajuato, México.
Este informe, realizado por Paola Ricaurte y Jacobo Nájera, bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), analiza la implementación del Sistema de Actuación Temprana para la Permanencia Escolar (SATPE) en Guanajuato, un modelo predictivo basado en datos educativos que busca identificar y prevenir el riesgo de abandono escolar en estudiantes de secundaria. A través de revisión documental, solicitudes de transparencia y entrevistas a actores clave, el estudio examina el contexto institucional, regulatorio, tecnológico y social en el que se despliega esta herramienta.

Aunque el SATPE es valorado por fortalecer la conciencia sobre el abandono escolar y ofrecer evidencia para la toma de decisiones, el informe advierte que su efectividad depende de insertarlo en una estrategia educativa más amplia que atienda las causas estructurales del problema. Persisten desafíos en la calidad e interoperabilidad de los datos, la transparencia en su uso, la rendición de cuentas y la mitigación de sesgos, así como en la articulación entre actores públicos, privados e internacionales. El documento ofrece recomendaciones para garantizar que políticas basadas en datos respeten los derechos humanos y respondan a los contextos complejos de México y América Latina.

Descargar documento

Boti: Estudio sobre el chatbot con procesamiento del lenguaje natural del Gobierno de la Ciudad de Buenos Aires, Argentina

Boti: Estudio sobre el chatbot con procesamiento del lenguaje natural del Gobierno de la Ciudad de Buenos Aires, Argentina.
Este informe, realizado por la Asociación por los Derechos Civiles (ADC) bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), examina el funcionamiento de Boti, el chatbot con procesamiento de lenguaje natural del Gobierno de la Ciudad de Buenos Aires. A través de entrevistas, análisis técnico y revisión normativa, el estudio analiza las implicancias de esta herramienta para la privacidad, la protección de datos personales y la rendición de cuentas en el uso de tecnologías automatizadas en el sector público.

Aunque Boti ha sido ampliamente reconocido como una innovación en la atención ciudadana, especialmente durante la pandemia, el informe evidencia preocupaciones relevantes sobre el consentimiento informado, la gestión de datos sensibles y la participación de actores privados sin mecanismos claros de supervisión. En un contexto de creciente digitalización de los servicios estatales, el documento plantea recomendaciones para fortalecer la gobernanza de la inteligencia artificial desde una perspectiva de derechos humanos.

Descargar documento

EmpleaPY: Investigación sobre la automatización de procesos para las políticas de empleo en Paraguay

EmpleaPY: Investigación sobre la automatización de procesos para las políticas de empleo en Paraguay
Este informe, realizado por TEDIC bajo la dirección de Derechos Digitales y con el apoyo del International Development Research Centre (IDRC), analiza el uso de herramientas algorítmicas en la plataforma EmpleaPY del gobierno paraguayo, diseñada para intermediar ofertas laborales en el sector privado. A partir de entrevistas, revisión documental y análisis técnico, el estudio identifica oportunidades y riesgos vinculados a la automatización de políticas públicas de empleo, con especial atención al contexto normativo y social del país.

Aunque la plataforma aún no implementa inteligencia artificial avanzada, el informe advierte sobre la ausencia de mecanismos de transparencia, evaluación de impacto y protección de datos personales, en un entorno donde no existe una legislación integral en la materia. Frente a la intención del Estado de incorporar herramientas más sofisticadas de análisis y selección en futuras versiones, el documento ofrece recomendaciones clave para garantizar que el desarrollo tecnológico no profundice desigualdades ni vulnere derechos fundamentales.

Descargar documento

Una voz firme para poner los derechos humanos en el centro de la inteligencia artificial

En un contexto donde la tecnología avanza a una velocidad sin precedentes, el Foro de Gobernanza de Internet de América Latina y el Caribe (LACIGF) se ha convertido en un espacio fundamental para discutir las complejas intersecciones entre innovación y derechos humanos. Este año, desde Derechos Digitales nos sumamos nuevamente al evento, reafirmando nuestro compromiso con la defensa de los derechos humanos en el entorno digital y abogando por una gobernanza de Internet inclusiva y equitativa.

En la instancia participamos en dos sesiones clave donde abordamos temáticas sobre derechos humanos, tecnología e inteligencia artificial. Conversamos con organizaciones de la sociedad civil, junto a la comunidad técnica, la academia, representantes de gobiernos y sector privado para discutir sobre los derechos digitales en la región. Acá tuvimos la oportunidad de debatir sobre los desafíos para el acceso universal a derechos fundamentales en el entorno digital en América Latina, junto al auge de las tecnologías emergentes como la inteligencia artificial, repasando dónde está situada hoy, marcos regulatorios y sus riesgos. De hecho, presentamos estudios de caso sobre distintas implementaciones de inteligencia artificial en el sector público en algunos países latinoamericanos.

Estudios de caso en América Latina: IA como instrumento de políticas públicas

Si bien la IA tiene el “potencial” de mejorar aspectos de la vida cotidiana, su implementación en ámbitos críticos ha comenzado a exponer serias vulneraciones de derechos. En particular, el uso de IA en la implementación de políticas públicas sin garantías suficientes, puede conllevar riesgos significativos para la privacidad, la libertad de expresión y, sobre todo, el bienestar de las personas. Desde Derechos Digitales, mediante una investigación activa desde el 2019, hemos realizado estudios de caso -seis publicados y cuatro en desarrollo-, a partir de los cuales hemos identificado preocupaciones profundas sobre la manera en que la implementación de la IA está afectando el ejercicio de los derechos humanos en nuestra región.

Los casos que hemos analizado muestran que, en países como Brasil, Chile, Uruguay y Colombia, la IA se ha implementado en iniciativas gubernamentales que afectan de manera directa la vida de millones de personas. En Brasil, por ejemplo, el Sistema Nacional de Empleo utiliza IA para perfilar a personas desempleadas y ofrecerles posibles ofertas de trabajo. En Chile, el Sistema Alerta Niñez busca generar un “índice de riesgo” para predecir la vulneración de derechos de niñas, niños y adolescentes. En Uruguay, la aplicación móvil Coronavirus UY fue implementada para gestionar la pandemia; y en Colombia, el proyecto PretorIA se utiliza para definir la prioridad en casos de tutela judicial de derechos fundamentales en la Corte Constitucional.

Aunque estas iniciativas parecen responder a desafíos importantes, nuestros hallazgos revelan serios riesgos. En primer lugar, la IA aplicada a estas áreas no siempre demuestra ser eficaz. En muchos casos, los resultados obtenidos no justifican la implementación de sistemas de IA. En segundo lugar, la mayoría de estas iniciativas se desarrollan sin marcos normativos adecuados o sin instituciones de supervisión fuertes que garanticen la protección de los derechos de las personas.

Resultados preliminares: ¿a qué nos enfrentamos?

Nuestros estudios, hasta la fecha, nos han llevado a identificar varios problemas recurrentes. Primero, la efectividad de los sistemas de IA para resolver los problemas de política pública es limitada. Esto resulta particularmente problemático en áreas como la seguridad, donde un mal uso de estas tecnologías puede tener consecuencias graves para la libertad y la privacidad de las personas.

Además, hemos detectado falencias en el manejo de datos personales. En muchos casos, no existe un consentimiento informado adecuado. En Brasil, por ejemplo, no se requiere consentimiento para reutilizar los datos recolectados por el Sistema Nacional de Empleo, lo que permite su tratamiento por parte de nuevos agentes privados sin el conocimiento de las personas afectadas. En Chile, el consentimiento para el uso de datos de niñas, niños y adolescentes no es claro ni explícito en el Sistema Alerta Niñez. Esta falta de transparencia y protección de los datos personales abre la puerta a prácticas de recolección y uso de datos que podrían vulnerar los derechos de las personas.

Otro problema clave es la escasa participación ciudadana en el diseño y la evaluación de esta implementación. En general, los estados de la región carecen de instancias donde la ciudadanía y las partes interesadas puedan formar parte de los procesos de regulación, reglamentación e implementación. Por eso, es fundamental destacar que la participación es un derecho humano. Diversos instrumentos en derechos humanos de alcance interamericano y universal dan cuenta de este derecho político de la ciudadanía y coinciden en apuntar a la participación como un habilitador para tener voz y voto sobre aspectos críticos que impactan a nivel individual y colectivo.

El camino hacia una IA ética y centrada en las personas

A pesar de estos desafíos, es posible construir una inteligencia artificial que respete y promueva los derechos humanos en nuestra región. Pronto lanzaremos un Latin America in a Glimpse: Reflexiones para una IA comunitaria y feminista, que explora iniciativas comunitarias apuntadas a reapropiar a la IA desde los contextos culturales y sociales de América Latina haciendo frente a modelos extractivistas y coloniales.

Este informe se basa en conversaciones con investigadoras, tecnólogas y activistas de distintos países que trabajan en enfoques alternativos para la IA desde temas como: género, territorio y educación. Un reporte que ilustra las diversas potencialidades de esta tecnología desde una mirada ética y justa que apunta al beneficio colectivo para y desde el sur global.

Nuestra labor continúa. A través de estos estudios y del nuevo informe Latin America in a Glimpse, buscamos aportar evidencias que contribuyan a generar un cambio en la forma en que los gobiernos utilizan la inteligencia artificial, además de mostrar alternativas comunitarias para su uso. Queremos que la IA en América Latina sea una herramienta para el beneficio de las personas, y no un mecanismo que profundice las desigualdades estructurales y genere nuevas formas de exclusión. En Derechos Digitales, seguiremos trabajando para contribuir a que los derechos humanos estén al centro de las políticas relacionadas a la IA, con garantías jurídicas y procesos que prioricen la participación ciudadana y los contextos locales.

Pacto Global Digital: Gobernanza tecnológica y la protección de los derechos humanos

En nuestra publicación anterior, analizamos el Pacto Global Digital (GDC), un documento clave que se centra en los desafíos digitales globales y que forma parte del Pacto para el Futuro como uno de sus anexos. A pesar de que el GDC aborda específicamente aspectos relacionados con la gobernanza digital, el Pacto por el Futuro en su conjunto también trata temas esenciales relacionados a la protección de datos, los derechos humanos, la igualdad de género, y el acceso a internet. Es fundamental que comprendamos cómo estos dos documentos se complementan y responden a los desafíos globales emergentes.

El Pacto para el Futuro fue adoptado por consenso en medio de tensiones geopolíticas – y tras varias versiones que circulaban informalmente hasta el día anterior a su adopción- el día 22 de Septiembre del corriente.

Género desde una Mirada Interseccional: Omisiones que implican retrocesos

Un aspecto esencial que sigue siendo insuficientemente tratado en el Pacto para el Futuro es la incorporación de la perspectiva de género desde una mirada interseccional. A pesar de las referencias a la brecha digital de género, no se abordan con suficiente profundidad las múltiples formas de discriminación que enfrentan las mujeres y personas de género diverso, particularmente en el contexto digital.

Aunque uno de los objetivos clave del Pacto «no dejar a nadie atrás» (leave no one behind), ninguno de los documentos menciona explícitamente a las personas LGBTQIA+ en su ámbito de protección. Esto es preocupante, dado que esta comunidad enfrenta impactos diferenciados. Un ejemplo claro es la violencia de género facilitada por la tecnología (TFGBV), que afecta tanto a mujeres cis y tránsgenero como a personas con diversas identidades de género y orientaciones sexuales. Ignorar esta realidad deja a estas comunidades expuestas a sufrir violencias en línea y explotación de sus datos, subrayando la urgencia de políticas digitales verdaderamente inclusivas.

Además, es necesario considerar otras dimensiones interseccionales, como la raza, la clase social, y la ubicación geográfica, entre otras, que agravan las formas de exclusión y vulnerabilidad que también se manifiestan en el entorno digital. Las personas que enfrentan múltiples formas de discriminación suelen ser las más afectadas por las brechas digitales y, a su vez, las más expuestas a los riesgos y abusos facilitados por la tecnología. Es crucial que cualquier enfoque sobre género en el ámbito digital no sólo contemple a las mujeres cis, sino que abarque a todas las identidades de género e incluya a la necesidad de tomar en cuenta los contextos para asegurar una verdadera inclusión.

Inteligencia Artificial y Aplicaciones Militares y Contraterrorismo: La Falta de Salvaguardias Claras

El Pacto reconoce los riesgos y las oportunidades de las tecnologías emergentes, incluida la inteligencia artificial (IA), y subraya la importancia de la cooperación internacional para evaluar estos riesgos, especialmente en sus aplicaciones militares. Sin embargo, el Pacto no establece limitaciones explícitas ni mecanismos de supervisión independiente que aseguren que la IA sea utilizada de manera que respete los derechos humanos. En nuestras contribuciones al proceso enfatizamos la necesidad de responder a estos riesgos con un marco regulatorio que se base en recomendaciones clave, como la Resolución 48/4 del Consejo de Derechos Humanos, y el informe del Alto Comisionado de las Naciones Unidas para los Derechos Humanos, que abogan por una moratoria o incluso la prohibición de herramientas de IA que no puedan ser utilizadas en cumplimiento con el derecho internacional de derechos humanos.

Además, realizamos un llamado a que se establezcan limitaciones claras en las acciones de contraterrorismo, garantizando que las respuestas de los Estados partan desde un enfoque balanceado de derechos Esto es crucial para evitar legislaciones que puedan ser aplicadas de manera arbitraria y que arriesgue los derechos fundamentales, como la libertad de expresión y la asociación, como hemos analizado en investigaciones relacionadas. El Pacto, aunque aborda los riesgos de aplicación de tecnologías, no define estas salvaguardias, lo cual abre la puerta a posibles abusos en nombre de la seguridad.

Fortalecimiento del Modelo de Múltiples partes interesadas: Desafíos y Oportunidades en la Gobernanza Global

El Pacto reconoce la importancia de un sistema multilateral más inclusivo y efectivo, pero no detalla de manera específica cómo asegurar la representación diversa de partes interesadas del Sur Global y otros grupos históricamente subrepresentados en los procesos de toma de decisiones globales.

Uno de los ejes centrales de nuestras diversas recomendaciones fue el de enfatizar en la necesidad de que para avanzar en el cumplimiento de un modelo de múltiples partes interesadas que tenga como base a la participación significativa que garantice inclusión. Esto incluye, por ejemplo, proporcionar avisos adecuados y sistemas de acreditación accesibles. Además, enfatizamos que la participación remota no debe ser la única opción; se deben proporcionar opciones de participación robustas, incluidas el apoyo para viajes y visados, y que los foros se realicen en lugares accesibles y en entornos que protejan las libertades fundamentales.

Esto es especialmente importante considerando que el proceso de consultas no ha garantizado la plena participación de sociedad civil conforme hemos expresado en declaraciones anteriores.

Garantías de Transparencia y Rendición de Cuentas en los Procesos ligados a Iniciativas de Desarrollo:

Uno de los aspectos clave que resaltamos en nuestras recomendaciones -y que no ha sido abordado en el pacto- es la necesidad de fortalecer los mecanismos de transparencia y rendición de cuentas en los programas de desarrollo financiados por la ONU y otros organismos internacionales. En nuestras observaciones, enfatizamos que estos programas deben someterse a evaluaciones técnicas y de derechos humanos antes de su implementación. Además, los proyectos de financiamiento deben hacerse públicos, y deben establecerse mecanismos de monitoreo y evaluación durante y después de la ejecución de dichos programas.

La falta de transparencia en el diseño y ejecución de estos programas puede facilitar la implementación de tecnologías de vigilancia que, en lugar de promover el desarrollo, ponen en riesgo las libertades individuales. Investigaciones basadas en evidencia señalan una tendencia preocupante en la que las tecnologías y metodologías utilizadas por donantes bilaterales y agencias de financiamiento internacional tienden hacia prácticas de vigilancia, a menudo a expensas de los derechos humanos, en especial el derecho a la privacidad y la protección de los datos personales.

Es fundamental que los procesos de financiamiento y desarrollo sean transparentes y que las propuestas de financiamiento sean públicas y sujetas a evaluaciones técnicas y de derechos humanos antes de su implementación. Además, se deben establecer mecanismos de monitoreo que aseguren la supervisión continua durante y después de la implementación de estas iniciativas.

Relación con otros Instrumentos Internacionales

El Pacto por el Futuro y el Global Digital Compact (GDC) destacan varios aspectos positivos relacionados con la protección de datos, subrayando la necesidad de garantizar que la tecnología se utilice de manera que respete los derechos humanos, especialmente en lo que respecta a la privacidad. Sin embargo, es crucial considerar la reciente adopción de la Convención de las Naciones Unidas contra el Cibercrimen, mencionada en el Pacto, que plantea preocupaciones significativas en este contexto.

Uno de los aspectos más alarmantes de esta Convención es el intercambio transfronterizo de datos, que se permite sin las salvaguardas adecuadas. El tratado autoriza a los países a recopilar y compartir datos a través de fronteras para una amplia gama de delitos «graves», lo que incluye la vigilancia electrónica. Aunque, no establece condiciones claras sobre proporcionalidad o estándares de derechos humanos que deban respetarse en estos procedimientos.

Es importante prestar atención a cómo dialogarán estos instrumentos y abogar por la mayor protección a partir de principios de derechos humanos del pacto aplicados a la protección de datos.

Próximos Pasos: Implementación y retos de Desigualdades Globales

Con la adopción del GDC y el Pacto por el Futuro, el reto siguiente recae en su implementación. En ese sentido, es fundamental reconocer que el Pacto no operará sobre una base homogénea. Los diferentes niveles de desigualdad global—reflejados en la falta de legislación adecuada basada en derechos humanos, la debilitación de las instituciones públicas y los retrocesos democráticos—implicarán desafíos particulares en cada contexto.

Este proceso de implementación deberá ser monitoreado muy de cerca, entendiendo que, si bien el Pacto establece principios que permiten exigir responsabilidades a los Estados, la efectividad de estos dependerá de los mecanismos que cada país adopte para llevarlos a cabo. Es necesario que los Estados avancen en mecanismos de implementación que aseguren la participación de múltiples partes interesadas, prioricen las necesidades de sus comunidades locales, y sean capaces de aplicar estos principios de acuerdo con las realidades específicas de cada contexto. Sólo a través de un enfoque flexible, contextualizado y centrado en los derechos humanos, se podrá construir un futuro digital inclusivo y equitativo.