Temática: Inteligencia artificial
Inteligencia Artificial y participación en América Latina: Las estrategias nacionales de IA
Sistema Nacional de Empleo y la gestión automatizada de la desocupación laboral en Brasil
Sistema Alerta Niñez y la predicción del riesgo de vulneración de derechos de la infancia en Chile
PretorIA y la automatización del procesamiento de causas de derechos humanos en Colombia
Decisiones automatizadas en la función pública en América Latina Una aproximación comparada a su aplicación en Brasil, Chile, Colombia y Uruguay
Herramientas útiles para la toma de decisiones sobre implementación de IA
Acá encontrarás algunos materiales que hemos desarrollado, con la intención de guiar y facilitar la adopción de una perspectiva de derechos humanos en el desarrollo e implementación de políticas públicas que incluyan tecnologías de Inteligencia Artificial.
Inteligencia artificial y derechos humanos: algunos conceptos básicos
Breve glosario de conceptos fundamentales en el campo de la IA.

Políticas públicas e Inteligencia Artificial: recomendaciones básicas para el diseño de instancias de participación efectivas
Listado de recomendaciones para asegurar una participación activa, representativa y efectiva.

Políticas públicas e inteligencia artificial: Una lista de buenas prácticas para tener en consideración
Análisis de iniciativas destacadas en el desarrollo e implementación de políticas públicas que incorporan IA

Cómo implementar un sistema automatizado de toma de decisiones: preguntas para humanos que lidian con máquinas que lidian con humanos
Preguntas clave para la implementación de políticas públicas que incluyen el despliegue de IA

Inteligencia Artificial, políticas públicas y derechos humanos: una bibliografía recomendada
Publicaciones, artículos para profundizar en el uso de Inteligencia Artificial en políticas públicas

Curso: Inteligencia Artificial y derechos humanos en políticas públicas – más allá de la privacidad
Desde Derechos Digitales, en conjunto con el CETyS de la Universidad de San Andrés, presentamos el curso “Inteligencia Artificial y derechos humanos en políticas públicas: más allá de la privacidad”.
Impartido originalmente entre febrero y marzo de 2022, este ciclo formativo reúne a destacadas figuras latinoamericanas del ámbito académico y de la sociedad civil, como Virgilio Almeida, Marlena Wisniak, Edson Prestes, Daniel Castaño, Maia Levy Daniel, Javier Barreiro, Cristina Pombo, Danielle Zaror Miralles, Michel de Souza Santos y Jamila Venturini.
A través de 9 videos, el curso ofrece una mirada integral sobre los impactos de la inteligencia artificial en la gestión pública y su relación con los derechos humanos, más allá de los debates habituales en torno a la privacidad.
Clases
- ¿Qué es inteligencia artificial?
- Inteligencia Artificial y derechos humanos
- Les damos la bienvenida
- Regulación de la IA en América Latina
- Del gobierno de algoritmos al gobierno por algoritmos
- Etapa de diagnóstico
- Etapa de diseño en iniciativas de uso de IA en el sector público
- Etapa de implementación en iniciativas de uso de IA en el sector público
- Etapa de evaluación en iniciativas de uso de IA en el sector público
Coronavirus.Uy: cinco lecciones a casi dos años de pandemia
Durante la emergencia sanitaria provocada por la pandemia Covid-19, en 2020 se desarrollaron diversas herramientas digitales como parte de políticas públicas estatales para detener el contagio. En Uruguay se diseñó e implementó Coronavirus.uy, la primera aplicación móvil de la región en respuesta a la pandemia, presentada a nivel internacional como una exitosa alianza público-privada.
El informe «El caso Coronavirus.Uy» analiza un primer periodo de la pandemia en América Latina, que abarcó desde marzo hasta diciembre de 2020. Es claro que durante 2021 la situación sanitaria en el mundo, y en Uruguay, ha cambiado drásticamente, no solo por los nuevos picos de contagio, hospitalizaciones y fallecimientos, sino por el avance en los planes de vacunación que se han adelantado de manera muy diferenciada en todos los países del mundo.
Qué es la aplicación Coronavirus.uy
Si bien el contexto cambió, el análisis de los primeros pasos en la implementación de la app brinda varias pautas sobre la necesidad una reflexión más detenida: cuáles han sido las tecnologías utilizadas; qué datos se recolectan y para qué; la importancia de contar con un marco legal para el tratamiento de datos; el rol del Estado y su vínculo con privados y sociedad civil.
El objetivo de Coronavirus.uy es proveer información pública relevante sobre estadísticas de contagio y sobre las medidas sanitarias vigentes, así como acompañar casos de posible infección por medio de recolección de información de autodiagnóstico por parte de las personas usuarias, proveer asistencia médica remota durante los periodos de confinamiento y, desde mediados de 2020, alertar a quienes han estado cerca de personas contagiadas. La app registra fecha de testeo, diagnóstico y recuperación de quienes han contraído la enfermedad.
El sistema apunta a reunir información de manera centralizada para dirigir acciones estatales tanto a nivel general como respecto de casos individuales, donde puede proveer desde recomendaciones de cuidado hasta atención vía telemedicina.
Hoy día, Coronavirus.uy tiene un rol fundamental en el Plan de Vacunación, tanto en su implementación como en la obtención de un certificado para presentar en distintas ocasiones. Es de destacar que Uruguay es el primer país de América del Sur en integrarse al sistema del certificado digital Covid de la Unión Europea, que habilita el intercambio de claves públicas de verificación. Además, es uno de los canales posibles —aunque no el más difundido— para completar el formulario de ingreso al país de personas uruguayas, residentes o extranjeras.
En la “Estrategia digital frente a la pandemia Covid-19” presentada por organismos de gobierno el 16 de diciembre 2021, se afirma que la aplicación Coronavirus.Uy tuvo 2.7 millones de descargas. Ademas, se activaron 1.7 millones de alertas de exposición que emitieron 63.000 alertas por proximidad y eventual seguimiento. Hasta entonces, se había descargado más de 62.000 certificados QR de vacunación.
¿Que puede salir mal en una app sanitaria?
En términos teóricos, no habría indicios para contestar afirmativamente. Tampoco en la presentación de la aplicación, tanto por la velocidad en que fue implementada como por los beneficios para el sistema sanitario uruguayo. Sin embargo, existen varios elementos de su proceso que pueden y deben ser revisados. A continuación, cinco acciones pendientes en el despliegue de Coronavirus.uy:
1. No se realizó un llamado público para su diseño y aplicación
El modelo de implementación y financiamiento fue mixto al estar involucrado el Estado y varios contribuyentes privados. La empresa Genexus lideró el proceso de desarrollo y luego la incorporacion de la API — o aplication protocol interface* — desarrollada por Google y Apple para que los Estados interesados desarrollaran sus propios sistemas de alerta por rastreo de proximidad.
Como observamos en otros países de la región, la participación del sector privado en el desarrollo de esta tecnología se realizó por trato directo y sin mediar evaluación competitiva entre distintas propuestas. En el caso de Coronavirus.uy, las empresas y colaboradores lo realizaron en forma honoraria. Meses después de la implementación de la API y sin la presentación de estudios que avalaran la eficacia de la tecnología, Genexus fue nuevamente contratada de manera directa para el desarrollo del sistema de agenda de vacunación.
2. No asegura la protección de datos sanitarios de las personas
Uruguay cuenta con una robusta legislación e institucionalidad vinculada a la protección de datos personales. Desde 2008, la Ley de Protección de Datos Personales reconoce que “la protección de datos personales es un derecho inherente a la persona humana comprendido en el artículo 72 de la Constitución de la República”. La ley fue actualizada en 2018 y en 2020, por la propia evolución tecnológica y en consonancia con los tratados internacionales firmados por el Estado uruguayo. Allí se incluyen aspectos regulatorios como la recolección y uso de datos de geolocalización. El marco legal establece que los datos vinculados a la salud son particularmente sensibles, pero identifica excepciones para su tratamiento en casos justificados.
Sin embargo — y a pesar de la información ofrecida a las usuarias de la app —, hay poca claridad sobre que tipo de accesos los distintos agentes involucrados en proveer la tecnología tienen a la información recolectada y que usos futuros podrían hacer de ellos. Mas allá de las protecciones establecidas, el Estado uruguayo no estuvo inmune a los recurrentes ataques cibernéticos registrados en la región. En febrero de 2021, por ejemplo, hubo un hackeo de Dirección Nacional de Identificación Civil que evidencia la existencia de potenciales fallas de seguridad.
Como punto positivo, en junio 2021, anunciado vía Twitter por uno de sus desarrolladores, la app pasó a funcionar únicamente con datos abiertos provistos por el Ministerio de Salud Pública.
3.No existe una evaluación de su impacto en los derechos humanos
Hace falta una mirada crítica del uso de tecnologías digitales para la gestión de la salud pública durante la pandemia. La premura con que se buscaron soluciones obliga, a casi dos años de pandemia, a evaluar si las medidas implementadas han sido eficaces.
En el caso de Coronavirus.uy: ¿han sido útiles para la gestión sanitaria por parte del gobierno? ¿Habían medidas alternativas menos invasivas en términos de recolección de datos que podrían haber sido implementadas? ¿Han garantizado a la ciudadanía protección en salud al tiempo que se protege su privacidad e identidad digital? Esta pregunta cobra aún mayor relevancia considerando que en junio 2021 comenzó la vacunación a adolescentes y, en las últimas semanas, a niños y a niñas, lo que implica un punto central a resolver y garantizar en relación a la protección de datos.
Cabe ademas cuestionarse sobre como la aplicación puede terminar facilitando otras formas de discriminación o incluso condicionantes para el acceso a servicios o derechos fundamentales, como ha ocurrido en otros países de la región.
4. No se consideró en su elaboración las brechas de conectividad
Por otro, si bien Uruguay lidera a nivel mundial la cobertura y calidad de conexión a internet, es innegable que las condiciones de acceso a tecnologías y de conectividad todavía son desiguales, limitando el alcance de los mecanismos digitales.
Según la Encuesta de Usos de las Tecnologías de la Información y las Comunicaciones 2020, un 83% del interior del país cuenta con acceso a internet desde algún dispositivo, mientras que en Montevideo el número asciende a 94%. Como punto a destacar, es que a diferencia de otras experiencias internacionales, Coronavirus.Uy permite ingresar más de una persona en su celular, aspecto que fue mejorado tempranamente en sus actualizaciones.
Asimismo, existen diferencias más marcadas respecto al uso de banda ancha en el hogar según nivel socioeconómico. Mientras el primer quintil de distribución de ingreso un 51% tiene acceso a internet en casa, en el quinto quintil el porcentaje se eleva a 86%.
Si se tiene preferencia por no usar Coronavirus.Uy y seguir los servicios en línea, implica mayor comodidad el uso una computadora, por lo que los hogares únicamente con celulares y tabletas quedan más limitados en poder elegir. Para el quinto quintil, la tenencia de computadora es de 74%. El 51% de los hogares de menos ingresos cuentan con otros dispositivos más allá del celular, es de destacar que de este conjunto un 20% accedió a través de políticas públicas, sea el Plan Ceibal o el Ibirapitá.
La dependencia a la app es notoria al estar en fase de seguimiento a la espera de un diagnóstico. Es la vía más rápida de acceso y la sugerida vía SMS cuando se espera un resultado, que por sus implicancias de aislamiento y contactos, suele esperarse con ansias.
5. No contó con participación de la sociedad civil
Finalmente, la aplicación Coronavirus.uy no cuenta con participación de la sociedad civil organizada sea del ámbito de la salud o los derechos digitales. Si bien cuenta con mecanismos de transparencia, como las múltiples peticiones que ha realizado la Red de Gobierno Abierto en Uruguay, la sociedad civil no ha sido debidamente considerada en la primera fase de implementación y desarrollo.
Para finalizar
La aplicación Coronavirus.uy ha transcurrido por varias actualizaciones y facilita los procesos, no es la única vía para resolver las gestiones vinculadas al Covid-19, pero si es una muy relevante, que sin dudas ha llevado a un porcentaje alto de descargas y con ello a una enorme base de datos sensibles. Por ese motivo, teniendo en cuenta la proyección del avance de la telemedicina y los eventos transcurridos en casi dos años de pandemia, exigen a la ciudadanía uruguaya reflexionar respecto a qué procesos son indispensables en la gestión de datos sensibles en la era digital.
De esta manera, la hipótesis de múltiples conflictos planteado por el informe “El caso Coronavirus UY” cobra especial vigencia, así como las reflexiones sacadas del análisis regional realizado por el Consorcio Al Sur en la publicación “Tendencias regionales en el despliegue de tecnologías en pandemia en América Latina: Reflexiones iniciales a partir de los datos del Observatorio Covid-19 de Al Sur”.
Inteligencia artificial 2021: desarrollos importantes en el marco legal internacional
Versão em português disponível
Gran parte de lo que se discute sobre inteligencia artificial (IA) nos remite a películas y libros de ciencia ficción. Robots muy humanoides y brillantes están en las fotos de muchas páginas que hablan de este tipo de tecnología. Daniel Leufer señala este y otros mitos en el uso y discusión de la IA en un sitio web que vale la pena revisar. A este mito de la representación se suma una definición muy amplia, que serían tecnologías dotadas de súper inteligencia, cuyo uso puede ser objetivo, sin prejuicios y que no podrían resolver nada más que un montón de cosas.
Pero lejos de estar cerca de los robots como en las películas de Steven Spielberg o en las protagonizadas por Will Smith, muchas partes de nuestras vidas ya se ven afectadas por el uso de la IA: ya sea por su uso por parte del Estado para llevar a cabo las más variadas tareas y en su toma de decisiones, o incluso por empresas.
Dos elementos del mito de la «gobernanza de la IA» nos llevan a algunas preguntas. Es cierto que muchos países de América Latina, como Colombia, Chile, Brasil y Uruguay, ya están regulando estrategias nacionales para hacer frente a la IA, además de intentar aprobar proyectos de ley específicos sobre regulación, como estamos viendo en las discusiones actuales.
En el caso de Brasil, el proyecto de ley 21/2020 ha recibido una serie de críticas mordaces, como la de Coalizão Direitos na Rede en esta semana, por su aprobación en la Cámara de Diputados sin una discusión efectiva con la sociedad, que implican un debilitamiento de las garantías existentes. En Europa, las discusiones también son candentes y la sociedad civil organizada está pidiendo una Ley de Inteligencia Artificial (EIA) que dé prioridad a los derechos fundamentales.
Esta semana, se lanzó el “Índice global de inteligencia artificial responsable”, un proyecto de Research ICT Africa y la Red Data 4 Development. Este índice tiene como objetivo rastrear la implementación de los principios de IA responsable en más de 120 países, a través de una red internacional de equipos de investigación independientes, para evaluar en qué grado se están aplicando los principios. El nombre del evento de lanzamiento transmite el deseo de gran parte de la sociedad: pasar de los principios a la práctica, ante tantos potenciales riesgos y violaciones de los derechos humanos.
Aquí, queremos analizar los nuevos desarrollos en el tema de la regulación de la IA dentro de los organismos internacionales, a los que se agregaron, por ejemplo, los principios de la OCDE sobre IA, que habían sido aprobados en 2019.
Impactos negativos y catastróficos, con graves riesgos para la privacidad y exigiendo acciones urgentes
Michelle Bachelet, Alta Comisionada de las Naciones Unidas para los Derechos Humanos, publicó recientemente un importante informe sobre los graves riesgos para la privacidad derivados del uso de herramientas de IA (A/HRC/48/31).
Según Bachelet, la creación de perfiles, la toma de decisiones automatizadas y las tecnologías de aprendizaje automático (machine learning) tienen impacto en el derecho a la privacidad y varios otros derechos que asociados, en al menos cuatro sectores específicos. Para los sectores de aplicación de la ley —seguridad nacional, justicia penal y gestión de fronteras— las implicaciones son múltiples. Por mencionar algunas: amplias bases de datos que dañan o restringen la privacidad, alta probabilidad de predicción para búsquedas, investigaciones y enjuiciamientos penales, sumado a una alta opacidad de los sistemas que impiden la verdadera rendición de cuentas del Estado en áreas que históricamente han sufrido de falta de transparencia.
El uso de la IA en el reconocimiento biométrico remoto (reconocimiento facial y de emociones) también es severamente criticado por el informe, ya que perjudica “la capacidad de las personas para vivir sus vidas sin ser observadas y tiene como resultado un efecto negativo directo en el ejercicio de los derechos a la libertad de expresión, reunión pacífica y asociación, así como libertad de circulación”.
El informe había sido solicitado por la ONU en 2015, en la Resolución 42/15, y se basó en una reunión con expertos en mayo de 2020, así como los aportes recibidos de una convocatoria específica para tal fin en 2021. Analiza el tema principalmente con base en el artículo 12 Declaración Universal de Derechos Humanos y en el artículo 17 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR).
Bachelet señala que el riesgo de discriminación derivado del uso de decisiones basadas en inteligencia artificial es muy alto. Enumera posibles enfoques para hacer frente a los desafíos, haciendo una serie de recomendaciones sobre el diseño y la implementación de salvaguardas para prevenir y minimizar los daños. Si bien las áreas de salud, educación, vivienda y servicios financieros necesitan un mayor escrutinio, según el informe, el área de identificación biométrica necesita con urgencia orientación para defender los derechos humanos.
Dos de las nueve recomendaciones de Bachelet a los Estados son muy significativas. En primer lugar, trata de prohibir expresamente las aplicaciones de IA que no respeten los derechos humanos. Asimismo, impone una moratoria en la venta y compra de sistemas de IA que representan un alto riesgo para los derechos humanos hasta que se adopten las protecciones adecuadas.
La segunda recomendación implica que los Estados prorroguen el uso del reconocimiento biométrico remoto en los espacios públicos, hasta que las autoridades puedan demostrar el cumplimiento de los estándares de privacidad, protección de datos y que no existen problemas de precisión e impactos discriminatorios. Es interesante notar que este tema de la moratoria del reconocimiento facial ya ha sido expresada en la narrativa 2020 producida por Bachelet sobre el impacto de las nuevas tecnologías en la promoción y protección de los derechos humanos en el contexto de las asambleas, incluidas las protestas pacíficas (A/HRC/44/24).
Las recomendaciones para empresas y Estados enfatizan la necesidad de la debida diligencia en todo el ciclo de los sistemas de IA, desde el diseño, desarrollo, implementación, venta, adquisición y operación, con un fuerte enfoque en las evaluaciones de impacto sobre los derechos humanos.
Impacto en la privacidad, vigilancia masiva y otros derechos humanos
En octubre de este año, el Consejo de Derechos Humanos de la ONU revisó la Resolución sobre el derecho a la privacidad en la era digital (A/HRC/RES/48/4). Este es un paso importante, considerando que no solo actualizó, sino que también dejó en claro los riesgos y peligros de adoptar IA. El nuevo texto fue presentado por Brasil y Alemania, tuvo una serie de reuniones informales entre Estados con la participación de la sociedad civil y fue aprobado por consenso. Si bien la revisión de la Resolución no fue más incisiva, no hay duda de que la resolución exige mayores esfuerzos a los Estados, principalmente, a respetar de inmediato el derecho a la privacidad y otros derechos humanos afectados.
La Resolución 48/4 reconoció que la IA puede plantear graves riesgos para el derecho a la privacidad, «especialmente cuando se utiliza para identificación, seguimiento, creación de perfiles, reconocimiento facial, predicción de comportamiento y para establecer puntuaciones para individuos». También solicita a los Estados que adopten medidas preventivas y remedios para las violaciones y abusos del derecho a la privacidad, comprendido el deber de adoptar medidas preventivas y reparadoras para las violaciones y abusos, incluidos los relacionados con el derecho a la privacidad, que pueden afectar a las personas, pero que tiene efectos particulares contra mujeres, niños y niñas, y personas en situación históricamente vulneradas. También enfatiza en que los Estados desarrollen y fortalezcan políticas públicas sensibles al género que promuevan y protejan el derecho de todas las personas a la privacidad.
Había una gran expectativa respecto a que esta resolución dejaría algunas cuestiones mejor delimitadas, sobre todo debido a la fuerte posición de la Alta Comisionada para los Derechos Humanos al proponer una moratoria sobre ciertas tecnologías de reconocimiento biométrico y facial. En particular, por la recomendación más fuerte para que los Estados cumplan con la moratoria en la compra y venta de sistemas de IA.
No obstante, entendemos que aún habrá novedades de esta resolución, dado que ordenó a la Alta Comisionada para los Derechos Humanos a presentar un informe escrito, hacia el 51° período de sesiones del Consejo de Derechos Humanos. Se espera que informe contemple las tendencias y desafíos en el tema, identificar y aclarar principios, salvaguardas y mejores prácticas de derechos humanos, asegurando una amplia participación de múltiples partes interesadas para su producción.
Aproximación a las recomendaciones éticas en IA
El 24 de noviembre de este año, la Conferencia General de la UNESCO adoptó la recomendación sobre la Ética de la Inteligencia Artificial. El documento, avalado por 193 países, presenta un preámbulo con más de 20 consideraciones, definiendo su ámbito de aplicación, propósitos, objetivos, valores, principios y áreas de aplicación.
Como valores, la recomendación de la UNESCO enumera: el respeto, la protección y la promoción de los derechos humanos, las libertades fundamentales y la dignidad humana, el florecimiento del medio ambiente y el ecosistema, la diversidad y la inclusión, sociedades pacíficas, justas e interconectadas. Los principios rectores son: proporcionalidad y no causar daño, seguridad y protección, justicia y no discriminación, sostenibilidad, derecho a la privacidad y protección de datos, supervisión y determinación humana, transparencia y explicabilidad, responsabilidad y rendición de cuentas, conciencia y alfabetización, además de gobernanza de múltiples partes interesadas.
Además, la Recomendación reúne 11 áreas principales de política pública y, entre ellas, una específica sobre evaluación de impacto ético (ethical impact assessment). A pesar de parecer un avance, entendemos que este punto puede ser preocupante y necesita mayor explicación. Primero, porque la evaluación de impacto ético antes mencionada tiene como uno de sus elementos la evaluación de impacto en derechos humanos. En este sentido, existe una posible superposición errónea de las dos herramientas, ya que la evaluación de los impactos sobre los derechos humanos es más amplia y profunda que la evaluación del impacto ético.
En segundo lugar, porque la herramienta de evaluación del impacto en los derechos humanos y la diligencia debida en materia de derechos humanos ya están presentes en los instrumentos jurídicos internacionales y “se han convertido en la herramienta más recomendada de la ONU para que las empresas comiencen el proceso continuo de debida diligencia en materia de derechos humanos”, según CELE, mientras que las directrices éticas carecen de «mecanismos de aplicación y definición: qué instituciones invocan y cómo empoderan a las personas», como sostiene la organización Artículo 19.
Aunque se trata de un gran comienzo, no basta con establecer recomendaciones éticas para el uso de tecnologías de IA. Como ya lo destacó María Paz Canales, “la ética no es suficiente, en Estados democráticos donde existe un compromiso normativo para promover y proteger los derechos humanos”. Es necesario darle más normatividad al uso de la IA, pues ya tiene efectos desastrosos para una parte de la población que ya es vulnerable.
Como señaló Daniel Leufer, citado al comienzo de este artículo, a pesar del auge de la ética de la IA cuando nos enfrentamos a peligros muy graves, un equilibrio entre beneficios y daños puede llevar a cuestionar un enfoque utilitario de la ética. Sin embargo, un enfoque centrado en los derechos humanos simplemente comienza con el punto de partida de que ciertos daños son inaceptables.
Si bien la recomendación de UNESCO proporciona un importante marco ético compuesto por valores y principios, debe entenderse como un complemento a las obligaciones internacionales de derechos humanos para orientar las acciones de los Estados en la formulación de su legislación, políticas u otros instrumentos relacionados con la IA, en conformidad con el derecho internacional ya vigente.