Temática: Inteligencia artificial

Curso: Inteligencia Artificial y derechos humanos en políticas públicas – más allá de la privacidad

Desde Derechos Digitales, en conjunto con el CETyS de la Universidad de San Andrés, presentamos el curso “Inteligencia Artificial y derechos humanos en políticas públicas: más allá de la privacidad”.

Impartido originalmente entre febrero y marzo de 2022, este ciclo formativo reúne a destacadas figuras latinoamericanas del ámbito académico y de la sociedad civil, como Virgilio Almeida, Marlena Wisniak, Edson Prestes, Daniel Castaño, Maia Levy Daniel, Javier Barreiro, Cristina Pombo, Danielle Zaror Miralles, Michel de Souza Santos y Jamila Venturini.

A través de 9 videos, el curso ofrece una mirada integral sobre los impactos de la inteligencia artificial en la gestión pública y su relación con los derechos humanos, más allá de los debates habituales en torno a la privacidad.

Clases

Coronavirus.Uy: cinco lecciones a casi dos años de pandemia

Durante la emergencia sanitaria provocada por la pandemia Covid-19, en 2020 se desarrollaron diversas herramientas digitales como parte de políticas públicas estatales para detener el contagio. En Uruguay se diseñó e implementó Coronavirus.uy, la primera aplicación móvil de la región en respuesta a la pandemia, presentada a nivel internacional como una exitosa alianza público-privada.

El informe «El caso Coronavirus.Uy» analiza un primer periodo de la pandemia en América Latina, que abarcó desde marzo hasta diciembre de 2020. Es claro que durante 2021 la situación sanitaria en el mundo, y en Uruguay, ha cambiado drásticamente, no solo por los nuevos picos de contagio, hospitalizaciones y fallecimientos, sino por el avance en los planes de vacunación que se han adelantado de manera muy diferenciada en todos los países del mundo.

Qué es la aplicación Coronavirus.uy

Si bien el contexto cambió, el análisis de los primeros pasos en la implementación de la app brinda varias pautas sobre la necesidad una reflexión más detenida: cuáles han sido las tecnologías utilizadas; qué datos se recolectan y para qué; la importancia de contar con un marco legal para el tratamiento de datos; el rol del Estado y su vínculo con privados y sociedad civil.

El objetivo de Coronavirus.uy es proveer información pública relevante sobre estadísticas de contagio y sobre las medidas sanitarias vigentes, así como acompañar casos de posible infección por medio de recolección de información de autodiagnóstico por parte de las personas usuarias, proveer asistencia médica remota durante los periodos de confinamiento y, desde mediados de 2020, alertar a quienes han estado cerca de personas contagiadas.  La app registra fecha de testeo, diagnóstico y recuperación de quienes han contraído la enfermedad.

El sistema apunta a reunir información de manera centralizada para dirigir acciones estatales tanto a nivel general como respecto de casos individuales, donde puede proveer desde recomendaciones de cuidado hasta atención vía telemedicina.

Hoy día, Coronavirus.uy tiene un rol fundamental en el Plan de Vacunación, tanto en su implementación como en la obtención de un certificado para presentar en distintas ocasiones. Es de destacar que Uruguay es el primer país de América del Sur en integrarse al sistema del certificado digital Covid de la Unión Europea, que habilita el intercambio de claves públicas de verificación. Además, es uno de los canales posibles —aunque no el más difundido— para completar el formulario de ingreso al país de personas uruguayas, residentes o extranjeras. 
 
En la “Estrategia digital frente a la pandemia Covid-19” presentada por organismos de gobierno el 16 de diciembre 2021, se afirma que la aplicación Coronavirus.Uy tuvo 2.7 millones de descargas. Ademas, se activaron 1.7 millones de alertas de exposición que emitieron 63.000 alertas por proximidad y eventual seguimiento. Hasta entonces, se había descargado más de 62.000 certificados QR de vacunación.

¿Que puede salir mal en una app sanitaria?

En términos teóricos, no habría indicios para contestar afirmativamente. Tampoco en la presentación de la aplicación, tanto por la velocidad en que fue implementada como por los beneficios para el sistema sanitario uruguayo. Sin embargo, existen varios elementos de su proceso que pueden y deben ser revisados. A continuación, cinco acciones pendientes en el despliegue de Coronavirus.uy:

1. No se realizó un llamado público para su diseño y aplicación

El modelo de implementación y financiamiento fue mixto al estar involucrado el Estado y varios contribuyentes privados. La empresa Genexus lideró el proceso de desarrollo y luego la incorporacion de la API — o aplication protocol interface* — desarrollada por Google y Apple para que los Estados interesados desarrollaran sus propios sistemas de alerta por rastreo de proximidad.

Como observamos en otros países de la región,  la participación del sector privado en el desarrollo de esta tecnología se realizó por trato directo y sin mediar evaluación competitiva entre distintas propuestas. En el caso de Coronavirus.uy, las empresas y colaboradores lo realizaron en forma honoraria. Meses después de la implementación de la API y sin la  presentación de estudios que avalaran la eficacia de la tecnología,  Genexus fue nuevamente contratada de manera directa para el desarrollo del sistema de agenda de vacunación.

2. No asegura la protección de datos sanitarios de las personas

Uruguay cuenta con una robusta legislación e institucionalidad vinculada a la protección de datos personales. Desde 2008, la Ley de Protección de Datos Personales reconoce que “la protección de datos personales es un derecho inherente a la persona humana comprendido en el artículo 72 de la Constitución de la República”. La ley fue actualizada en 2018 y en 2020, por la propia evolución tecnológica y en consonancia con los tratados internacionales firmados por el Estado uruguayo. Allí se incluyen aspectos regulatorios como la recolección y uso de datos de geolocalización. El marco legal establece que los datos vinculados a la salud son particularmente sensibles, pero identifica excepciones para su tratamiento en casos justificados. 

Sin embargo — y a pesar de la información ofrecida a las usuarias de la app —, hay poca claridad sobre que tipo de accesos los distintos agentes involucrados en proveer la tecnología tienen a la información recolectada y que usos futuros podrían hacer de ellos. Mas allá de las protecciones establecidas, el Estado uruguayo no estuvo inmune a los recurrentes ataques cibernéticos registrados en la región. En febrero de 2021, por ejemplo, hubo un  hackeo de Dirección Nacional de Identificación Civil que evidencia la existencia de potenciales fallas de seguridad.

Como punto positivo, en junio 2021, anunciado vía Twitter por uno de sus desarrolladores, la app pasó a funcionar únicamente con datos abiertos provistos por el Ministerio de Salud Pública.

3.No existe una evaluación de su impacto en los derechos humanos

Hace falta una mirada crítica del uso de tecnologías digitales para la gestión de la salud pública durante la pandemia. La premura con que se buscaron soluciones obliga, a casi dos años de pandemia, a evaluar si las medidas implementadas han sido eficaces.

En el caso de Coronavirus.uy: ¿han sido útiles para la gestión sanitaria por parte del gobierno? ¿Habían medidas alternativas menos invasivas en términos de recolección de datos que podrían haber sido implementadas? ¿Han garantizado a la ciudadanía protección en salud al tiempo que se protege su privacidad e identidad digital?  Esta pregunta cobra aún mayor relevancia considerando que en junio 2021 comenzó la vacunación a adolescentes y, en las últimas semanas, a niños y a niñas, lo que implica un punto central a resolver y garantizar en relación a la protección de datos.

Cabe ademas cuestionarse sobre como la aplicación puede terminar facilitando otras formas de discriminación o incluso condicionantes para el acceso a servicios o derechos fundamentales, como ha ocurrido en otros países de la región.

4. No se consideró en su elaboración las brechas de conectividad

Por otro, si bien Uruguay lidera a nivel mundial la cobertura y calidad de conexión a internet, es innegable que las condiciones de acceso a tecnologías y de conectividad todavía son desiguales, limitando el alcance de los mecanismos digitales.

Según la Encuesta de Usos de las Tecnologías de la Información y las Comunicaciones 2020, un 83% del interior del país cuenta con acceso a internet desde algún dispositivo, mientras que en Montevideo el número asciende a 94%. Como punto a destacar, es que a diferencia de otras experiencias internacionales, Coronavirus.Uy permite ingresar más de una persona en su celular, aspecto que fue mejorado tempranamente en sus actualizaciones.
 
Asimismo, existen diferencias más marcadas respecto al uso de banda ancha en el hogar según nivel socioeconómico. Mientras el primer quintil de distribución de ingreso un 51% tiene acceso a internet en casa, en el quinto quintil el porcentaje se eleva a 86%.

Si se tiene preferencia por no usar Coronavirus.Uy y seguir los servicios en línea, implica mayor comodidad el uso una computadora, por lo que los hogares únicamente con celulares y tabletas quedan más limitados en poder elegir. Para el quinto quintil, la tenencia de computadora es de 74%. El 51% de los hogares de menos ingresos cuentan con otros dispositivos más allá del celular, es de destacar que de este conjunto un 20% accedió a través de políticas públicas, sea el Plan Ceibal o el Ibirapitá.

La dependencia a la app es notoria al estar en fase de seguimiento a la espera de un diagnóstico. Es la vía más rápida de acceso y la sugerida vía SMS cuando se espera un resultado, que por sus implicancias de aislamiento y contactos, suele esperarse con ansias.

5. No contó con participación de la sociedad civil

Finalmente, la aplicación Coronavirus.uy no cuenta con participación de la sociedad civil organizada sea del ámbito de la salud o los derechos digitales. Si bien cuenta con mecanismos de transparencia, como las múltiples peticiones que ha realizado la Red de Gobierno Abierto en Uruguay, la sociedad civil no ha sido debidamente considerada en la primera fase de implementación y desarrollo.

Para finalizar

La aplicación Coronavirus.uy ha transcurrido por varias actualizaciones y facilita los procesos, no es la única vía para resolver las gestiones vinculadas al Covid-19, pero si es una muy relevante, que sin dudas ha llevado a un porcentaje alto de descargas y con ello a una enorme base de datos sensibles. Por ese motivo, teniendo en cuenta la proyección del avance de la telemedicina y los eventos transcurridos en casi dos años de pandemia, exigen a la ciudadanía uruguaya reflexionar respecto a qué procesos son indispensables en la gestión de datos sensibles en la era digital.

De esta manera, la hipótesis de múltiples conflictos planteado por el informe “El caso Coronavirus UY” cobra especial vigencia, así como las reflexiones sacadas del análisis regional realizado por el Consorcio Al Sur en la publicación “Tendencias regionales en el despliegue de tecnologías en pandemia en América Latina: Reflexiones iniciales a partir de los datos del Observatorio Covid-19 de Al Sur”.

Inteligencia artificial 2021: desarrollos importantes en el marco legal internacional

Versão em português disponível

Gran parte de lo que se discute sobre inteligencia artificial (IA) nos remite a películas y libros de ciencia ficción. Robots muy humanoides y brillantes están en las fotos de muchas páginas que hablan de este tipo de tecnología. Daniel Leufer señala este y otros mitos en el uso y discusión de la IA en un sitio web que vale la pena revisar. A este mito de la representación se suma una definición muy amplia, que serían tecnologías dotadas de súper inteligencia, cuyo uso puede ser objetivo, sin prejuicios y que no podrían resolver nada más que un montón de cosas.

Pero lejos de estar cerca de los robots como en las películas de Steven Spielberg o en las protagonizadas por Will Smith, muchas partes de nuestras vidas ya se ven afectadas por el uso de la IA: ya sea por su uso por parte del Estado para llevar a cabo las más variadas tareas y en su toma de decisiones, o incluso por empresas.

Dos elementos del mito de la «gobernanza de la IA» nos llevan a algunas preguntas. Es cierto que muchos países de América Latina, como Colombia, Chile, Brasil y Uruguay, ya están regulando estrategias nacionales para hacer frente a la IA, además de intentar aprobar proyectos de ley específicos sobre regulación, como estamos viendo en las discusiones actuales.

En el caso de Brasil, el proyecto de ley 21/2020 ha recibido una serie de críticas mordaces, como la de Coalizão Direitos na Rede en esta semana, por su aprobación en la Cámara de Diputados sin una discusión efectiva con la sociedad, que implican un debilitamiento de las garantías existentes. En Europa, las discusiones también son candentes y la sociedad civil organizada está pidiendo una Ley de Inteligencia Artificial (EIA) que dé prioridad a los derechos fundamentales.

Esta semana, se lanzó el “Índice global de inteligencia artificial responsable”, un proyecto de Research ICT Africa y la Red Data 4 Development. Este índice tiene como objetivo rastrear la implementación de los principios de IA responsable en más de 120 países, a través de una red internacional de equipos de investigación independientes, para evaluar en qué grado se están aplicando los principios. El nombre del evento de lanzamiento transmite el deseo de gran parte de la sociedad: pasar de los principios a la práctica, ante tantos potenciales riesgos y violaciones de los derechos humanos.

Aquí, queremos analizar los nuevos desarrollos en el tema de la regulación de la IA dentro de los organismos internacionales, a los que se agregaron, por ejemplo, los principios de la OCDE sobre IA, que habían sido aprobados en 2019.

Impactos negativos y catastróficos, con graves riesgos para la privacidad y exigiendo acciones urgentes

Michelle Bachelet, Alta Comisionada de las Naciones Unidas para los Derechos Humanos, publicó recientemente un importante informe sobre los graves riesgos para la privacidad derivados del uso de herramientas de IA (A/HRC/48/31).

Según Bachelet, la creación de perfiles, la toma de decisiones automatizadas y las tecnologías de aprendizaje automático (machine learning) tienen impacto en el derecho a la privacidad y varios otros derechos que asociados, en al menos cuatro sectores específicos.  Para los sectores de aplicación de la ley —seguridad nacional, justicia penal y gestión de fronteras— las implicaciones son múltiples. Por mencionar algunas: amplias bases de datos que dañan o restringen la privacidad, alta probabilidad de predicción para búsquedas, investigaciones y enjuiciamientos penales, sumado a una alta opacidad de los sistemas que impiden la verdadera rendición de cuentas del Estado en áreas que históricamente han sufrido de falta de transparencia.

El uso de la IA en el reconocimiento biométrico remoto (reconocimiento facial y de emociones) también es severamente criticado por el informe, ya que perjudica “la capacidad de las personas para vivir sus vidas sin ser observadas y tiene como resultado un efecto negativo directo en el ejercicio de los derechos a la libertad de expresión, reunión pacífica y asociación, así como libertad de circulación”.

El informe había sido solicitado por la ONU en 2015, en la Resolución 42/15, y se basó en una reunión con expertos en mayo de 2020, así como los aportes recibidos de una convocatoria específica para tal fin en 2021. Analiza el tema principalmente con base en el artículo 12 Declaración Universal de Derechos Humanos y en el artículo 17 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR).

Bachelet señala que el riesgo de discriminación derivado del uso de decisiones basadas en inteligencia artificial es muy alto. Enumera posibles enfoques para hacer frente a los desafíos, haciendo una serie de recomendaciones sobre el diseño y la implementación de salvaguardas para prevenir y minimizar los daños. Si bien las áreas de salud, educación, vivienda y servicios financieros necesitan un mayor escrutinio, según el informe, el área de identificación biométrica necesita con urgencia orientación para defender los derechos humanos.

Dos de las nueve recomendaciones de Bachelet a los Estados son muy significativas. En primer lugar, trata de prohibir expresamente las aplicaciones de IA que no respeten los derechos humanos. Asimismo, impone una moratoria en la venta y compra de sistemas de IA que representan un alto riesgo para los derechos humanos hasta que se adopten las protecciones adecuadas.

La segunda recomendación implica que los Estados prorroguen el uso del reconocimiento biométrico remoto en los espacios públicos, hasta que las autoridades puedan demostrar el cumplimiento de los estándares de privacidad, protección de datos y que no existen problemas de precisión e impactos discriminatorios. Es interesante notar que este tema de la moratoria del reconocimiento facial ya ha sido expresada en la narrativa 2020 producida por Bachelet sobre el impacto de las nuevas tecnologías en la promoción y protección de los derechos humanos en el contexto de las asambleas, incluidas las protestas pacíficas (A/HRC/44/24).

Las recomendaciones para empresas y Estados enfatizan la necesidad de la debida diligencia en todo el ciclo de los sistemas de IA, desde el diseño, desarrollo, implementación, venta, adquisición y operación, con un fuerte enfoque en las evaluaciones de impacto sobre los derechos humanos.

Impacto en la privacidad, vigilancia masiva y otros derechos humanos

En octubre de este año, el Consejo de Derechos Humanos de la ONU revisó la Resolución sobre el derecho a la privacidad en la era digital (A/HRC/RES/48/4). Este es un paso importante, considerando que no solo actualizó, sino que también dejó en claro los riesgos y peligros de adoptar IA. El nuevo texto fue presentado por Brasil y Alemania, tuvo una serie de reuniones informales entre Estados con la participación de la sociedad civil  y fue aprobado por consenso. Si bien la revisión de la Resolución no fue más incisiva, no hay duda de que la resolución exige mayores esfuerzos a los Estados, principalmente, a respetar de inmediato el derecho a la privacidad y otros derechos humanos afectados.

La Resolución 48/4 reconoció que la IA puede plantear graves riesgos para el derecho a la privacidad, «especialmente cuando se utiliza para identificación, seguimiento, creación de perfiles, reconocimiento facial, predicción de comportamiento y para establecer puntuaciones para individuos». También solicita a los Estados que adopten medidas preventivas y remedios para las violaciones y abusos del derecho a la privacidad, comprendido el deber de adoptar medidas preventivas y reparadoras para las violaciones y abusos, incluidos los relacionados con el derecho a la privacidad, que pueden afectar a las personas, pero que tiene efectos particulares contra mujeres, niños y niñas, y personas en situación históricamente vulneradas. También enfatiza en que los Estados desarrollen y fortalezcan políticas públicas sensibles al género que promuevan y protejan el derecho de todas las personas a la privacidad.

Había una gran expectativa respecto a que esta resolución dejaría algunas cuestiones mejor delimitadas, sobre todo debido a la fuerte posición de la Alta Comisionada para los Derechos Humanos al proponer una moratoria sobre ciertas tecnologías de reconocimiento biométrico y facial. En particular, por la recomendación más fuerte para que los Estados cumplan con la moratoria en la compra y venta de sistemas de IA.

No obstante, entendemos que aún habrá novedades de esta resolución, dado que ordenó a la Alta Comisionada para los Derechos Humanos a presentar un informe escrito, hacia el 51° período de sesiones del Consejo de Derechos Humanos. Se espera que informe contemple las tendencias y desafíos en el tema, identificar y aclarar principios, salvaguardas y mejores prácticas de derechos humanos, asegurando una amplia participación de múltiples partes interesadas para su producción.

Aproximación a las recomendaciones éticas en IA

El 24 de noviembre de este año, la Conferencia General de la UNESCO adoptó la recomendación sobre la Ética de la Inteligencia Artificial. El documento, avalado por 193 países, presenta un preámbulo con más de 20 consideraciones, definiendo su ámbito de aplicación, propósitos, objetivos, valores, principios y áreas de aplicación.

Como valores, la recomendación de la UNESCO enumera: el respeto, la protección y la promoción de los derechos humanos, las libertades fundamentales y la dignidad humana, el florecimiento del medio ambiente y el ecosistema, la diversidad y la inclusión, sociedades pacíficas, justas e interconectadas. Los principios rectores son: proporcionalidad y no causar daño, seguridad y protección, justicia y no discriminación, sostenibilidad, derecho a la privacidad y protección de datos, supervisión y determinación humana, transparencia y explicabilidad, responsabilidad y rendición de cuentas, conciencia y alfabetización, además de gobernanza de múltiples partes interesadas.

Además, la Recomendación reúne 11 áreas principales de política pública y, entre ellas, una específica sobre evaluación de impacto ético (ethical impact assessment). A pesar de parecer un avance, entendemos que este punto puede ser preocupante y necesita mayor explicación. Primero, porque la evaluación de impacto ético antes mencionada tiene como uno de sus elementos la evaluación de impacto en derechos humanos. En este sentido, existe una posible superposición errónea de las dos herramientas, ya que la evaluación de los impactos sobre los derechos humanos es más amplia y profunda que la evaluación del impacto ético.

En segundo lugar, porque la herramienta de evaluación del impacto en los derechos humanos y la diligencia debida en materia de derechos humanos ya están presentes en los instrumentos jurídicos internacionales y “se han convertido en la herramienta más recomendada de la ONU para que las empresas comiencen el proceso continuo de debida diligencia en materia de derechos humanos”, según CELE, mientras que las directrices éticas carecen de «mecanismos de aplicación y definición: qué instituciones invocan y cómo empoderan a las personas», como sostiene la organización Artículo 19.

Aunque se trata de un gran comienzo, no basta con establecer recomendaciones éticas para el uso de tecnologías de IA. Como ya lo destacó María Paz Canales, “la ética no es suficiente, en Estados democráticos donde existe un compromiso normativo para promover y proteger los derechos humanos”. Es necesario darle más normatividad al uso de la IA, pues ya tiene efectos desastrosos para una parte de la población que ya es vulnerable.

Como señaló Daniel Leufer, citado al comienzo de este artículo, a pesar del auge de la ética de la IA cuando nos enfrentamos a peligros muy graves, un equilibrio entre beneficios y daños puede llevar a cuestionar un enfoque utilitario de la ética. Sin embargo, un enfoque centrado en los derechos humanos simplemente comienza con el punto de partida de que ciertos daños son inaceptables.

Si bien la recomendación de UNESCO proporciona un importante marco ético compuesto por valores y principios, debe entenderse como un complemento a las obligaciones internacionales de derechos humanos para orientar las acciones de los Estados en la formulación de su legislación, políticas u otros instrumentos relacionados con la IA, en conformidad con el derecho internacional ya vigente.

La política nacional de Inteligencia Artificial chilena y su proceso de participación ciudadana

El pasado 28 de octubre fue lanzada la política nacional de Inteligencia Artificial chilena, en un esfuerzo por responder a los desafíos que implica la masificación de tales tecnologías en la actualidad. Así, se busca promover una estrategia que permita favorecer el desarrollo de capacidades y un uso responsable de la tecnología, atendiendo a las oportunidades y riesgos que estas implican.

El desarrollo de la política nacional supuso la conformación de un comité de expertos, así como de un comité interministerial y contó con dos etapas de participación ciudadana, una primera instancia de convocatoria a contribuciones y luego una consulta pública del documento borrador de la política.

Es necesario reconocer la importancia del desarrollo de la política en cuestión, que sitúa a Chile en línea con el trabajo que han desarrollado Argentina, Brasil y Colombia, entre otros países de la región, por orientar el uso y aplicaciones de la inteligencia artificial. Asimismo, es importante destacar el rol de la consulta pública en la elaboración de la política chilena, que se suma a esfuerzos como el brasileño por incluir este tipo de instancias.Sin embargo, debemos igualmente señalar algunas consideraciones críticas respecto del proceso de participación ciudadana y sus alcances en el caso chileno.

En la primera etapa de participación ciudadana, de convocatoria abierta, se realizaron una serie de conversaciones (considerando mesas regionales, mesas autoconvocadas y reuniones temáticas online) que implicaron la asistencia de más de 8.000 personas a nivel nacional. La magnitud del número, sin embargo, carece de sentido sustantivo a la hora de evaluar el impacto de tales instancias de consulta en el borrador de la política. Aun cuando se declara que “Los insumos generados durante este proceso fueron sistematizados, analizados en profundidad y consolidados junto con las discusiones ministeriales y con expertos.” (P14) no es conocido cuáles fueron los criterios para la sistematización y análisis de tales aportaciones. Bien, entonces, por la participación, pero mal en lo que refiere a la trazabilidad de la incidencia deliberativa en la articulación de la política.

Lo anterior resulta particularmente relevante dado el innovador modelo de participación propuesto por el Ministerio de Ciencia, Tecnología, Conocimiento e Innovación chileno, que implicó la realización de 70 mesas de trabajo autoconvocadas, en las que participaron 1.300 personas, considerando actores de la sociedad civil, la industria, la academia y el sector público. Lamentablemente, no tenemos mayor noticia del modo en que influyó tal proceso de discusión en el borrador de la política. Lo mismo respecto a las 69 mesas de trabajo regionales o las 15 reuniones temáticas online, de las que tampoco existe acceso público a sus actas.

La segunda etapa del proceso de participación ciudadana, de consulta pública al borrador, fue realizado a través de un formulario online que contemplaba 1.500 caracteres para comentarios y la evaluación —a partir de una escala de acuerdo y desacuerdo— con los objetivos propuestos. Desde Derechos Digitales hicimos públicos nuestros reparos, tanto al formato de la consulta como de la estructura y contenidos del borrador inicial (tales consideraciones pueden ser revisadas aquí).

De todas maneras, es importante destacar el esfuerzo de sistematización que realizó el Ministerio en relación a la etapa de consulta pública (disponible aquí) y que sí permite un mayor grado de trazabilidad de los cambios implementados.

Una cuestón que no podemos omitir es que de las 179 personas naturales que respondieron la consulta, solo un 21% declara una orientación de género femenino. Esto es importante pues tal bajo porcentaje, en relación a la distribución demográfica de la población chilena, hace patente la necesidad de plantear mecanismos de participación ciudadana con orientación activa hacia grupos prioritarios. Para el caso, contamos con información respecto a género, pero sería muy importante conocer también cuántas personas de pueblos originarios, con algún tipo de discapacidad o pertenecientes a algún otro grupo minoritario de la sociedad tomó parte de la consulta. Por cierto, no está demás puntualizar que el proceso de consulta estaba disponible solo en lengua castellana, cuestión que resulta paradójica al considerar que uno de los ejes de la política es IA inclusiva.

Esto pues, como bien ha señalado la oficina de la Alta Comisionado para los Derechos Humanos de las Naciones Unidas en relación a las tecnologías biométricas y sus efectos discriminatorios, son justamente aquellos grupos quienes pueden verse mayormente afectadas por los riesgos que supone la implementación de tecnologías de inteligencia artificial.

De esta forma, la política chilena de inteligencia artificial surge desde un proceso de discusión y participación pública significativo y destacable en el contexto regional, pero sin dudas insuficiente respecto de los impactos que las tecnologías de inteligencia artificial puede tener en la vida cotidiana de las personas (se pueden verificar más antecedentes al respecto en el proyecto IA e Inclusión desarrollado por Derechos Digitales en https://ia.derechosdigitales.org/ ).

Sin perder el foco en las materias procedimentales, que buscan favorecer la legitimidad de la política en cuestión, no podemos dejar de extrañar al menos tres aspectos sustantivos: 1) la necesidad de establecer un diagnóstico que explique y justifique la implementación de tecnologías de inteligencia artificial, 2) la importancia de desarrollar un modelo de gobernanza de las tales tecnologías que tenga los derechos humanos como eje central (y no accidental) de su aplicación y 3) la comprensión de la aplicación de tecnologías y sus impactos desde un punto de vista que supone desafíos que exceden el ámbito técnico y que inciden en la propia definición de lo humano,  como bien ha señalado Carolina Gainza.

Artificios “inteligentes” y la falta de inclusión en América Latina

El pasado lunes 19 de abril, Derechos Digitales presentó públicamente la iniciativa Inteligencia Artificial e Inclusión en América Latina. El proyecto incluye estudios desarrollados por especialistas en cuatro países de la región sobre la implementación de sistemas tecnológicos con aspectos de automatización a partir del sector público.

Hasta el momento, las características de este tipo de despliegue tecnológico en la región han sido escasamente documentadas. Sin embargo, más rápido que cualquier análisis, la implementación de tecnologías digitales sigue avanzando silenciosamente, con pocos espacios de debate y participación ciudadana. Así lo evidencian los casos analizados en Brasil, Chile, Colombia y Uruguay.

Es preocupante observar cómo antes de enfrentar los desafíos relacionados a la digitalización y al establecimiento de procedimientos adecuados de gobernanza de datos, los gobiernos se empeén en automatizar procesos por medio de sistemas tecnológicos que agregan nuevas capas de complejidad y opacidad. Aún más cuando pueden afectar derechos fundamentales como a la asistencia social, el empleo, la justicia o la salud; o culminar en intervenciones discriminatorias en la vida de las personas por parte del Estado.

Un nuevo fetiche

A partir de los casos analizados, una de las primeras cuestiones que llama la atención es la adopción de tecnologías que, antes de su despliegue, carecían de cualquier evidencia sobre su necesidad o utilidad. Es decir, se desarrollan e implementan “soluciones” a problemas insuficientemente descritos, pues en general no existe un diagnóstico previo que las justifique.

Esta falta de diagnóstico resulta crítica en tres aspectos: 1) a qué finalidad sirve la solución tecnológica específica (incluido el análisis de su adecuación al problema),  2) la preparación en el aparato administrativo para su implementación y 3) la capacidad de la ciudadanía de comprender los efectos de la solución tecnológica. Como consecuencia, la implementación de sistemas tecnológicos complejos resulta por sí sola problemática frente a un contexto insuficientemente preparado para su despliegue e impotente frente a su funcionamiento.

En los cuatro países analizados, la manera en que implementadas las distintas iniciativas revela una importante discrecionalidad y ausencia de planificación sobre el uso de tecnologías a nivel gubernamental. Por cierto, esta condición refleja una tendencia a nivel regional más allá de los cuatro países inicialmente considerados en nuestra investigación.

La característica común parece ser una aproximación de «solucionismo tecnológico»: la expectativa de que la tecnología digital sea solución a complejos problemas políticos y sociales. En este sentido, la enorme promoción a nivel global de tecnologías de inteligencia artificial las convierte en objeto de deseo para servidores públicos dispuestos a poner en riesgo a la ciudadanía para satisfacer la imagen de un Estado fuerte y moderno, independientemente de sus reales capacidades “inteligentes”.

Los cimientos del sistema

Si bien la innovación a nivel estatal es bienvenida y puede ser útil para lidiar con problemas de la gestión pública, es inaceptable que iniciativas que puedan implicar el acceso y procesamiento de inmensas cantidades de datos personales no pasen por discusiones previas y sin contar con un marco de legalidad adecuado. Pese a la ausencia de una discusión específica sobre la implementación de sistemas automatizados, los marcos normativos para lidiar con la protección de datos en los países analizados son todavía muy desiguales.

Como es sabido, el marco de protección de datos personales es demasiado limitado para regular sistemas de inteligencia artificial, pues apunta apenas a una arista de los mismos: la recolección y tratamiento de la información sobre personas naturales. No obstante, es ese ámbito del derecho donde, por su conexión con nuevas e intensas formas de procesamiento, se observan avances normativos, como garantías específicas para favorecer la “explicabilidad” de decisiones automatizadas o para integrar la revisión humana de esas decisiones. El intento brasileño de incorporar ambos aspectos en su normativa, detenido por veto presidencial, revela una importante falta de voluntad política por poner los intereses de la ciudadanía por encima de los imperativos de las industrias de tecnología, lo que seguramente no es exclusivo de un país.

Al mismo tiempo, la existencia de normas de protección de datos en los cuatro países analizados no han asegurado que los principios y reglas de la temática estuvieran en el centro de la atención estatal. Por el contrario, una característica común es la variación en la base legal para el tratamiento de datos, con el consentimiento como un factor a veces relevante, pero a menudo con bases de datos distintas y autorizaciones legales difusas para la inclusión de información desde diversas fuentes. Es decir, el aparato público extiende su función a partir de su legitimidad legal, sin tomar los debidos resguardos en obtener el consentimiento de las personas que se convierten en objeto de intervención estatal.

Esta es la clase de razones que explicitan la demanda no solo de una normativa para la fiscalización de los datos personales, sino de una autoridad pública de control, dedicada, especializada y con atribuciones para intervenir en la acción de otras agencias estatales si fuera necesario.

Pero como hemos dicho, la regulación de datos personales es apenas una arista. Parte importante de la acción estatal pasa por el estímulo a la inteligencia artificial, entendida como una vía de desarrollo industrial nacional. No obstante, esto tampoco es suficiente sin una visión completa sobre los distintos aspectos que confluyen en esta problemática. Si, por un lado, algunos gobiernos tratan de propagar sus principios o estrategias generales de inteligencia artificial, por otro, hay muy poca especificidad en cómo esos documentos guiarán la implementación de tecnologías desde el sector público. Por ejemplo, cuál será la importancia que darán a los derechos fundamentales y la transparencia.

Opacidad sin límites

Quizás uno de los problemas más relevantes que observamos cuando se trata de la adquisición estatal de tecnologías es la ausencia o insuficiencia de mecanismos para la integración directa de los intereses de la ciudadanía. En otras palabras: la falta de análisis conjunto con actores relevantes del sistema de forma previa a cada despliegue, la ausencia de mecanismos de control compartidos por intereses multisectoriales y la carencia de mecanismos de evaluación posterior.

Las falencias son múltiples: a la opacidad tradicionalmente asociada a sistemas de decisión automatizada, se suma la exclusión de la participación pública en el despliegue de los sistemas y la ausencia de mecanismos abiertos y transparentes de evaluación en la consecución de sus fines.

Los problemas que derivan de esa opacidad potenciada son también numerosos y conllevan, incluso, la insuficiencia de perspectivas diversas sobre los posibles impactos. La decisión pública sustentada únicamente en máquinas resulta una forma extrema de tecnocracia, que puede erosionar la legitimidad del aparato estatal y pone en discusión la real vinculación con los problemas que en teoría están destinados a abordar.

Hacia una agenda de gobernanza desde los gobernados

A partir de la recolección de datos empíricos sobre la implementación de sistemas automatizados o semi-automatizados es posible buscar factores comunes que faciliten, con base en el Sistema Interamericano de Derechos Humanos, una inminente discusión sobre el desarrollo de estándares regionales para su uso. Estos deberán orientar la producción de marcos normativos que hagan de la implementación de tecnologías, desde lo público, una expresión de las aspiraciones de la ciudadanía sobre el Estado, y no de las aspiraciones de una modernidad vacía.

Pero este es apenas un paso inicial y el desarrollo normativo está lejos de responder a los inmensos desafíos que se presentan. Derechos Digitales seguirá trabajando para generar evidencia y explorando nuevos espacios de diálogo sobre el desarrollo futuro de la tecnología en América Latina.

Revisa Inteligencia Artificial e inclusión aquí.

Política de inteligencia artificial: Ciudadanía al centro, no al margen

El pasado 27 de enero finalizó el plazo para participar de la consulta pública, que busca elaborar un borrador de la Política Nacional (chilena) de Inteligencia Artificial. El proceso comenzó en 2020, con una serie de encuentros que contaron la participación de diversas organizaciones públicas, académicas y de la sociedad civil, Derechos Digitales entre ellas. Habiendo tomado rol activo en el proceso, nos parece relevante establecer algunas consideraciones críticas al borrador de la política propuesta y al mecanismo elegido para llevar a cabo su discusión.

Uno de los componentes centrales para la aplicación exitosa de cualquier política pública es la legitimidad que la ciudadanía atribuye al actuar estatal. Desde ahí es posible articular una dinámica que expanda la acción estatal más allá del ámbito de la coacción y se oriente en favor de la configuración de un horizonte que movilice a diversos actores sociales hacia objetivos comunes. De este modo, tras cada política pública subyace una promesa de mejora o desarrollo. En esta línea, es esperable que exista también un diagnóstico que justifique la promesa que articula la política en cuestión. Tomando en consideración el horizonte normativo propuesto, lo razonable es que esta nueva reglamentación sea explícita respecto de los agentes, instituciones y articulaciones requeridas para conducirla en los plazos comprometidos.

En el caso de la Política de Inteligencia Artificial, no sería exagerado mencionar que gran parte de estos elementos no se pueden identificar de forma clara en el documento propuesto. Uno de los primeros problemas que se identificó contempla la dificultad para definir el propio concepto de “inteligencia artificial” (IA), así como anticipar sus eventuales ámbitos de aplicación.

Sobre la inteligencia artificial se manejan algunas cosas: que supondrá una nueva forma de establecer relaciones entre seres humanos y máquinas, entre ellas mismas y entre los propios humanos, gracias al desarrollo maquínico. Pero vaya que resulta costoso afincar el concepto en una definición funcional y que sea capaz de identificar los riesgos asociados al surgimiento de tal desarrollo tecnológico. Sabemos también que “inteligencia artificial” se asocia a eficiencia y rapidez, pero al mismo tiempo resuena en la reproducción de patrones de discriminación.

Resulta lamentable verificar que la política propuesta no descansa sobre un diagnóstico sistemático de las capacidades y articulaciones existentes en el país, además de aquellas brechas que podrían ser subsanadas mediante la aplicación de tecnologías de inteligencia artificial. La falta de un diagnóstico acucioso muestra una comprensión deficitaria de la economía política que subyace al desarrollo de estas tecnologías. En particular, respecto al desbalance existente entre el norte y el sur globales, y nuestra posición relativa como país en este contexto.

Pese a coquetear con la comprensión de la inteligencia artificial como una articulación socio-técnica, esta aproximación no articula la estructura del borrador. Así lo anticipaba la investigadora Carolina Gainza en octubre pasado, pues hasta ahora no se tiene en cuenta las implicancias de tales desarrollos, ni cuál es el rol de las humanidades y las ciencias sociales en esta discusión.

Antes bien, el borrador propuesto se plantea como una declaración bastante optimista sobre los desarrollos en inteligencia artificial y asume la permanente ampliación del ámbito de aplicación de estas tecnologías. No solo carece de una visión crítica respecto de para qué promover tales tecnologías, la mayoría de las veces menciona una perspectiva en torno a la gestión de las tecnologías desde una lógica de intervención vertical que omite futuros cambios en la estructura del Estado (cuestión que resulta relevante ante el proceso de discusión constitucional en la que se encuentra Chile).

Otro problema serio se presenta en la configuración de la estructura del documento, ordenado en torno a tres ejes: (1) factores habilitantes, (2) desarrollo y adopción y (3) ética, aspectos legales y regulatorios e impactos socioeconómicos.

El aspecto más complejo se encuentra en el tercer punto y es de articulación lógica: en el mismo eje se consideran los elementos normativos —orientaciones éticas y ordenamiento legal—, junto a los impactos previstos de la aplicación de tecnologías de inteligencia artificial. Es fundamental distinguir ambos elementos. Mientras el primero señala el marco desde el cual se desarrollarán las innovaciones tecnológicas, el segundo se refiere a sus consecuencias e incluye la variable de género. A nuestro juicio, esta mención debería ser un elemento primordial en la estructura del planteamiento de la política, así como la comprensión de estas tecnologías más allá de su estricta dimensión tecnológica.

En este sentido, cabe preguntarse, ¿qué es el orden normativo sino uno de los propios factores habilitantes para el desarrollo de cualquier tipo de empresa?

Cabe destacar que las orientaciones éticas ­—por sí solas— no serán capaces de ordenar el despliegue de este tipo de dispositivos. Es necesario contar con un marco normativo explícito, vinculante, que establezca los límites para la acción estatal y privada ante los riesgos de su implementación. Este marco normativo no parte de una hoja en blanco, si no por el contrario, es necesario tomar en cuenta las obligaciones vigentes para Chile en la promoción y protección de derechos humanos, que están igualmente vigentes con respecto a las tecnologías que el Estado y las empresas implementen.

Los riesgos no son pocos, pues hablamos de potenciales usos inadecuados de datos personales, que incluso pueden llevar a la exclusión en el acceso a bienes públicos o a discriminaciones arbitrarias en las relaciones entre privados.

La semana pasada se conmemoró el Día internacional de la protección de datos personales, una efeméride que enmarca la discusión sobre inteligencia artificial, pues los datos personales son una condición para el despliegue de la mentada inteligencia. ¡Y vaya que tenemos mucho por avanzar en esta tarea! Sobre todo, antes de abrazar el despliegue de la próxima tecnología de moda sin mediar mayor crítica.

Es por esto que es necesario revisar el mecanismo mediante el cual se ejercerá la participación pública del documento en cuestión. Así, un espacio de comentarios de tan solo 1.500 caracteres es a todas luces insuficiente, por tanto se requiere un formulario que evalúe el nivel de acuerdo con los objetivos y principios propuestos. No se está midiendo qué tan de acuerdo se puede estar entre afirmaciones polares, como si fuese una encuesta de opinión; lo que se busca es analizar de manera crítica una propuesta de política pública. Así, las potenciales bondades de la participación ciudadana se diluyen en un mecanismo de consulta mezquino, que además justifica la existencia de esta columna y los comentarios ampliados que Derechos Digitales ha enviado esta semana al Ministerio de Ciencia y Tecnología.

De todas formas, es rescatable la existencia del procedimiento de consulta pública, ya que da pie al enriquecimiento de la discusión por parte de la ciudadanía.

Es de esperar que la reflexión de la comunidad de investigadoras e investigadores —así como de activistas de distintos sectores de la sociedad civil y personas naturales—, nos permita contar con una mejor Política Nacional de Inteligencia Artificial. Una política capaz de identificar con claridad los riesgos, ámbitos de desarrollo, las instituciones y agencias responsables; las normas necesarias para su gobernanza, y los plazos de cumplimiento, habilitando el seguimiento, participación y ejecución de estas acciones por parte de la ciudadanía y con ella al centro, no al margen.

A la mierda el algoritmo

Una de las principales razones esgrimidas para justificar la inclusión de tecnologías en procesos sociales complejos dice relación con la eficiencia y eficacia que tales soluciones podrían ofrecer. Ante realidades complejas, la promesa tecnológica se articula en torno a la oferta de soluciones simples. Sin que por ello se entienda cómo es que el dispositivo llegó a tal resolución: el ya conocido problema de las “cajas negras “algorítmicas y su opacidad ante el escrutinio público.

Así, por ejemplo, a la hora de evaluar los méritos de las y los postulantes a la educación superior, o al momento de determinar quiénes estarán primeros en la fila para recibir la vacuna contra la COVID-19, no pocos han sugerido que tales decisiones sean delegadas hacia dispositivos tecnológicos y, entre estos, la etiqueta más convencional es la de “algoritmo”.

Los algoritmos, que no son más que sets de instrucciones concatenadas entre sí para articular un resultado, son erigidos como mecanismos “científicos”, “objetivos” y “neutrales” capaces de determinar cuestiones tan relevantes como el límite entre quiénes son inmunizados, y quiénes no, en medio de la pandemia más grande de los últimos 100 años.

Entonces, ¿Cómo podemos comprender que el algoritmo implementado por el hospital universitario de Stanford (Estados Unidos) haya excluido de la inmunización a las y los médicos internos que se enfrentan día a día al COVID-19?, y más importante todavía: ¿Sobre quién recae la responsabilidad de tal decisión y sus consecuencias?

Tal como explican Eileen Guo y Karen Hao, “los algoritmos se usan comúnmente en la atención médica para clasificar a los pacientes por nivel de riesgo, en un esfuerzo por distribuir la atención y los recursos de manera más equitativa. Pero cuantas más variables se utilicen, más difícil será evaluar si los cálculos son defectuosos”. En el caso particular de Stanford, la exclusión de las internas e internos se debió al modo en que se ponderó la exposición a pacientes por COVID-19. En el esfuerzo por hacer un modelo que integrase más variables, se perdieron de vista cuestiones que, sin mediar más que el sentido común, podrían haber tenido una resolución distinta.

La respuesta de las y los trabajadores del hospital no se hizo esperar: “Fuck the algorithm!” fue una de las principales consignas.

Tal grito de protesta ya no es novedoso. Fue exactamente la misma proclama que sostuvieron las y los estudiantes ingleses ante el proceso de selección universitaria, que mediante la aplicación de un algoritmo de selección favoreció a las y los postulantes de las élites inglesas. Louise Amoore auguró con claridad que la protesta contra el algoritmo estará en el corazón de la protesta política del futuro.

Así, día a día “los algoritmos” comienzan a tener un rol significativo en el modo en que configuramos nuestras relaciones sociales y, en especial, sobre los criterios decisionales que articulan la implementación de políticas públicas. De todas formas, hemos de saber que tras cada resultado algorítmico existe una decisión humana. Y, las más de las veces, tal decisión humana es también una decisión política (esto es, con contenidos normativos tácitos o explícitos), que muchas veces es diluida por la pretensión científica del dispositivo tecnológico.

Es por ello que debemos tomar especiales precauciones a la hora de favorecer la implementación de soluciones tecnológicas ante problemas complejos. No solamente atendiendo a la capacidad de éstas para arrojar un resultado, sino considerando las implicancias que subyacen a tal aplicación: por ejemplo, la reproducción de sesgos raciales que llevó, entre otras cuestiones, a abandonar el algoritmo de admisión para las y los postulantes del doctorado en ciencias de la computación de la universidad de Austin, en Texas.

Tal como señala María Paz Canales, “necesidad, adecuación y proporcionalidad en la respuesta tecnológica es lo que separa una crisis de salud global de una renuncia de los derechos fundamentales”. Es posible extender tal juicio más allá de la crisis de salud global y situar la consideración por la necesidad, adecuación y proporcionalidad como principios rectores para la aplicación de tecnologías en el concierto de la resolución de problemáticas públicas.

Por cierto, este tipo de fenómenos no son ajenos a nuestra región. Durante el segundo semestre de 2020, Derechos Digitales junto a un equipo de investigadoras e investigadores latinoamericanos, realizó una investigación destinada a conocer las distintas formas en que se implementan este tipo de tecnologías en cuatro países de América Latina (Brasil, Chile, Colombia y Uruguay). Esperamos poder compartir los resultados de nuestra indagación durante el primer trimestre de 2021.

En el ínterin, y a modo de avance, resulta importante comprender la forma en que son promocionadas estas tecnologías versus cuáles son sus aplicaciones efectivas. Sobre todo, si de su aplicación dependerá el entrar a una bolsa de empleo o ser considerado como una persona cuyos derechos pueden ser vulnerados. Este tipo de aplicaciones tecnológicas en América Latina son crecientemente populares, es fundamental, entonces, mantener el horizonte en la evaluación crítica de su necesidad, adecuación y proporcionalidad.