Inteligencia artificial 2021: desarrollos importantes en el marco legal internacional

Gran parte de lo que se discute sobre inteligencia artificial (IA) nos remite a películas y libros de ciencia ficción. Robots muy humanoides y brillantes están en las fotos de muchas páginas que hablan de este tipo de tecnología. Daniel Leufer señala este y otros mitos en el uso y discusión de la IA en un sitio web que vale la pena revisar. A este mito de la representación se suma una definición muy amplia, que serían tecnologías dotadas de súper inteligencia, cuyo uso puede ser objetivo, sin prejuicios y que no podrían resolver nada más que un montón de cosas.

Pero lejos de estar cerca de los robots como en las películas de Steven Spielberg o en las protagonizadas por Will Smith, muchas partes de nuestras vidas ya se ven afectadas por el uso de la IA: ya sea por su uso por parte del Estado para llevar a cabo las más variadas tareas y en su toma de decisiones, o incluso por empresas.

Dos elementos del mito de la «gobernanza de la IA» nos llevan a algunas preguntas. Es cierto que muchos países de América Latina, como Colombia, Chile, Brasil y Uruguay, ya están regulando estrategias nacionales para hacer frente a la IA, además de intentar aprobar proyectos de ley específicos sobre regulación, como estamos viendo en las discusiones actuales.

En el caso de Brasil, el proyecto de ley 21/2020 ha recibido una serie de críticas mordaces, como la de Coalizão Direitos na Rede en esta semana, por su aprobación en la Cámara de Diputados sin una discusión efectiva con la sociedad, que implican un debilitamiento de las garantías existentes. En Europa, las discusiones también son candentes y la sociedad civil organizada está pidiendo una Ley de Inteligencia Artificial (EIA) que dé prioridad a los derechos fundamentales.

Esta semana, se lanzó el “Índice global de inteligencia artificial responsable”, un proyecto de Research ICT Africa y la Red Data 4 Development. Este índice tiene como objetivo rastrear la implementación de los principios de IA responsable en más de 120 países, a través de una red internacional de equipos de investigación independientes, para evaluar en qué grado se están aplicando los principios. El nombre del evento de lanzamiento transmite el deseo de gran parte de la sociedad: pasar de los principios a la práctica, ante tantos potenciales riesgos y violaciones de los derechos humanos.

Aquí, queremos analizar los nuevos desarrollos en el tema de la regulación de la IA dentro de los organismos internacionales, a los que se agregaron, por ejemplo, los principios de la OCDE sobre IA, que habían sido aprobados en 2019.

Impactos negativos y catastróficos, con graves riesgos para la privacidad y exigiendo acciones urgentes

Michelle Bachelet, Alta Comisionada de las Naciones Unidas para los Derechos Humanos, publicó recientemente un importante informe sobre los graves riesgos para la privacidad derivados del uso de herramientas de IA (A/HRC/48/31).

Según Bachelet, la creación de perfiles, la toma de decisiones automatizadas y las tecnologías de aprendizaje automático (machine learning) tienen impacto en el derecho a la privacidad y varios otros derechos que asociados, en al menos cuatro sectores específicos. Para los sectores de aplicación de la ley —seguridad nacional, justicia penal y gestión de fronteras— las implicaciones son múltiples. Por mencionar algunas: amplias bases de datos que dañan o restringen la privacidad, alta probabilidad de predicción para búsquedas, investigaciones y enjuiciamientos penales, sumado a una alta opacidad de los sistemas que impiden la verdadera rendición de cuentas del Estado en áreas que históricamente han sufrido de falta de transparencia.

El uso de la IA en el reconocimiento biométrico remoto (reconocimiento facial y de emociones) también es severamente criticado por el informe, ya que perjudica “la capacidad de las personas para vivir sus vidas sin ser observadas y tiene como resultado un efecto negativo directo en el ejercicio de los derechos a la libertad de expresión, reunión pacífica y asociación, así como libertad de circulación”.

El informe había sido solicitado por la ONU en 2015, en la Resolución 42/15, y se basó en una reunión con expertos en mayo de 2020, así como los aportes recibidos de una convocatoria específica para tal fin en 2021. Analiza el tema principalmente con base en el artículo 12 Declaración Universal de Derechos Humanos y en el artículo 17 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR).

Bachelet señala que el riesgo de discriminación derivado del uso de decisiones basadas en inteligencia artificial es muy alto. Enumera posibles enfoques para hacer frente a los desafíos, haciendo una serie de recomendaciones sobre el diseño y la implementación de salvaguardas para prevenir y minimizar los daños. Si bien las áreas de salud, educación, vivienda y servicios financieros necesitan un mayor escrutinio, según el informe, el área de identificación biométrica necesita con urgencia orientación para defender los derechos humanos.

Dos de las nueve recomendaciones de Bachelet a los Estados son muy significativas. En primer lugar, trata de prohibir expresamente las aplicaciones de IA que no respeten los derechos humanos. Asimismo, impone una moratoria en la venta y compra de sistemas de IA que representan un alto riesgo para los derechos humanos hasta que se adopten las protecciones adecuadas.

La segunda recomendación implica que los Estados prorroguen el uso del reconocimiento biométrico remoto en los espacios públicos, hasta que las autoridades puedan demostrar el cumplimiento de los estándares de privacidad, protección de datos y que no existen problemas de precisión e impactos discriminatorios. Es interesante notar que este tema de la moratoria del reconocimiento facial ya ha sido expresada en la narrativa 2020 producida por Bachelet sobre el impacto de las nuevas tecnologías en la promoción y protección de los derechos humanos en el contexto de las asambleas, incluidas las protestas pacíficas (A/HRC/44/24).

Las recomendaciones para empresas y Estados enfatizan la necesidad de la debida diligencia en todo el ciclo de los sistemas de IA, desde el diseño, desarrollo, implementación, venta, adquisición y operación, con un fuerte enfoque en las evaluaciones de impacto sobre los derechos humanos.

Impacto en la privacidad, vigilancia masiva y otros derechos humanos

En octubre de este año, el Consejo de Derechos Humanos de la ONU revisó la Resolución sobre el derecho a la privacidad en la era digital (A/HRC/RES/48/4). Este es un paso importante, considerando que no solo actualizó, sino que también dejó en claro los riesgos y peligros de adoptar IA. El nuevo texto fue presentado por Brasil y Alemania, tuvo una serie de reuniones informales entre Estados con la participación de la sociedad civil y fue aprobado por consenso. Si bien la revisión de la Resolución no fue más incisiva, no hay duda de que la resolución exige mayores esfuerzos a los Estados, principalmente, a respetar de inmediato el derecho a la privacidad y otros derechos humanos afectados.

La Resolución 48/4 reconoció que la IA puede plantear graves riesgos para el derecho a la privacidad, «especialmente cuando se utiliza para identificación, seguimiento, creación de perfiles, reconocimiento facial, predicción de comportamiento y para establecer puntuaciones para individuos». También solicita a los Estados que adopten medidas preventivas y remedios para las violaciones y abusos del derecho a la privacidad, comprendido el deber de adoptar medidas preventivas y reparadoras para las violaciones y abusos, incluidos los relacionados con el derecho a la privacidad, que pueden afectar a las personas, pero que tiene efectos particulares contra mujeres, niños y niñas, y personas en situación históricamente vulneradas. También enfatiza en que los Estados desarrollen y fortalezcan políticas públicas sensibles al género que promuevan y protejan el derecho de todas las personas a la privacidad.

Había una gran expectativa respecto a que esta resolución dejaría algunas cuestiones mejor delimitadas, sobre todo debido a la fuerte posición de la Alta Comisionada para los Derechos Humanos al proponer una moratoria sobre ciertas tecnologías de reconocimiento biométrico y facial. En particular, por la recomendación más fuerte para que los Estados cumplan con la moratoria en la compra y venta de sistemas de IA.

No obstante, entendemos que aún habrá novedades de esta resolución, dado que ordenó a la Alta Comisionada para los Derechos Humanos a presentar un informe escrito, hacia el 51° período de sesiones del Consejo de Derechos Humanos. Se espera que informe contemple las tendencias y desafíos en el tema, identificar y aclarar principios, salvaguardas y mejores prácticas de derechos humanos, asegurando una amplia participación de múltiples partes interesadas para su producción.

Aproximación a las recomendaciones éticas en IA

El 24 de noviembre de este año, la Conferencia General de la UNESCO adoptó la recomendación sobre la Ética de la Inteligencia Artificial. El documento, avalado por 193 países, presenta un preámbulo con más de 20 consideraciones, definiendo su ámbito de aplicación, propósitos, objetivos, valores, principios y áreas de aplicación.

Como valores, la recomendación de la UNESCO enumera: el respeto, la protección y la promoción de los derechos humanos, las libertades fundamentales y la dignidad humana, el florecimiento del medio ambiente y el ecosistema, la diversidad y la inclusión, sociedades pacíficas, justas e interconectadas. Los principios rectores son: proporcionalidad y no causar daño, seguridad y protección, justicia y no discriminación, sostenibilidad, derecho a la privacidad y protección de datos, supervisión y determinación humana, transparencia y explicabilidad, responsabilidad y rendición de cuentas, conciencia y alfabetización, además de gobernanza de múltiples partes interesadas.

Además, la Recomendación reúne 11 áreas principales de política pública y, entre ellas, una específica sobre evaluación de impacto ético (ethical impact assessment). A pesar de parecer un avance, entendemos que este punto puede ser preocupante y necesita mayor explicación. Primero, porque la evaluación de impacto ético antes mencionada tiene como uno de sus elementos la evaluación de impacto en derechos humanos. En este sentido, existe una posible superposición errónea de las dos herramientas, ya que la evaluación de los impactos sobre los derechos humanos es más amplia y profunda que la evaluación del impacto ético.

En segundo lugar, porque la herramienta de evaluación del impacto en los derechos humanos y la diligencia debida en materia de derechos humanos ya están presentes en los instrumentos jurídicos internacionales y “se han convertido en la herramienta más recomendada de la ONU para que las empresas comiencen el proceso continuo de debida diligencia en materia de derechos humanos”, según CELE, mientras que las directrices éticas carecen de «mecanismos de aplicación y definición: qué instituciones invocan y cómo empoderan a las personas», como sostiene la organización Artículo 19.

Aunque se trata de un gran comienzo, no basta con establecer recomendaciones éticas para el uso de tecnologías de IA. Como ya lo destacó María Paz Canales, “la ética no es suficiente, en Estados democráticos donde existe un compromiso normativo para promover y proteger los derechos humanos”. Es necesario darle más normatividad al uso de la IA, pues ya tiene efectos desastrosos para una parte de la población que ya es vulnerable.

Como señaló Daniel Leufer, citado al comienzo de este artículo, a pesar del auge de la ética de la IA cuando nos enfrentamos a peligros muy graves, un equilibrio entre beneficios y daños puede llevar a cuestionar un enfoque utilitario de la ética. Sin embargo, un enfoque centrado en los derechos humanos simplemente comienza con el punto de partida de que ciertos daños son inaceptables.

Si bien la recomendación de UNESCO proporciona un importante marco ético compuesto por valores y principios, debe entenderse como un complemento a las obligaciones internacionales de derechos humanos para orientar las acciones de los Estados en la formulación de su legislación, políticas u otros instrumentos relacionados con la IA, en conformidad con el derecho internacional ya vigente.

Cuerpos y datos: Las tecnologías de identificación biométrica aumentan en América Latina

Si has caminado por el centro de Santiago de Chile durante los últimos meses, probablemente los has visto afuera de algún centro comercial, a la entrada de un parque o frente a un semáforo concurrido: dos personas con una esfera metálica, ofreciéndote dinero a cambio de una imagen de tu ojo. O algo así. El dinero no es dinero per se, sino el equivalente a 20 USD en Worldcoin, una criptomoneda. Y la imagen de tu ojo no es una simple imagen de tu ojo, sino un escaneo de tu iris, dato biométrico utilizado para identificarte. Todo con un aire a pacto faustiano muy de película sci-fi de bajo presupuesto. El propio Edward Snowden salió a criticar la iniciativa, que en Chile contabiliza alrededor de 10 mil inscritos. 10 mil iris escaneados.

Una cifra como esa es preocupante y un poco desmoralizante, la verdad. Pero a pesar de ello, comprensible: en un país con una ley de protección de datos personales del siglo pasado, donde el cliché de los-datos-son-el-nuevo-petróleo se repite como mantra, pero donde no se hace nada al respecto (al menos, para proteger mejor esos datos) y donde la información personal parece pasar de un lado a otro con absoluta promiscuidad, no es raro que para algunas personas entregar el iris a cambio de una cantidad potencial de dinero, por poco que sea, no es la gran cosa.

Y, sin embargo, debería ser una gran cosa. Más allá de lo anecdótico del caso, la creciente normalización del uso, recolección y exigencia de datos biométricos es una tendencia preocupante. De muestra un ejemplo: esta semana nos enteramos de que una administradora de fondos de pensión (AFP) está exigiendo validar la identidad de sus clientes a través de biometría facial. La excusa es siempre la misma: seguridad. ¿Pero la seguridad de quién? Saber que mis datos sensibles, relativos a mi cuerpo, están siendo almacenados y procesados quién sabe dónde, bajo quién sabe qué condiciones, por quién sabe quién, no me transmite ninguna seguridad. Al contrario, me da escalofríos.

Si una empresa dedicada a la gestión de dinero no es capaz de encontrar otras maneras de asegurar la recaudación que no impliquen generar y almacenar un modelo algorítmico de mi rostro, quizás a esa empresa no debería confiársele tal tarea. Porque el día de mañana, cuando esa base de datos se filtre, no hay nada que puedan hacer para devolverme el control sobre mi cara. Ese es el gran tema con los datos biométricos: una vez entregados, no hay vuelta atrás.

En la práctica, la identificación biométrica requiere ceder control sobre el propio cuerpo.

Reconocimiento facial

Cualquier discusión sobre identificación biométrica quedaría incompleta sin hablar de reconocimiento facial. Recientemente, las organizaciones reunidas en el consorcio Al Sur publicaron “Reconocimiento facial en América Latina: tendencias en la implementación de una tecnología perversa”, una investigación colectiva que identifica 38 sistemas de reconocimiento facial desarrollados en la región, al alero de distintas políticas públicas.

Alguna de la información recopilada, aunque poco sorprendente, constata sospechas fundadas: el número de sistemas de reconocimiento facial se ha incrementado de manera importante durante los últimos años, su finalidad principal es la vigilancia del espacio público y los procesos de auditorías externas para fiscalizar el funcionamiento de los sistemas casi no está considerando en ninguna parte, ni hablar de estudios de impacto en derechos humanos. Tampoco sorprende la dificultad para acceder a información básica respecto a las tecnologías utilizadas y sus proveedores, que ha sido la tónica en la mayoría de los esfuerzos realizados en la región a la hora de lidiar con este tipo de políticas públicas. Por ello es destacable el esfuerzo por recopilar información sobre proveedores y los países en los que operan. Una cuestión llamativa es una tendencia a la adopción de tecnologías por medio de donaciones, característica de algunas empresas chinas.

Pero más allá de la información recogida en el estudio (disponible además en un sitio web especialmente dispuesto para ello, que pueden visitar aquí), llama la atención cómo la región parece ir a contrapelo de la tendencia mundial, donde se parece haber alcanzado algún consenso respecto de la necesidad de tomar medidas contra este tipo de tecnologías, al menos hasta tener mayor certeza de sus efectos negativos y cómo sopesarlos desde una perspectiva de derechos humanos. Pero a pesar de la declaración de la Alta Comisionada de la ONU para los Derechos Humanos, las distintas localidades que han impuesto moratorias o prohibiciones de utilizar sistemas de reconocimiento facial hasta incluso el anuncio de Facebook de dejar de utilizar el sistema de reconocimiento facial en su plataforma, parece ser que esas noticias no han llegado a los oídos de los tomadores de decisiones en América Latina.

La pregunta es qué es lo que se requiere para poder hacer entender tanto a las autoridades como a la población en general sobre la necesidad de tomarnos este asunto en serio, cuando parece haber conciencia de los riesgos, existe experiencia internacional relevante, declaraciones de organismos internacionales y, sin embargo, la región parece un campo cada vez más fértil para la implementación de este tecnologías de identificación biométrica para cualquier cosa.

Coronavirus, tecnología y privacidad

El 11 de marzo del año 2020, la Organización Mundial de la Salud declaró la pandemia de COVID-19, originada por el coronavirus SARS-CoV-2. A medida que la enfermedad se iba expandiendo, saturando los sistemas de salud, los gobiernos declararon estados de emergencia, restringiendo algunos derechos e implementaron diversas medidas para intentar contener la expansión del virus, incluyendo el cierre de aeropuertos y fronteras terrestres, de escuelas y de los lugares de ocio, llegando incluso al confinamientos de la población.

La emergencia sanitaria obligó a los gobiernos de todo el mundo a buscar soluciones para contener la expansión del virus. Y la tecnología jugó un papel importante en el afán por minimizar el contagio y mantener vigilada a la población en los momentos de las restricciones de movilidad. En América Latina y el resto del mundo se desarrollaron una gran cantidad de aplicaciones que ofrecían información oficial sobre el desarrollo de la enfermedad, realizaban test de autodiagnóstico, intentaban hacer rastreo de contagios, entre varios otros usos. Se utilizaron técnicas de Big Data para monitorear las aglomeraciones y los movimientos de la población a través de datos de conexión de teléfonos celulares a torres de telefonía, datos de geolocalización y datos del bluetooth de los dispositivos celulares.

Uno de los principales puntos de debate se centra en la tensión entre el derecho a la salud y el derecho a la privacidad, en relación al uso que han dado los gobiernos a distintas tecnologías que capturan datos personales y sensibles, en el marco de estrategias para contener la enfermedad; cuando solicitan a las empresas privadas la entrega de los datos que recolectan, y cuando esas tecnologías se emplazan sin un ejercicio de prudencia sobre los impactos que pueden causar en los derechos humanos de la población

Con el objetivo de conocer cómo fue implementado este abordaje en la región, particularmente con relación al uso y protección de los datos personales, Derechos Digitales juntó a la Global Network Initiative realizaron un estudio para conocer de qué manera fueron usadas las tecnologías y si se puso en riesgo la privacidad de las personas. El objetivo era realizar también un primer acercamiento a los casos en los cuales los gobiernos solicitaron datos a las empresas de telefonía móvil, para entender el modo en que se realizó esa colaboración, desde una perspectiva de derechos humanos.

El estudio, titulado El uso de tecnologías para el combate de la pandemia: Datos personales en Latinoamérica, está disponible en inglés y castellano, y analiza los casos de 6 países de Latinoamérica: Argentina, Bolivia, Brasil, Colombia, Ecuador y El Salvador.

De las respuestas tecnológicas estudiadas salen a la luz algunos problemas que deben ser revisados si las futuras estrategias de salud echarán mano nuevamente de ellas. Problemas de seguridad y riesgos a la privacidad en el diseño de aplicaciones; idoneidad frente a la realidad socioeconómica de los países de la región; problemas de apego irrestricto a la normativa de protección de datos personales y ausencia de normas especializadas en algunos países; limitada transparencia respecto del desarrollo y la implementación de las soluciones tecnológicas, así como en los convenios firmados entre empresas privadas y administración pública; y falta de coherencia en el uso de aplicaciones con una estrategia general de salud, son algunas de las falencias que se han podido constatar a través de la función de contraloría que ejercen numerosas organizaciones en la región.

Queda claro que el derecho a la privacidad no es absoluto y que, en el marco de la emergencia, algunas intrusiones a este derecho, cuando está en juego la salud de la población, son tolerables. Sin embargo, eso no quiere decir que estas intromisiones deban socavar la privacidad y el derecho de autodeterminación informativa de las personas. Para ello, es necesario que cualquier respuesta en el combate a la pandemia y a cualquier futura emergencia, sea adecuada, proporcional, con una finalidad clara, delimitada en el tiempo, consentida y necesaria. Aunque parezca evidente, debe también contar con habilitaciones legales suficientes, en respeto del principio de legalidad.

Algunas de estas recomendaciones adquieren una mayor importancia para países con situaciones sociopolíticas convulsas en desarrollo, como Colombia y El Salvador, por el riesgo que representa la recolección desproporcionada de datos personales en un contexto en el que estos pueden utilizarse para la persecución de rivales políticos, defensores de derechos humanos o para mantener el control de la libertad de expresión de la población en general.

Esta columna resume parte del contenido de la investigación, que puedes revisar aquí.

Sociedad civil internacional alerta sobre los peligros para el ejercicio de derechos de proyecto de ley de regulación de plataformas digitales presentado en Chile

You can read an English version of this letter here.

Las organizaciones e individuos firmantes expresamos nuestra preocupación por el avance del Proyecto de ley de regulación de plataformas digitales, Boletín Nº 14.561-19, que se discute en el Congreso chileno. El proyecto, motivado por la necesidad de equilibrio entre el poder de algunas empresas de tecnología y la ciudadanía, establece reglas que terminan siendo peligrosas para el ejercicio de los derechos fundamentales en internet.

En especial, expresamos nuestra profunda preocupación por las razones siguientes:

La iniciativa apunta a regular a las «plataformas digitales», que define como «toda infraestructura digital cuyo propósito es crear, organizar y controlar, por medio de algoritmos y personas, un espacio de interacción donde personas naturales o jurídicas puedan intercambiar información, bienes o servicios». El concepto es demasiado amplio y vago, e incluiría a toda clase de servicios, sin importar su tamaño o base de usuarios, sus funcionalidades o propósitos, o si son sitios web o apps móviles, proponiendo una única regulación para muy distintas realidades.

La iniciativa intenta innovar en materias de protección de datos personales, derechos de los consumidores y protección de derechos de niños, niñas y adolescentes. Con esto, deja de lado las leyes vigentes y las discusiones legislativas en esas otras materias sin buscar coordinación con ellas, estableciendo reglas separadas que no mejoran el estado general de la protección de esos derechos.

La propuesta presenta una definición de “consumidor digital” (artículo 3, letra d), centrando la protección ofrecida en aspectos vinculados al consumo, ignorando impactos sociales, políticos y culturales más allá de las relaciones de consumo que se vinculan al uso de plataformas digitales.

La propuesta busca trasladar las reglas que rigen el mundo offline a las plataformas en líneas. Pero lo hace a través de la creación de obligaciones y reglas (artículo 6) que solamente entorpecen el funcionamiento en línea e imponen nuevos deberes de responsabilidad a los intermediarios generando incentivos a la remoción de contenido para limitar esas responsabilidades. De este modo, se discrimina negativamente a las plataformas digitales y se desincentiva a su creación, reduciendo la competencia y afectando a la formación de nuevos espacios de interacción en línea.

El proyecto de ley busca combatir la información «manifiestamente falsa», abordando el fenómeno de la desinformación de manera desconectada de la experiencia internacional en la materia. Con esto, lesiona las garantías de derechos humanos de libertad de expresión y libertad de información sin censura previa, contraviniendo las reglas vigentes según el sistema interamericano de derechos humanos.

La introducción de mecanismos de verificación de edad apropiados que se propone (artículo 8), aunque es loable en su objetivo de protección de la infancia, hace caso omiso que precisamente la propuesta supone recoger más datos de las usuarias para su identificación.

La referencia a no discriminación introducida (artículo 9) resulta vaga y prescinde de cualquier coordinación con la normativa vigente en la materia, imponiendo al proveedor de servicios la implementación de mecanismos de control de sesgos respecto de los cuales no se ofrecen parámetros y se dejan librados a su arbitrariedad en definitiva.

El proyecto de ley atribuye la «responsabilidad objetiva» por todos los daños ocasionados por una plataforma (artículo 15), en contradicción con sus propias reglas de exención de responsabilidad (artículo 6), y facultando a los tribunales a duplicar la indemnización por esos daños, creando en Chile la figura de los daños punitivos que no tiene reconocimiento legal ni consistencia con el sistema jurídico chileno. A la vez, ese establecimiento de responsabilidad objetiva es contrario a la recomendación de la Relatoría Especial para la Libertad de Expresión de la Comisión Interamericana de Derechos Humanos, al expresar que “un esquema de responsabilidad objetiva en el ámbito de la comunicación electrónica o digital es incompatible con estándares mínimos en materia de libertad de expresión”.
La propuesta incluye la posibilidad de suspensión o bloqueo temporal de una plataforma digital, lo que contraviene de forma directa las recomendaciones de los organismos de protección de derechos humanos para asegurar y promover una internet libre y abierta, y garantizar la libertad de expresión.

Por último, la regulación de plataformas digitales debe fomentar desconcentración de poder, transparencia y rendición de cuentas, no promover censura y entregar más poder a quienes ya lo tienen como controladores de la tecnología.

Por todo lo anterior, pedimos al Congreso chileno:

No perseverar la tramitación del Boletín Nº 14.561-19.

Iniciar un nuevo proceso de discusión de las reglas para las plataformas de internet, como un debate transparente, abierto y multisectorial, donde participen todas las partes interesadas, con los compromisos de Chile frente al Derecho Internacional de los Derechos Humanos como la base para cualquier propuesta.

Adhieren:

Daphne Keller, Director of Stanford Program on Platform Regulation.

Sonia Livingstone, Professor, London School of Economics and Political Science.
Ellen Helsper, Professor, London School of Economics and Political Science
Dr. Cory Doctorow (h.c.), Tech activist, blogger, journalist, and science fiction author.
Evgeny Morozov, author of “The Net Delusion: The Dark Side of Internet Freedom and To Save Everything”, “Click Here: The Folly of Technological Solutionism”.
Glyn Moody, Writer. Author of “Rebel Code”.
Jessica Fjeld, Assistant Director, Cyberlaw Clinic at the Berkman Klein Center for Internet & Society, Lecturer on Law, Harvard Law School.
Jillian C. York, Director for International Freedom of Expression, EFF; Author of “Silicon Values: The Future of Free Speech Under Surveillance Capitalism”.
Liza Garcia, Executive Director, Foundation For Media Alernatives, Philippines.
Michael Karanicolas, Executive Director, UCLA Institute for Technology, Law & Policy.
Prof. Arturo J. Carrillo, George Washington University Law School.
Colin Maclay, Research Professor and Executive Director of USC Annenberg Innovation Lab.
Gabriel Teninbaum, Assistant Dean of Innovation, Strategic Initiatives & Distance Education; & Prof. of Legal Writing at Suffolk University Law School.
Dr. Verónica Donoso, Digital Literacy and Child Online Safety consultant.
Micaela Mantegna, Artificial Intelligence, Ethics & Policy Prof. at the Center for Technology and Society, San Andres University. Affiliate, Berkman Klein Center for Internet & Society at Harvard University.

ARTICLE 19 (global).

Access Now (global).

Asociación por los Derechos Civiles (Argentina).

Asociación TEDIC (Paraguay).

Association for Progressive Communications (APC).

Center for Democracy &Technology (global).

Código Sur (América Latina).

Corporación Cambio Sostenible (Colombia)

Committee to Protect Journalists (global)

Dangerous Speech Project (global).

Electronic Frontier Foundation (EFF).

Fight for the Future (Estados Unidos).

Fundacion InternetBolivia.org (Bolivia).

Fundación Saber Futuro (Chile).

Hiperderecho (Perú).

Idec – Instituto Brasileiro de Defesa do Consumidor (Brasil).

Instituto para la Sociedad de la Información y Cuarta Revolución Industrial (Perú).

IFEX-ALC (América Latina y el Caribe).

Instituto de Desarrollo Digital de América Latina y el Caribe.

Intervozes – Coletivo Brasil de Comunicação Social (Brasil).

ONG Acción Constitucional (Chile)

Open Net Association (Corea).

OpenMedia (Canadá).

R3D: Red en Defensa de los Derechos Digitales (México).

Ranking Digital Rights (global).

Rhizomatica Comunicaciones (México).

SMEX (Oriente medio y norte de África).

Sursiendo, Comunicación y Cultura Digital (México).

Wikimedia Foundation (global).

Wikimedia Chile (Chile)

Wikimedia Colombia (Colombia)

World Wide Web Foundation (global).

Xnet (España).

También:

Laura Gougain.
Pablo Bello.
Claudio Ruiz.
Silvana Pezoa.
Malva Venegas.
Oscar Bar.
Virginia Gaete Quezada.
Nicola Sagredo.
Jacqueline Saldías.
Raúl Arrieta.
Daniel Pérez.
Yasmin Pérez Muñoz.
Ignacio Rodríguez Moreno.
Antonio Sáez.
Fabiola Torres Poza.
Ivan «HacKan» Barrera Oro.
Patricio Cabello. Investigador CIAE-IE Universidad de Chile, Director de proyecto Kids Online Chile.
Mauricio Moris.
Juan Jiménez A.
Fernando Ahumada.
Gabriela Iriarte Kamp.
Javiera Yáñez.
Jocelyn Simmonds.
Ronald Javet
Verónica López.
Javiera Moreno, abogada, Directora de Datos Protegidos.
Roberto Will Montoya Rodríguez.
Francisco Javier Rigual Cótua.
Paulina Villalobos.
Carolina Gainza Cortés.
Andrea Toro.
Pablo Gonzalez.
Matías Eyzaguirre Miranda.
Luis Lineros.
Iván Valdés.
Ignacio Rodríguez de Rementería.
Sebastián Smart.
Felipe Ovalle.
Gonzalo Niño Guggisberg.
Marianne Díaz Hernández.
Javier Bravo Salas.
Jean Ortiz Franco.
Manuel Mejías Pérez.
Michel Inostroza.
Franco Fasola.
Santiago Arango.
Ricardo González.
Felipe Osorio Umaña.
David Órdenes.
Francisco Tapia.
Francisco Arias.
Diego Echaiz Leiton.
Paulina Silva, abogada. Socia de Bitlaw.
Roberto San Martín Godoy.
Marcela Tyrer S.
Christian Retamal.
Andres Junge.
Claudio Jofré Larenas.
Andres Sanchez Matus.
Bárbara Oliva.
David Aragort.
Frederico Ferreira.
Tomáš Hozman.
Maria Smith.

¿Quieres sumar tu firma? Llena el formulario a continuación:

Comentarios al proyecto de ley que regula las plataformas digitales, Boletín No 14.561-19 (12 de octubre de 2021)

Descargar PDF

No bombardeen Buenos Aires: reconocimiento facial en CABA hoy

No hay dudas de que estamos ante un crecimiento exponencial en el uso de tecnologías automatizadas de reconocimiento facial en América Latina. El abaratamiento de la tecnología, junto con la expansión de los fines utilizados ha incrementado los casos de su uso por parte de Estados y empresas.

Sin embargo, la tecnología ha sido ampliamente cuestionada por organismos internacionales y por la sociedad, ya sea a través de manifiestos, protestas e incluso demandas. Por ejemplo, en algunas ciudades de los Estados Unidos se decidió prohibir el uso de reconocimiento facial, ya que no existen garantías para el respeto de derechos humanos.

En el caso de los Estados, ciudades como Salvador, São Paulo, Río de Janeiro, Lima, Nueva York, Londres y Buenos Aires han adoptado este tipo de sistemas para monitorear la población en diferentes lugares, alegando fines de seguridad pública.

Esta semana surgió un prometedor avance regulatorio en la ciudad de Buenos Aires, Argentina.

Críticas y acciones contra el sistema de reconocimiento Facial en la Ciudad de Buenos Aires

El “Sistema de Reconocimiento Facial de Prófugos” (SRFP) consiste en 300 cámaras de vigilancia en las calles y estaciones de metro, siempre siguiendo la línea que más tecnología aumentaría la seguridad y cuidaría a las personas. A pesar de las severas críticas, tomó 22 días la implementación del sistema.

El relator especial de Naciones Unidas sobre el Derecho a la Privacidad, criticó la falta de evaluación previa a su implementación y proporcionalidad de las medidas. Además, mostró preocupación respecto a la base de datos que alimenta la SRFP (Sistema de Consulta de Rebeldías y Capturas-CONARC), ya que fue realizada una inserción desproporcionada en la base de datos, divulgación indebida de datos, falta de información sobre qué delitos se imputan, errores y fallas y falta de actualización.

Respecto al caso específico, la ONG Human Rights Watch fue enfática sobre la existencia de graves daños a los derechos de la niñez y la adolescencia, ya que al analizar la base de datos se encontraron al menos 166 menores, incluidos niños sospechosos de haber cometido delitos de menor potencial ofensivo.

Acciones jurídicas impulsadas desde sociedad civil

Como si las críticas no fueran suficientes, el sistema fue impugnado por al menos dos juicios. Una demanda, presentada por la organización Asociación por los Derechos Civiles (ADC), solicita ante el Tribunal Superior de Justicia porteño que declare inconstitucionales los cambios legales. El otro, propuesto por el Observatorio de Derecho Informático Argentino (ODIA) pide un juicio de amparo en primer grado de competencia, que requiere el análisis del sistema a través de la constitucionalidad y convencionalidad, además de las medidas cautelares para suspender su uso.

El pasado 13 de octubre, Derechos Digitales fue admitida como amicus curiae en la demanda propuesta por ODIA. Se amplió la participación social en el caso, recibiendo también aportes de otras organizaciones, como Access Now y Asociación Trabajadores del Estado (ATE), además de la adhesión y participación de los ciudadanos como autores de la demanda.

Reflexiones sobre el caso Ciudad de Buenos Aires

Este proceso muestra claramente tres cuestiones centrales, que se reproducen de la misma manera otros países. El primero, es un tema técnico con implicancias sociales relevantes en cuanto al uso de la inteligencia artificial y lo que esto significa para la ciudadanía. El segundo tema, se relaciona con la democracia en sí y la transparencia del sistema. El tercer tema es el respeto a los derechos humanos.

Al principio, la cuestión de la velocidad con la que se desarrolló y entregó el proyecto es impresionante. Solo pasaron 22 días desde el lanzamiento del proyecto hasta su implementación, una velocidad que sería “envidiable e incluso sospechosa”, según ODIA.

1. Implicancias sociales: falsos positivos y la discriminación

Sin embargo, la cuestión técnica que tiene las mayores implicaciones sociales se refiere a la precisión y calidad de la base de datos utilizada. Los estudios más variados demuestran una menor tasa de aciertos en personas de piel oscura y mujeres.

El estudio “Gender Shades”, por ejemplo, demuestra que las tasas de error son diferentes según el grupo analizado, alcanzando más del 90% de identificación incorrecta para personas de piel oscura. Y menos del 1% de error para personas de piel más clara. Si bien puede ser un fallo en la calibración de los datos, ya sea por el uso de bases de datos sesgadas o por otros motivos, lo cierto es que hay que analizar si este tipo de tecnología incide desproporcionadamente en la garantía de igualdad a las personas tradicionalmente discriminadas y más vulnerables, como pueblos originarios, mujeres, niños, ancianos y personas trans.

2. Democracia y transparencia

En cuanto al tema de la democracia y la transparencia, parece que hay poco o ningún debate en el legislativo sobre la implementación de este tipo de sistema. Asimismo, en muchos casos existe una gran opacidad en cuanto al uso de la tecnología, bajo el argumento que el tema no debe ser debatido, que “es demasiado técnico” para una amplia participación social y que la transparencia no sería necesaria.

En el caso de Buenos Aires, tanto la ADC como el ODIA, plantearon importantes y extensas preguntas sobre la creación, contratación, uso y salvaguardas del sistema de reconocimiento facial. Obtuvieron poca o ninguna respuesta. Si bien las investigaciones muestran que la tecnología “generalmente se crea en el exterior y se utiliza en casa”, existe una falta de transparencia sobre cuáles son las empresas responsables de la implementación de la tecnología, especialmente, en los procesos de definición de la contratación.

3. Vigilancia y derechos humanos

Finalmente, el tema de los derechos humanos involucrado en la aplicación de tecnología de vigilancia masiva. Desde 2013, luego del caso Snowden, Brasil y Alemania propusieron una resolución a la Asamblea General de la ONU, sobre “El derecho a la privacidad en la era digital”.

Con la actualización de la citada resolución en octubre de 2021, se dio mayor robustez a las cuestiones sobre el uso de datos biométricos, con el reconocimiento expreso que los usos de la inteligencia artificial (IA) pueden suponer graves riesgos para el derecho a la privacidad, citando como ejemplo, el empleo de IA para identificación, reconocimiento facial, seguimiento, elaboración de perfiles, predicción de comportamiento y puntuación de personas.

La conclusión de la asamblea de la ONU es que los Estados deben garantizar que las tecnologías de identificación y reconocimiento biométrico —incluidas las tecnologías de reconocimiento facial por parte de actores públicos y privados— no permitan la vigilancia arbitraria o ilegal, incluidos quienes ejercen su derecho a la libertad de reunión pacífica.

¿Qué es peor: un sistema de reconocimiento facial que no funciona o uno que sí lo hace?

La semana pasada, el portal América Transparente publicó un reportaje realizado por María Fernanda Leiva y Tamara Silva, donde se denuncia una inversión millonaria realizada por dos municipalidades del sector oriente de la ciudad de Santiago de Chile por un sistema de reconocimiento facial que no funciona.

En total, la investigación consigna el pago de USD $582.880 (aproximadamente 390 millones de pesos chilenos) por el software de la empresa francesa INDEMIA, uno de los principales proveedores de esta tecnología en la región. Del total, la comuna de Las Condes habría aportado USD $517.880 y Lo Barnechea USD $65.000.

Cada comuna cuenta actualmente con diez cámaras de vigilancia conectadas al software de INDEMIA. Según la información recopilada por Leiva y Silva, a diciembre de 2020, un año después de su implementación, el sistema habría reconocido a diez personas. Al parecer, la pandemia habría hecho estragos en los modestos resultados del sistema: citado en el reportaje, el alcalde de Lo Barnechea dice que, debido al “uso masivo de mascarillas desde marzo de 2020, no han existido en ese periodo las condiciones necesarias que permitan evaluar la eficacia de las cámaras de reconocimiento facial”.

El reportaje además establece que el contrato se habría gestado por medio de una adjudicación directa, firmada la Asociación de Municipalidades para la Seguridad Ciudadana de la Zona Oriente (AMSZO), entidad que está siendo cuestionada por el manejo de miles millones de pesos sin ningún tipo de control o fiscalización.

Hasta acá, el reportaje es interesante porque contiene prácticamente todos los elementos ya característicos de las polémicas en torno a la implementación de tecnologías de reconocimiento facial en la región: sistemas incapaces de hacer lo que se espera de ellos, poca transparencia respecto a los procesos de contratación y puesta en marcha, la inexistencia de procesos de evaluación adecuados y ni hablar de evaluaciones de impacto en derechos humanos.

Además, toca un punto central que usualmente es dejado fuera del discurso de fabricantes y políticos ávidos de figuración pública: las tecnologías de reconocimiento facial no son mágicas y requieren de ciertas condiciones que permitan hacer capturas adecuadas para efectuar la comparativa de los rostros; cuestiones tan elementales como la ubicación de la cámara o si la persona usa sombrero o lentes pueden alterar la eficacia del sistema, lo que puede traducirse en que el sistema simplemente no sea capaz de reconocer o que reconozca equivocadamente.

Y sin embargo, la pregunta que me parece más importante plantear es la siguiente: ¿sería preferible que el sistema funcionara? ¿Estaríamos hablando de ello si en vez de 10 personas el sistema hubiese reconocido a 100 o a 10 mil? No quiero minimizar la importancia del concepto de transparencia, especialmente respecto al gasto de fondos públicos y todavía más cuando se ha gastado en algo que además no funciona. Pero lo que parece más grave acá es que dos comunas hayan decidido omitir cualquier debate respecto a la legalidad de implementar un sistema de estas características, que además no puede estar escindido de una discusión sobre derechos humanos.

Como hemos mencionado en otras ocasiones, la ley vigente en Chile sobre datos personales, en su artículo 10, prohíbe el tratamiento de datos sensibles, a menos que esté autorizado por la ley, exista consentimiento del titular o sean datos necesarios para la determinación u otorgamiento de beneficios de salud que correspondan a sus titulares. Queda a la vista que la creación de una infraestructura de vigilancia masiva no está considerada en este listado y, por lo tanto, es ilegal. Así, cualquier intención en esa dirección debería canalizarse por medio de una discusión legislativa respecto a si como sociedad estamos de acuerdo con el desarrollo de este tipo de tecnologías en el espacio público. Y no son pocos los municipios y ciudades alrededor del mundo que han respondido a esa pregunta con una prohibición o una moratoria.

Utilizar tecnología de reconocimiento facial para la vigilancia masiva y el combate de delitos comunes implica invertir el principio de presunción de inocencia en favor de un sistema totalitario de control del espacio público, mediante la gestión técnica de la identidad que tiene como consecuencia la alienación del propio cuerpo, por medio de la pérdida de control y autonomía sobre nuestros rostros, los que pueden ser utilizados en contra de nuestros intereses. ¿Es esa la sociedad en la que queremos vivir?

Incluso si la respuesta a esa pregunta es sí, la discusión legislativa permite establecer límites y controles respecto de sus usos, así como el listado de requisitos previos y posteriores a la implementación que deben ser satisfechos. No puede ser una cuestión que quede a la discreción y los recursos disponibles de una autoridad comunal. Más todavía cuando hemos visto que la implementación de este tipo de tecnologías, a pesar de presentar escasos resultados en términos de seguridad pública, sí puede constituir una efectiva técnica de marketing político. El mejor ejemplo de ello en Chile es precisamente el ex alcalde de Las Condes, Joaquín Lavín, como demostró en su más reciente (y fallida) incursión presidencial.

No podemos seguir permitiendo que estas discusiones se realicen por medio de subterfugios, apelando a áreas grises o lisa y llanamente ignorando la ley. Necesitamos responder desde una convicción democrática y comprometida con los derechos humanos. ¡No al reconocimiento facial en el espacio público!

Afganistán: cuando lo que compartes en internet te puede costar la vida

Una de las cosas más difíciles de tomar acciones para proteger nuestra información es convencernos de que estamos frente a un problema real, que se trata de algo cuyas probabilidades de afectarnos no son bajas y que no se trata de esas cosas que solo le pasan a los demás, nunca a nosotros. ¿A quién le puede interesar mi información? Es la típica pregunta de los escépticos, junto con el conocido “quien nada hace nada teme” o “no tengo nada que esconder”.

Pero no necesitamos ser personajes públicos para que nuestra información sea recolectada, almacenada, procesada y compartida por terceros. La tecnología actual permite el tratamiento automatizado de grandes volúmenes de datos, de manera que poco importa que los detalles de nuestra vida nos parezcan o no de interés. La información que pongamos a disposición de terceros será tratada, inevitablemente.

Todos tenemos algo que esconder, lo queramos o no. Es normal. Un placer culpable, alguna adicción, algo de lo que nos arrepintamos, aunque no sea ilegal; alguna mentira, compras irracionales, un pariente cercano que preferimos ocultar, un amante, una historia que no queremos contar, una opinión políticamente incorrecta, nuestras deudas o lo que buscamos en internet. Incluso puede ser algo que en un momento y contexto determinado era —personal y socialmente—aceptado, pero ya no.

Sin embargo, hoy, de diferentes maneras e incluso sin saberlo, compartimos nuestras vidas con internet y vamos dejando un que podría volverse en nuestra contra, con efectos que ni siquiera somos capaces de dimensionar. Esa es la situación de muchas personas en Afganistán, especialmente gente joven que nació y creció en un país ocupado por fuerzas militares estadounidenses y que, de la noche a la mañana, se vieron gobernados por un régimen que creían superado; y con ello, la necesidad de borrar todo rastro que pudiera hacerlos objeto de represalias por parte del régimen Talibán. Todo aquello que hicieron cuando las reglas eran otras.

No se trata aquí únicamente de disidentes políticos que serán perseguidos, sino de padres, madres, hijes y hermanes que serán castigados por haber apoyado a los gobiernos anteriores o incumplir reglas impuestas por fanáticos religiosos. Y aquí —cómo siempre— las mujeres son las que mayor riesgo corren, porque a ellas se les castiga simplemente por existir.

Por ello, la fundación Human Rights First ha puesto a disposición de la comunidad distintos documentos para que las personas puedan proteger su historial digital de abusos. Pero no es una tarea fácil: el trabajo de eliminación de historial implica revisar email, redes sociales, aplicaciones de mensajería, buscadores y muchas otras plataformas a las que probablemente ni siquiera recordemos haber accedido. Y en el caso de Afganistán, el solo hecho de haber creado una cuenta en una aplicación usada por organizaciones extranjeras podría ser considerado sospechoso.

Algunas de las recomendaciones

Algunas plataformas, como Google, permiten elevar solicitudes para la eliminación de información, pero debe tratarse de casos justificados relacionados con enlaces perjudiciales, por lo que no pareciera ser la medida más efectiva. En relación a las aplicaciones o páginas web cuyo uso no recordemos, una de las recomendaciones es revisar el listado de contraseñas guardadas en el navegador. Otra opción es buscar en el correo electrónico los emails recibidos al momento de registrarse en aplicaciones o páginas en internet.

Por su parte, Access Now ha puesto a disposición de las usuarias una guía para “autoidentificarse”, que sirve para hacer el camino que probablemente recorrería alguien que quisiera obtener información sobre una cuenta anónima.

Sin duda habrá quienes piensen que lo más fácil sería borrarlo todo y deshacerse del teléfono y el computador. Pero en la actualidad no tener tecnología ni vida digital resulta de por sí sospechoso. Por ello podría ser recomendable crear una vida digital paralela, para lo cual Human Rights First también dispone de un documento con recomendaciones. Aunque sin duda es algo que resulta complejo pues requiere tiempo y recursos con los que no todos cuentan en el marco de la emergencia.

Datos personales colectivos

Nuestra historia no solo se cuenta gracias a la información que nosotros damos a conocer. Cualquiera que haya sido etiquetado por Facebook en una foto subida por un desconocido sabe que su privacidad también depende de la información que comparten otras personas. Y así, por mucho que nos esforcemos por eliminar nuestro pasado digital, necesitamos de un esfuerzo colectivo. De ahí el llamado hecho en Twitter por la directora de Democracia y Tecnología de la organización National Democratic Institute, Moira Whelan, a los encargados de redes sociales del Gobierno de EEUU para conseguir permiso para purgar todas las cuentas y canales con imágenes y pies de foto de socios afganos.

El peligro existe también en aquella información que puede ser obtenida sin más intervención por nuestra parte que el hecho de salir a la calle. Tal es el caso de la tecnología de videovigilancia, la misma que en los últimos años hemos visto tomarse los espacios públicos en América Latina sin mayor resistencia, protegida por el discurso anti delincuencia. Pero esta tecnología no ataca a la delincuencia, solo invierte el principio de inocencia: todos somos sospechosos hasta que probemos lo contrario y por ello debemos aceptar ser vigilados

En el caso de Afganistán todo apunta a que los talibanes se han apoderado de los dispositivos biométricos de los militares estadounidenses y que están haciendo uso de los datos biométricos recolectados durante años para encontrar a quienes colaboraron con los gobiernos anteriores y las ONGs extranjeras. No son sospechas, son hechos: los talibanes ya comenzaron la búsqueda casa a casa de sus disidentes.

Por lo mismo, Human Rights First publicó un documento sobre cómo evitar ser reconocidos por sistemas de reconocimiento facial, aunque lograrlo es inmensamente complejo.

Todo suma

Sin duda, resulta desgastante intentar proteger nuestra información y la tentación de ceder por agotamiento está siempre latente. Resulta extenuante revisar las políticas de cookies cada vez que ingresamos a una página o discutir con desconocidos por no querer entregar nuestro número de identificación único, cuando no hay motivo para ello.

Pero eliminar información es mucho más difícil que evitar entregarla, porque aquello que compartimos con terceros suele ser compartido con otros, que a su vez la vuelven a compartir. Por eso, siempre más vale intentarlo. Aun si hasta ahora nos hemos descuidado, nunca es tarde para empezar a proteger nuestra información ni para exigir que nuestro derecho a la privacidad y a la protección de nuestros datos sean respetados.

Las puertas traseras no protegen la privacidad

Para frenar la difusión de material de abuso sexual infantil (CSAM), Apple ha anunciado importantes cambios y nuevas funcionalidades en sus sistemas, incluyendo el análisis de las imágenes enviadas y recibidas por parte del software instalado en los dispositivos, un mecanismo de clasificación de imágenes con contenido sexual para el control parental en cuentas familiares y cambios en algunas funciones de Siri y Search para bloquear términos de búsqueda que tengan relación con el abuso sexual infantil. Estas funciones, que inicialmente regirán para usuarios en Estados Unidos de las versiones más recientes de iOS, iPadOS, watchOS y macOS, sientan un peligroso precedente para la privacidad y la seguridad de las personas en todo el mundo.

El uso de sistemas de identificación de contenidos por medio de inteligencia artificial para levantar alertas supone un tratamiento por lo menos opaco del problema. Por último, aunque sea legítima la búsqueda de soluciones frente a crímenes como el abuso sexual infantil, cualquier funcionalidad técnica que permita que terceros accedan a contenidos privados pone en riesgo a todas las personas que utilizan dichos sistemas. En este caso, a quienes utilizan cualquier dispositivo conectado a internet.

Escaneo de imágenes en el dispositivo

Una de las funcionalidades presentadas consiste en la detección de imágenes que se capturan y comparten entre dispositivos Apple mediante un algoritmo hash, es decir, una cadena fija de caracteres que identifica de manera única cada imagen.

A partir de ahora los dispositivos analizarán todas las imágenes que pasen por ellos, generarán un hash para cada una y lo contrastarán con una base de datos dispuesta por el National Center for Missing and Exploited Children(NCMEC), organización estadounidense que colabora con la justicia en la persecución de delitos de abuso sexual infantil. Así, dentro de cada dispositivo el sistema se encargará de escanear y contrastar todas las imágenes con esa base de datos, para identificar cualquier coincidencia. Una vez las imágenes se suben a iCloud, se agregan los resultados del cotejo a través del hash. Si se supera un umbral predefinido en la cantidad de coincidencias, un humano dentro de la compañía revisará manualmente el caso, luego de descifrar el contenido. Vale decir que, hasta hoy, Apple ofrece cifrado e2e en todos los contenidos que se comparten en sus sistemas.

Esta implementación es problemática porque la base de datos de hash de imágenes preparada por el NCMEC no es auditable, y si es manipulada arbitrariamente no hay manera de detectar dicho cambio, por lo que podría utilizarse, por ejemplo, para fines de persecución política, cultural o de género. Una vez el sistema está diseñado para cumplir una función, los fines y medios para ejecutarla pueden fácilmente salirse de las manos de quienes la diseñaron.

Por otra parte, existe la probabilidad matemática de que dos imágenes totalmente distintas o lejanamente similares coincidan en el hash generado, provocando falsos positivos, que solamente serán verificados luego de la intervención humana de alguien afiliado a la compañía, y habiendo roto la promesa de cifrado e2e, esto es, la promesa de privacidad sobre la que sustenta su oferta de valor.

Aprendizaje automático para clasificación de imágenes

Otra funcionalidad es la implementación de un algoritmo de aprendizaje automático que se aplicará a las cuentas de iMessage para menores de 18 años y sus tutores, en el marco de una cuenta “Familiar”. El algoritmo clasificará las imágenes, enviadas o recibidas, en cuanto al contenido sexual explícito que puedan contener. El sistema enviará una alerta a las personas usuarias menores de 18 años sobre el tipo de contenido que están compartiendo. Si la persona es menor de 13 años, el sistema alertará también a sus tutores y la imagen quedará almacenada en el dispositivo del menor, sin posibilidad de remoción.

Como se ha demostrado muchas veces en el pasado, los algoritmos de aprendizaje automático, sin supervisión humana, presentan muchos problemas de funcionamiento en la clasificación de contenidos. Así, los tutores de niños, niñas y adolescentes que no estén compartiendo contenidos sexuales explícitos pueden recibir alertas y los menores pueden ser sujetos de vigilancia e intromisión a su privacidad. Además, frente a una definición vaga de “infancia” —como menores de 18 y 13 años—existe el riesgo de atentar contra la normal expresión sexual y corporal, así como al acceso a la información, por ejemplo, en el caso de personas LGBTQ+.

Además, tal como está planteado el funcionamiento del sistema podría ocurrir la siguiente paradoja: en caso de que un menor que no tiene una cuenta Familiar enviare una fotografía calificada por el sistema como “sexualmente explícita” a un menor de 13 años que sí es parte de un plan Familiar, la fotografía del primer menor quedaría indeleblemente almacenada en el dispositivo del segundo menor y podría ser revisada por sus tutores, sin que el emisor original lo supiera. ¿En manos de quién queda definir la legitimidad de las imágenes compartidas en el marco de una comunicación que se garantiza como privada?

Finalmente, como hemos mencionado, el desarrollo de una tecnología con fines legítimos puede ser perfectamente aplicable a otros fines. Así, la modificación mínima de parámetros en el algoritmo de aprendizaje automático permitiría identificar, bloquear y perseguir, contenidos no solamente ilegales, sino que necesarios, con fines represivos.

Algunas conclusiones

Bajo la premisa de su compromiso en la lucha contra la explotación sexual infantil, y aunque defiendan la idea de que sus soluciones técnicas respetan la privacidad y el principio de cifrado extremo a extremo, la verdad es que Apple está abriendo una brecha de seguridad importante, con el potencial de atentar contra el derecho a la intimidad de niños, niñas y adolescentes, así como generando un precedente que podría facilitar la persecución política y la vigilancia a todo tipo de grupos vulnerables y emisores de discursos incómodos.

Cabe recordar que uno de los principales ganchos publicitarios de Apple ha sido precisamente ofrecer los más altos estándares de privacidad y seguridad en las comunicaciones, lo que sin duda ha llevado a muchas personas a preferirles. Un ecosistema cerrado, no interoperable era lo que había que transar en favor de dicha protección. Sin embargo, hoy, cuando la continuidad de esa promesa está en entredicho, a aquellas personas que confiaron en la marca les será muy difíciles migrar a alternativas más respetuosas de su privacidad. Así, el monopolio de los sistemas operativos (OS, iOS, iPadOS) genera una dependencia directa que ata a las personas a las arbitrariedades del fabricante.

El padrón del mal: irregularidades, inconstitucionalidad y vigilancia estatal de los datos telefónicos

Cómo en las películas de terror, el pasado 18 de mayo revivió de forma inesperada y con urgencia inmediata decretada por el presidente un proyecto de ley que dormía en el Congreso desde su nacimiento, en agosto de 2018.

Se trata del Boletín n° 12.042-15 que modifica la ley N° 18.168, General de Telecomunicaciones, en materia de individualización y registro de datos de los usuarios de servicios de telefonía en la modalidad de prepago. La idea del proyecto es la creación de un padrón de usuarios para combatir la delincuencia, imitando un método que ha fracasado a nivel mundial y que en algunos casos incluso ha empeorado la situación: en México el primer padrón tuvo que ser eliminado en 2011, después de la vulneración y venta en el mercado negro de la base de datos, lo que vino acompañado del aumento de los delitos de extorsión y de secuestro (+40% y +8% respectivamente. Para más información sobre el nuevo padrón en México, revisar aquí).

Una tramitación acelerada y desequilibrada

Tan pronto resucitó, el proyecto se puso en tabla para su discusión parlamentaria. Una semana después la Comisión de obras públicas de la Cámara de Diputados estaba sesionando para su votación, aunque finalmente se haya acordado postergarla con el objeto de escuchar previamente algunas exposiciones.

En sesión del 15 de junio expuso la Policía de Investigaciones, el Ministerio Público y la Subsecretaría de Telecomunicaciones, y se acordó gestionar la postergación de la Urgencia de discusión inmediata para escuchar también a la Subsecretaría de Prevención del Delito y al OS9 de Carabineros de Chile.

Hasta aquí, ningún representante de la academia o de la sociedad civil había sido invitada a participar de la discusión. Y como en pedir no hay engaño, los partidarios del proyecto aprovecharon la oportunidad para hacer particulares requerimientos.

En su primera exposición ante la Comisión, el Jefe Nacional de Delitos Económicos y Medio Ambiente hizo tres requerimientos, para su incorporación al proyecto de ley en discusión:

Uso de un sistema de autentificación biométrico en línea, proponiendo para ello el uso de las bases de datos del Registro Civil.
Un padrón de celulares, mediante el registro de su número IMEI (International Mobile Equipment Identity).
Reducir el tiempo dispuesto en el proyecto para su entrada en vigencia, de 2 años a 6 meses.

En cuanto a las dificultades económicas asociadas a propuestas de este tipo, señaló que ello se resolvía mediante el traspaso de sus costos y en cuanto al problema que se suscitaría para la población migrante que no cuenta con documentos de identificación, valoró que ello obligaría a los inmigrantes a acreditar su situación migratoria. De los problemas de proporcionalidad e inconstitucionalidad de este tipo de padrones y tecnologías de vigilancia, ni una sola palabra.

Un acto de fe

El 29 de junio se llevó a cabo una nueva sesión, la que por fin contó con la participación de una voz crítica. Daniel Álvarez Valenzuela, académico de la Facultad de Derecho de la Universidad de Chile, fue el encargado de mostrar la otra cara del proyecto.

El académico e investigador expuso sobre los problemas de ciberseguridad, proporcionalidad e inconstitucionalidad de la medida y sobre la ausencia de un marco normativo adecuado para asegurar que el pretendido registro termine sirviendo a intereses distintos a los tenidos en vista por el legislador en su proyecto. Además, y en caso de que la Comisión quisiera seguir avanzando con el proyecto a pesar de estas advertencias, planteó la necesidad de incorporar un sistema de responsabilidades y fuertes sanciones que prevengan y castiguen el mal uso de este tipo de medidas.

La reacción de las policías no se hizo esperar: criticaron la desconfianza, desmintieron la necesidad de contar con este tipo de sanciones y llamaron a confiar en las instituciones. Pero en un país donde el ejército espía a periodistas por investigar casos de corrupción y las policías realizan montajes burdos y vigilan sindicatos, organizaciones sociales como la Red Chilena Contra la Violencia hacia la Mujer, e incluso a la Agrupación Nacional de Empleados Públicos (ANEF), lo que piden, más que un acto de confianza, es un acto de fe.

Test de Proporcionalidad

Pero más allá de la confianza que podamos tener o no en nuestras instituciones, el proyecto no cumple con ninguno de los tres criterios del test de proporcionalidad que, conforme estándares internacionales, debiese cumplir cualquier medida susceptible de afectar derechos o garantías fundamentales: idoneidad, necesidad y proporcionalidad.

La medida no es idónea para alcanzar los objetivos propuestos, por cuanto existen otras formas de cometer delitos en el anonimato y la experiencia comparada ha demostrado que iniciativas similares no han logrado disminuir el tipo de delitos que se propone combatir. Tampoco resulta necesaria, según reconoció la misma PDI al señalar, en sesión legislativa del 15 de junio, que existen otros medios para lograr identificar a los delincuentes, pero que la medida en cuestión lo haría “mucho más fácil”. Y en ningún caso resulta proporcional, al implicar el sacrificio del derecho al anonimato de todos los chilenos, con la única finalidad de poder identificar —en el mejor de los casos—a un grupo de personas que representa el 0,05% de la población.

Así, el registro de usuarios de telefonía móvil que se discute en el Congreso tiene serios vicios de constitucionalidad y no cumple con ninguno de los tres criterios del test de proporcionalidad. Por si lo anterior no fuera suficiente, en el último tiempo se han registrado suficientes casos de vigilancia estatal como para comprender el peligro que significa una medida de este tipo en un país cuya infraestructura y normativa no entregan siquiera garantías mínimas para su uso restringido, seguro y adecuado.

En síntesis, existen razones de sobra para sostener que un registro como el propuesto no debiese existir y mucho menos incorporar tecnologías que, lejos de protegernos, entrega al Estado capacidades que menoscaban nuestros derechos.