Temática: Vigilancia
Contra la vigilancia masiva: Hasta que la dignidad se haga costumbre
Mientras que en mayo del año pasado la ciudad de San Francisco (cuna de este tipo de tecnologías) prohibió la utilización de tecnología de reconocimiento facial en espacios públicos, la Unión Europea pondera seguir este camino o al menos implementar una moratoria de cinco años a la utilización de estos mecanismos en espacios públicos; en Chile se ha anunciado por Mercado Público una licitación para la compra de equipamientos para un “Sistema de Teleprotección Nacional” por más de 14 mil millones de pesos que incluye tecnología de reconocimiento facial. Este sistema forma parte del programa “Calle Segura”, la iniciativa más ambiciosa para aumentar de capacidad de vigilancia del Estado desde la vuelta a la democracia.
En el contexto de protesta social en el que el país se encuentra sumido desde octubre del año pasado y ad portas de un proceso constituyente, donde las necesidades de expresarse públicamente y manifestarse pacíficamente mantendrán movilizada a parte importante de la población: ¿Qué podría salir mal?
Las razones que han llevado a la prohibición o moratoria de uso del reconocimiento facial en espacios públicos son claras y compartidas: este tipo de tecnologías entregan al poder político una capacidad ilimitada, desproporcionada e injustificada para identificar, perfilar y vigilar a sus ciudadanas; aún cuando la ejecución de estas actividades es incompatible con el Estado democrático de Derecho.
La paradoja del reconocimiento facial
Una de las principales críticas a las tecnologías de reconocimiento facial es su tasa de falsos positivos, es decir, el porcentaje de veces que el sistema reconoce de forma equivocada al afectado. La policía londinense reportó que un sistema de estas características identificó erróneamente a los individuos en un 92% de los casos, en Nueva York se obtuvo un 80% de falsos positivos y en nuestro país, el sistema del Mall Plaza resultó en un 90% de casos erróneos ¿Existe alguna otra industria que pueda mantenerse lucrativa con esos resultados?
Más allá de su efectividad -y la cuestionable justificación económica de esa inversión por el Estado, frente a las múltiples demandas sociales que requieren urgente atención- lo que resulta realmente espeluznante del reconocimiento facial, para aquellos que amamos y defendemos la libertad, es que estamos ante una tecnología que entrega una capacidad completamente desproporcionada al Estado y le permite ampliar su poder político para identificar a sus ciudadanas en el espacio público, un verdadero estado policial de control que trata a las personas como permanentes sospechosas. Este es el Estado del que nos habló Orwell en 1984.
Hoy estamos, entonces, ante una paradoja. El reconocimiento facial es una mala inversión para los recursos del Estado porque no sirve -ya se ha demostrado que es incapaz de entregar el resultado que promete- y el precio lo pagarán con sus derechos y libertades aquellos erróneamente identificados por el sistema. Aún si fuese capaz de alcanzar su objetivo, las consecuencias en el ejercicio de los derechos de las personas serían irreversiblemente más graves; es por esto que la implementación de este tipo de tecnologías resulta incompatible con un Estado de Derecho.
En el peor de los momentos
El anuncio de este sistema de vigilancia masiva ocurre en un momento particular, a la mitad de la revuelta social y política más importante que ha vivido Chile en los últimos 30 años. En un escenario en donde al menos tres organismos internacionales han constatado la existencia de gravísimas y generalizadas violaciones a los derechos humanos de la población.
La implementación de este sistema de vigilancia masiva se produce, entonces, en un contexto en el que se constata una progresiva criminalización al legítimo derecho de la población a la protesta social. El sistema propuesto entrega una herramienta tecnológica adicional para acrecentar la capacidad de control del Estado sobre la expresión y la manifestación, como un ejercicio de poder sin contrapesos ni obligación de rendición de cuentas en su uso. Si previo al estallido social vivimos situaciones como la Operación Huracán o la vigilancia policial revelada por el Paco Leaks ¿qué garantiza que un sistema de vigilancia masivo con reconocimiento facial no será utilizado para perfilar a dirigentes sociales, perseguir a activistas, medios independientes u hostigar a oponentes políticos?
Las bases de licitación son claras en entregar al sistema la mayor discrecionalidad y arbitrariedad posible, describiendo las cámaras como un mecanismo legítimo incluso para perseguir “incivilidades”. En otras palabras, se proponen como una solución para perseguir conductas que van desde cometer delitos hasta botar papeles en la calle, contraviniendo uno de los principios básicos de la disciplina jurídica de protección de datos personales: el principio de proporcionalidad.
Las bases de licitación son además ambiciosas, pero poco precisas. Se establece que el sistema de vigilancia tiene que ser capaz de reconocer rasgos faciales, patrones de comportamiento y contar con algoritmos de aprendizaje de máquinas (machine learning); sin embargo, no establece definición alguna de qué parámetros técnicos deberán cumplir ni provee información acerca de los datos que serán usados para su entrenamiento. Tampoco hay mención a cualquier mecanismo de control o resguardo de los derechos de las personas sujetas a este sistema de vigilancia masiva.
La pretensión del gobierno por generar mecanismos de vigilancia masivos en espacios públicos se basa en una premisa errada que nuestros tribunales superiores de justicia han sido claros en descartar: que «no existe» la privacidad en el espacio público. Claro que las personas no gozan del mismo nivel de privacidad en la calle que en la sala de estar de sus casas, pero eso no quiere decir que uno renuncie totalmente a la privacidad al cruzar el umbral de la puerta.
Y es que la privacidad y el anonimato son además condiciones necesarias para el ejercicio de otros derechos fundamentales, como la libertad de expresión, el derecho a reunión, petición, la libertad de culto y la no discriminación. De esta forma la implementación de sistemas de vigilancia masiva genera un efecto inhibidor donde, por miedo a represalias ulteriores, las personas podrían sentirse presionadas a no ejercer sus derechos o ejercerlos de forma limitada.
¿Podrán los chilenos seguir manifestándose con tranquilidad y libertad sabiendo que sus rostros están siendo identificados y que cada uno de sus patrones de comportamiento están siendo analizados por el mismo gobierno que los reprime? La respuesta es obvia.
Llamado a la acción
Desde Derechos Digitales nos oponemos a la implementación de este sistema de vigilancia incompatible con el Estado democrático de Derecho, que vulnera los derechos fundamentales de la población.
La Subsecretaría de Prevención del Delito debe rendir cuenta a las chilenas de su actuar, y es por eso que tal como lo hemos hecho nosotros, invitamos a todos nuestros lectores a utilizar el mecanismo de acceso a la información pública para requerir información de cómo este plan de vigilancia masiva pretende ser implementado y les afecta. Para ello les compartimos un modelo de solicitud que pueden bajar acá. La solicitud se debe ingresar en el portal de transparencia de la Subsecretaría de Prevención del Delito, de forma que exijamos al gobierno transparentar los detalles de este sistema de vigilancia masiva a todas sus ciudadanas interesadas en proteger el respeto de los derechos humanos que les hizo salir a la calle en 2019: para exigir que la dignidad se haga costumbre.
Latin America in a Glimpse (2019)
Edición 2019 del reporte Latin America in a Glimpse
21N en Colombia, defender el anonimato en la protesta
El pasado 21 de noviembre en Colombia se celebró un paro nacional de dimensiones extraordinarias. Diferentes sectores de la población salieron a las calles de varias ciudades del país para protestar contra las reformas laboral y pensional, así como para exigir que se cumpla el Acuerdo de Paz, se adelanten medidas anticorrupción y se detenga el asesinato masivo de líderes sociales, entre otras demandas. Sin precedentes en la historia reciente del país, este paro se ha extendido por ocho días consecutivos, y se ha caracterizado por no tener una sola vocería ni un actuar coordinado de manera centralizada. Las manifestaciones van desde cacerolazos y asambleas vecinales hasta expresiones artísticas masivas, y a medida que pasan los días, más sectores se han sumado a la movilización.
En días previos al 21N fue noticia la militarización de la capital, así como otras “medidas preventivas” por parte de las Fuerzas Armadas en todo el país, con ocasión del paro. También se conoció de los operativos de allanamiento a artistas, medios de comunicación independientes e integrantes de movimientos sociales, muchos de los cuales fueron luego declarados ilegales al no encontrarse elementos que relacionaran a las personas afectadas con actos vandálicos o criminales.
Además de los allanamientos, que buscaban “identificar e individualizar a los encapuchados que en protestas anteriores han generado hechos de vandalismo y terrorismo en la ciudad”, el día anterior al paro varios medios de comunicación reportaron que durante la jornada de protesta la Policía de Bogotá estrenaría un sistema de reconocimiento facial instalado en el helicóptero Halcón, que desde principios de 2017 sobrevuela la ciudad adecuado con cámaras de alta resolución para apoyar desde el aire en la persecución del crimen.
De acuerdo con los reportajes, esta nueva tecnología -que también sería utilizada en la ciudad de Medellín, con la única diferencia de que allí se instalaría en cámaras estáticas y no en una aeronave-, tendría la capacidad de identificar, en tiempo real, las facciones alrededor de ojos y nariz de las personas que tuvieran su rostro cubierto durante las manifestaciones, para articular dicha información con las bases de datos de la Dirección de Investigación Criminal e Interpol (Dijín)y la Registraduría Nacional.
Todas estas acciones “preventivas” han sido fuertemente criticadas por generar un ambiente de tensión previo a la jornada de movilización nacional. En ese marco, vale la pena mencionar lo problemático que resulta el uso masivo de tecnologías biométricas, y específicamente de reconocimiento facial, para la vigilancia masiva y la persecución de delitos en un contexto de movilización social. Las tecnologías biométricas consisten en la recopilación, almacenamiento y procesamiento de datos derivados del cuerpo y sus movimientos. Un uso desproporcionado de este tipo de tecnologías atenta directamente contra los derechos a la privacidad, la integridad y la autonomía de las personas, y además puede tener consecuencias negativas como la discriminación de ciertos grupos sociales, debido a los sesgos de diseño e implementación, o la restricción de las libertades -de expresión, locomoción, asociación- de las personas en general, mediante un efecto silencioso de autocensura.
En el caso de la persecución de delitos, se trata de un atentado contra el derecho a la intimidad y a la presunción de inocencia, pues se alimentan bases de datos donde todas las personas vigiladas son consideradas sospechosas; en el caso de su uso en el marco de protestas con el fin de identificar a quienes tienen cubiertos sus rostros, como ocurrió el pasado 21N y posiblemente en los días siguientes, se trata además de un atentado contra el derecho al anonimato, directamente relacionado con la libertad de expresión y asociación. Sobre este punto, es importante señalar que en su guía práctica de bolsillo para salir a protestar Dejusticia advierte que si bien llevar el cuerpo cubierto o descubierto a una manifestación es una conducta protegida constitucionalmente, “muchos jueces o agentes policiales podrían tener opiniones distintas”.
Es preocupante, además, teniendo en cuenta que en el Congreso de la República se radicó recientemente un proyecto de ley que tipifica como conducta penal el vandalismo “que, valiéndose de una protesta, manifestación o movilización pública, dañe, atente o destruya los bienes públicos o privados [o] atente contra la integridad física de los miembros de la fuerza pública”, agravando la pena si la persona está ocultando total o parcialmente su rostro. Preocupante porque, aunque el Proyecto se justifique en la garantía del derecho a la protesta pacífica, en esta y otras jornadas de movilización se ha evidenciado cómo los abusos por parte de la fuerza pública superan con creces las expresiones de violencia por parte de la ciudadanía.
Por otra parte, como ha documentado en el pasado la Fundación Karisma, las millonarias inversiones en tecnología para la seguridad en Bogotá han carecido de estudios previos que garanticen la viabilidad de su implementación (por ejemplo porque no hay acceso a las bases de datos necesarias para que la tecnología de reconocimiento facial funcione efectivamente), así como de transparencia respecto a su adquisición e implementación. En cambio, han gozado de amplia promoción en medios de comunicación, con narrativas que lejos de proponer una perspectiva crítica sobre las implicaciones sociales o legales de su uso, alimentan discursos tecnosolucionistas.
Recientemente en América Latina se han comenzado a implementar sistemas de reconocimiento facial para distintos fines, sin un análisis profundo, ni político ni técnico, sobre los riesgos asociados a su uso. En los contextos de protesta que en los últimos meses se han vivido en distintos países de la región, donde se ha evidenciado una enorme participación ciudadana al tiempo que un uso desmedido de la fuerza y múltiples violaciones a los derechos humanos por parte de los gobiernos, es necesario alertar sobre el uso tecnologías de reconocimiento facial para vigilar la protesta social, y rechazarlo enfáticamente, así como las iniciativas de criminalizar y perseguir el uso de capuchas durante las manifestaciones, como se está intentando al menos en Chile y Hong-Kong. La protesta es un derecho, el anonimato también.
Declaración sobre la represión de la protesta social en América Latina a través de la violencia y el uso de la tecnología
Las firmantes, como organizaciones latinoamericanas trabajando en la intersección entre tecnología y derechos humanos, vemos con preocupación y horror la respuesta de nuestros gobiernos a las masivas protestas sociales que se están desarrollando en Colombia, Bolivia, Chile y Ecuador.
En particular, rechazamos el modo en que los gobiernos están utilizando distintas tecnologías digitales en favor de la represión, criminalización y persecución de las y los manifestantes y su legítimo derecho a reunirse y expresarse pacíficamente, de una manera que solamente puede ser definida como antidemocrática y contraria a los derechos fundamentales.
En Ecuador, la evidencia demuestra afectaciones e interrupciones temporales de determinadas redes sociales, comunicaciones móviles, sitios web y conexión a internet durante la protesta, interfiriendo sustancialmente con el derecho de las personas a organizarse, comunicarse e informarse. Si bien no existen pruebas concluyentes respecto a que el errático comportamiento de la red fuese producto de un ejercicio estatal de represión, esa posibilidad tampoco ha sido descartada.
En Colombia, el Gobierno ha realizado una agresiva campaña comunicacional de desincentivo a la protesta, utilizando todas las cuentas de redes sociales de las instituciones del estado con ese fin. Además, en la antesala de la fecha convocada para el paro, se enviaron mensajes que disuadían la participación a través de SMS a los abonados al servicio de telefonía celular. Adicionalmente se han desplegado prácticas abusivas por la policía como incluir en las requisas a manifestantes la exigencia de mostrar sus redes sociales y contactos en los celulares.
En Chile, se han reportado denuncias de investigaciones y acciones de amedrentamiento iniciadas por la policía, usando como base información obtenida producto del monitoreo de redes sociales en busca de dichos críticos del gobierno y de la policía, y en favor de la protesta. Al mismo tiempo, la Intendencia Metropolitana ha anunciado el incremento de número de cámaras de vigilancia operativas en la ciudad de Santiago y la implementación de un sistema de reconocimiento facial, lo que además coincide con una preocupante propuesta de ley que califica como un agravante el legítimo derecho de cubrirse el rostro durante una manifestación.
En Bolivia, se ha reportado que algunas prominentes cuentas de redes sociales dedicadas a la difusión de información relevante respecto a la protesta han visto su actividad restringida; al mismo tiempo, se han denunciado acciones coordinadas con el fin de censurar contenidos relevantes y un significativo incremento de la violencia en contra comunicadores y comunicadoras, que incluyen agresiones, amenazas físicas y acciones de exposición de información privada y acoso en línea. Por otra parte, las fuerzas de seguridad han intentado limitar el registro de sus actividades durante las protestas, por medio de la confiscación de equipos, el uso indiscriminado de gas lacrimógeno y la amenaza de arresto contra quienes fotografían y graban el actuar policial. También se han denunciado casos en que la policía ha requisado dispositivos con el objetivo de recolectar información privada.
La protesta es un derecho consagrado por la Declaración Universal de los Derechos Humanos y por la Convención Americana de Derechos Humanos, y es uno de los fundamentos de toda sociedad realmente democrática, por lo que debe ser garantizado, asegurado y promovido por los gobiernos de la región. Condenamos enérgicamente la represión de la protesta, la inusitada violencia que se está desplegando y la utilización de tecnología para exacerbarla.
Exigimos a nuestros gobiernos dar soluciones políticas a los profundos problemas expresados por la ciudadanía, en un marco de respeto y compromiso con los valores democráticos y los derechos fundamentales.
Firman:
- Asociación por los Derechos Civiles (ADC)
- Asociación para el Progreso de las Comunicaciones (APC)
- Coding Rights
- Derechos Digitales
- Fundación Ciudadanía Inteligente
- Fundación Internet Bolivia
- Fundación Karisma
- Intervozes
- TEDIC
- Sursiendo
- IPYS Venezuela
- Comité por la Libre Expresión (Honduras)
- Cooperativa Tierra Común
- C-Libre
- Fundación Datos Protegidos
- Access Now
- Creative Commons Uruguay
- Espacio Público (Venezuela)
- Colectiva de Feminista para el Desarrollo Local
- Article 19
- Fundación Vía Libre
- Usuarios Digitales
- Electronic Frontier Foundation
Mal de ojo: reconocimiento facial en América Latina (2019)
Breve repaso de algunas de las iniciativas de implementación de reconocimiento facial que se están discutiendo en América Latina. Adelanto de la edición 2019 del reporte Latin America in a Glimpse
Situación de derechos humanos y el uso de tecnología en el contexto de la protesta social en Chile (Octubre-Noviembre de 2019)
Periodismo y vigilancia en México: sin garantías para la libertad de expresión
El 29 de octubre, la aplicación de mensajería WhatsApp, propiedad de Facebook, tomó acciones legales contra NSO Group, la empresa de tecnología de vigilancia que desarrolló el malware espía “Pegasus” aquirido por el Gobierno mexicano, cuyo uso ha sido estudiado y denunciado desde 2016 por ONGs nacionales como R3D, SocialTIC y Artículo 19, en el caso conocido como #GobienoEspía.
En mayo de este año, el equipo de seguridad de WhatsApp detectó una falla en la aplicación, que permitía inyectar spyware comercial en celulares mediante una simple llamada. Junto con desarrollar una solución al problema, se realizó una investigación que concluyó que la vulnerabilidad había había sido explotada por NSO Group, que también utiliza el nombre Q Cyber Technologies.
La preocupante novedad que plantea esta forma de ataque es que, al ejecutarse mediante un llamado, no requiere que la víctima habilite la instalación del software malicioso pinchando algún hipervínculo, lo que dificulta la obtención de evidencia y la toma de medidas precautorias para evitar, documentar y denunciar intentos de infección.
Más de 1400 casos fueron identificados y al menos 100 contra defensores de derechos humanos. En México, un número importante de infecciones ocurrieron durante abril y mayo de 2019, coincidiendo con las revelación del caso de Griselda Triana, viuda del periodista Javier Valdez y víctima del espionaje a manos de agentes estatales, pues según NSO Group, solo venden sus productos a gobiernos.
Vigilancia como violencia
Actualmente, México es el país más peligroso del mundo para ejercer el periodismo, lo que naturalmente pone en riesgo la salud de la libertad de expresión y, con ello, de la democracia misma del país: incapaz para garantizar la seguridad de sus periodistas y, consecuentemente, incapaz de garantizar el bienestar y la autonomía de sus habitantes.La violencia contra las y los periodistas, que entre otras formas se expresa mediante el abuso de la tecnología de vigilancia por parte del gobierno mexicano, escala gracias al clima de impunidad que hace oídos sordos frente a las denuncias realizadas por comunicadoras, activistas y personas defensoras de derechos humanos, algunas de las cuales han perdido la vida o han tenido que migrar para preservarla.
Llama la atención de que, a pesar de los logros recientes de las ONGs que han presentado denuncias a NSO Group en cortes internacionales, la respuesta por parte del Gobierno no es más que una serie de promesas, vacías que denotan un claro desconocimiento entre quienes lideran el país sobre los abuso de las tecnologías en México.
Por otro lado, lejos de perseguir los abusos tecnológicamente posibilitados, la milicia nacional parece premiar a sus responsables con ascensos laborales. La misma milicia que hoy participa de la implementación de la Guardia Nacional, una estrategia para militarizar las calles del país como respuesta a la presencia del narcotráfico y que en su más reciente muestra de poder mostró ser completamente ineficiente.
Esto pareciera indicar que, mientras el presidente declara que su administración no participa en el uso ilegítimo de las tecnologías y anuncia “compromisos”, hay personas con poder actuando desde diferentes instancias estatales para tomar ventaja de los puntos ciegos de una administración fuertemente criticada por su falta de un liderazgo estratégico, incapaz de conocer y controlar el alcance de las acciones que sus subordinados realizan con el poder que se les otorgado para “preservar la seguridad en el país”. Tal vez el problema acá sea que nadie les ha aclarado que no se trata de su seguridad propia, sino de la seguridad de la mayoría: quienes necesitan del periodismo libre para producir decisiones informadas y tener los elementos necesarios para cuestionar al Estado y sus representantes cuando no cumplan sus obligaciones fundamentales.
Lo que queda pendiente
Desde 2016 la participación de organizaciones no gubernamentales nacionales e internacionales para frenar el abuso de la tecnología se ha articulado en redes para presentar casos e informes conjuntos, con el fin de denunciar los abusos que diferentes gobiernos hacen de las tecnologías para vigilar a quienes expresan posturas críticas a sus administraciones. Los esfuerzos articulados de personas con experiencia legal, en comunicaciones, en activismo, en defensa de derechos humanos y con trayectorias multidisciplinarias en América Latina y México han sido potentes y constantes.
Hace falta que gobiernos, como el mexicano, asuman la participación en espacios de diálogo que permitan articular las experiencias y trayectorias de estos grupos a las propuestas administrativas y de desarrollo en las que quieran involucrar despliegues masivos de tecnologías, que se plasmen en acciones claras y concretas. Las declaraciones y compromisos realizados por el presidente se vuelven palabras vacías si no existen políticas públicas que las respalden. Es la única forma de defender la democracia participativa en el país, pero también asegurar que los derechos humanos sean preservados y contemplados dentro de las estrategias de seguridad nacional.
Vigilancia, control social e inequidad: la tecnología refuerza vulnerabilidades estructurales en América Latina
Mientras la brecha entre ricos y pobres se incrementa en el mundo, América Latina sigue siendo la región donde la riqueza se distribuye de forma más desigual. Según la Comisión Económica para América Latina y el Caribe (CEPAL), existen marcados desequilibrios entre los distintos niveles socioeconómicos en aspectos como la esperanza de vida, la mortalidad infantil, la tasa de analfabetismo y el acceso a agua al interior de las viviendas. Así, la altísima inequidad que asola al continente influye directamente en el bienestar de sus habitantes, sus posibilidades de desarrollo y en el ejercicio de sus derechos fundamentales.
La implementación de programas que condicionan el acceso a servicios básicos a la vigilancia estatal y privada ejemplifican de manera clara no solamente el hecho de que las tecnologías no son neutras, sino que impactan de forma diferenciada a distintos grupos humanos, de acuerdo a su género, al color de su piel y a su clase social.
Aprovechándose de las deficiencias de nuestros sistemas legales y explotando sus áreas grises, la industria ha impulsado agresivamente un tecnosolucionismo chauvinista, abrazado irresponsablemente por una clase política con ganas de figurar a la sombra de una idea tristemente reducida de progreso. Así, el negocio se transforma en la promesa de un beneficio acotado, que se consigue a costa de los derechos de quienes no tienen más opción que someterse al escrutinio constante, a la vigilancia, al control, a la discriminación. Hablar de desigualdad en América Latina es hablar de la ponderación que se hace entre los derechos de quienes pueden acceder a otras posibilidades y quienes no.
La inequidad se esconde hoy tras una serie de muletillas de significado impreciso – big data, decisiones algorítmicas, inteligencia artificial – que en nombre de la eficiencia intentan naturalizar los sesgos bajo los cuales operan, haciendo inescrutables los sistemas que los procesan y la forma en que son usados para regular el acceso a programas sociales, el uso del transporte público o la asistencia a eventos populares.
Ejemplos no faltan. En Argentina, la provincia de Salta firmó en 2017 un acuerdo con Microsoft para utilizar inteligencia artificial en la prevención del embarazo adolescente y la deserción escolar. Según la empresa, a partir de datos recolectados por medio de encuestas a sectores vulnerables de la sociedad “los algoritmos inteligentes permiten identificar características en las personas que podrían derivar en alguno de estos problemas y advierten al gobierno para que puedan trabajar en la prevención de los mismos”. Los datos recabados son procesados por servidores de Microsoft distribuidos alrededor del mundo y el resultado de ese procesamiento apunta específicamente a las adolescentes identificadas como personas bajo riesgo, afectando no solamente su privacidad, sino también su autonomía y generando amplio potencial de discriminación. Se trata, finalmente, de un mecanismo dirigido de control sobre personas en situación de vulnerabilidad que son expuestas a intervenciones sin su consentimiento, reforzando la vulnerabilidad de las personas que son privadas incluso de la posibilidad para decidir sobre esas intervenciones.
Aunque se argumente que los datos utilizados para la proyección son entregados voluntariamente, es cuestionable la idea de que las niñas y adolescentes afectadas por estas medidas –o sus responsables– puedan prestar un consentimiento activo y realmente consciente sobre las implicaciones de entregar información específica sobre sus hábitos sexuales y potencial embarazo. Cabe señalar que Salta fue la última provincia argentina que dejó de impartir educación religiosa en las escuelas públicas después de un fallo de la Corte Suprema, reconociendo la existencia de violaciones a los derechos a la igualdad y a la no discriminación, así como a la privacidad de los ciudadanos y ciudadanas. El uso tecnológico descrito no es sino expresión de problemas más amplios para comprender los ámbitos de autonomía y privacidad de las personas, con un propósito político.
En Brasil, el Ministerio de Ciudadanía firmó un acuerdo con el gobierno de Salta y Microsoft para implementar un programa similar. En este caso, además de la prevención del embarazo adolescente y la deserción escolar, se pretende anticipar cuestiones como la desnutrición y enfermedades en la primera infancia. El país sería el quinto en la región en compartir la experiencia argentina. Además de dudas sobre el consentimiento informado y el acceso del Estado a informaciones sensibles sobre poblaciones vulnerables, quedan sin respuesta algunas preguntas sobre qué otros usos u previsiones se pueden extraer de esos datos y cuáles los límites para su tratamiento por parte de Microsoft y los gobiernos involucrados en el programa.
Por su parte, Chile inició en 2019 la implantación piloto de una herramienta que busca detectar a niños, niñas y adolescentes en situación de riesgo. Según el Ministerio de Desarrollo Social y Familia, Alerta Niñez es un instrumento preventivo que “identifica el conjunto de condiciones individuales, familiares, del entorno y de los pares de los niños y niñas y adolescentes, que tienden a presentarse cuando existe un riesgo de vulneración de derechos de niños, niñas y adolescentes”. El sistema se basa en el procesamiento estadístico de grandes cantidades de datos provenientes de organismos públicos para calificar a la población menor de 18 años, ordenando a las personas según su probabilidad de sufrir vulneraciones.
Aunque en este caso el sistema haya sido desarrollado por una universidad privada local, nuevamente se trata de una iniciativa invasiva de recolección de datos sensibles de menores de edad que conlleva gran riesgo de profundizar situaciones de prejuicio y estigmatización hacia grupos históricamente vulnerables. Además, estos procesos implican la transferencia de datos personales a terceros y la posibilidad de que esos datos sean usados para fines distintos a los que permitieron su recolección; sin bases legales ni garantías de que la información generada no será utilizada a futuro con otros propósitos, como iniciativas de policiamiento predictivo por ejemplo.
Dado que cuestiones como embarazo adolescente, evasión escolar y desnutrición son problemas estructurales en la región, es extremadamente cuestionable que las políticas asociadas sean mediadas o condicionadas a la recolección de grandes cantidades de datos. Que no exista a su vez una preocupación por los derechos de niños, niñas y adolescentes, concordante con instrumentos vigentes en toda la región, da cuenta de un problema más profundo.
Vigilancia, control y exclusión
En Chile, la implementación de sistemas de identificación biométrica en el sistema nacional de salud preocupa por las posibles limitaciones que podría generar a poblaciones marginadas y empobrecidas -e incluso a personas mayores, por la pérdida de legibilidad en rasgos como las huellas digitales- para su acceso a servicios básicos de salud.
La implementación del llamado “Sistema Biométrico para la Seguridad Alimentaria” en Venezuela, a través del cual se exige a los ciudadanos la verificación de su identidad a través de la huella digital para adquirir productos categorizados como de “primera necesidad” (productos alimentarios, de higiene y medicinas), ha generado denuncias por discriminación hacia personas extranjeras -documentadas e indocumentadas- y personas transgénero. La situación es particularmente preocupante dada la situación de escasez de bienes esenciales y la crisis humanitaria que se agrava en el país, principalmente afectando los derechos a la alimentación y salud de las poblaciones más vulnerables.
En São Paulo se implementó hace dos años el uso de cámaras de reconocimiento facial en el sistema de transporte público, con la justificación de que ayudarían a evitar el fraude en el uso de beneficios sociales asociados al transporte, como descuentos a adultos mayores, estudiantes y personas con discapacidad. En estos dos años el sistema ha bloqueado más de 300 mil tarjetas supuestamente usadas indebidamente, o sea, no por sus titulares. Por otra parte, la municipalidad ha anunciado la suspensión total las tarjetas anónimas y ha implementado medidas para obligar el registro de las tarjetas con datos de identificación únicos y residenciales. Este tipo de medida puede impactar en el acceso de personas no registradas –como personas sin techo e inmigrantes– al servicio. En una ciudad de las dimensiones de São Paulo, las tarjetas que permiten la integración con descuento a distintos tipos de transporte son fundamentales para la locomoción de gran parte de la población al trabajo, escuela y actividades culturales. El bloqueo o imposibilidad de acceso a medios de transporte puede tener un gran impacto en la vida y el desarrollo de las personas.
Además de crear limitaciones al acceso a servicios públicos para grupos históricamente marginados de la población, los sistemas de identificación obligatoria y biométricos implican una “sobrevigilancia” hacia esos grupos. No se sabe cómo son utilizados, agregados y compartidos los datos recolectados de esos grupos, ni parece proporcional exigir un nivel tan alto de información para la entrega de beneficios limitados o condicionados. En el caso venezolano las bases de datos biométricas provienen del sistema electoral, para ser utilizadas tanto por operadores estatales -incluyendo funcionarios de migración y policías- como por cajeros de supermercados y farmacias, sin ningún tipo de requisito legal previo. En São Paulo, el gobierno municipal llegó a anunciar la venta de las bases de datos de las tarjetas utilizadas en el transporte pero, bajo presión pública y después de la aprobación de una ley de protección de datos en Brasil, cambió su posición.
No está demás reiterar que solamente se someten a esos sistemas a los usuarios de sistemas públicos de salud, asistencia social y transporte que, en general, no incluyen las élites locales que pueden prescindir de ellos y recurrir a prestadores privados; manteniendo mayor control sobre su información y preservando su privacidad.
Desigualdad, discriminación y pobreza
Que los mecanismos de vigilancia sean implementados de manera diferencial hacia los grupos más vulnerables no es novedad, esto remonta a procesos de control social y precarización que han estado en la base de la construcción de muchas de nuestras sociedades para asegurar tanto la dominancia de las clases sociales y económicas más privilegiadas como la explotación de los más vulnerables. Aún hoy, con las posibilidades ofrecidas por las tecnologías para optimizar la entrega de servicios de toda clase, vemos que esas tecnologías son usadas para mantener esa estructura social desigual. Con asistencia de la tecnología, la vulnerabilidad es castigada con vigilancia.
No tiene por qué ser así. La promesa de la tecnología es la mejora de nuestras vidas. Esa promesa debería ser transversal a toda la sociedad y no estar reservada para aquellas personas que puedan costear las mejoras, o que puedan pagar el precio de no tener que someterse a aplicaciones abusivas de la tecnología. Estos desarrollos y despliegues tecnológicos no deberían resultar en una nueva forma de discriminación que profundice otras desigualdades como un daño colateral que debemos asumir en favor de un supuesto bien mayoritario.
Una aproximación de derechos fundamentales con una comprensión interseccional de los distintos tipos de exclusiones que las tecnologías promueven y clausuran es la única manera de hacer frente a la desigualdad a la que millones de personas están siendo sometidas en el continente. Solo así, las nuevas tecnologías quizás puedan convertirse en un factor que ayude al cierre de las brechas que enfrentamos ahora.
Las apariencias engañan: falencias del reconocimiento facial y sesgo algorítmico
Según el antiguo cliché, el rostro es el espejo del alma. Algo por el estilo deben haber estado pensando los responsables en Unilever y otras compañías con sede en el Reino Unido, que han comenzado a utilizar un sistema de análisis de expresiones faciales en los procesos de selección de personal.
The Telegraph explica que el sistema compara los videos de las entrevistas de los postulantes con una base de datos que contiene información facial y lingüística de aquellos empleados que se desenvuelven bien en el trabajo. Según Nathan Mondragon – psicólogo jefe de Hirevue, la empresa estadounidense que provee el servicio – «Las expresiones faciales indican ciertas emociones, comportamientos y rasgos de personalidad».
Pero, ¿lo hacen realmente? La Association for Psychological Science quiso poner esta hipótesis a prueba y reunió a cinco expertos para intentar determinar cuánto de cierto había una idea arraigada en el sentido común, que la emoción puede determinarse de manera confiable mediante movimientos faciales externos. El resultado fue concluyente: no existe evidencia científica que respalde la noción de que el estado emocional de una persona se puede inferir fácilmente del modo en que mueve su rostro.
Esto, por una serie de razones: las mismas emociones no se expresan siempre de la misma manera, las mismas expresiones faciales pueden indicar distintas emociones y las características culturales y contextuales influyen en el modo en que las emociones son expresadas. Las emociones son complejas y no necesariamente obvias de comprender, incluso para quién las experimenta, mucho menos para un observador externo.
“Preferiría tener mi primera entrevista con un algoritmo que me trate justamente y no tener que depender de qué tan cansado esté el reclutador ese día”, argumenta Loren Larsen, director de tecnología de Hirevue, haciendo eco de aquella vieja idea de que las máquinas están libres de sesgos y, por tanto, son preferibles a los seres humanos. Pero como replica para el Telegraph Anna Cox, profesora de interacción humano-computadora en UCL, el sistema «va a favorecer a las personas que son buenas para hacer entrevistas en video y cualquier conjunto de datos tendrá prejuicios que excluirán a las personas que realmente habrían sido excelentes en el trabajo», eso sin mencionar sesgos de género, raza o etnicidad.
La búsqueda por una técnica que provea a la humanidad de un acceso directo a representar la realidad de forma objetiva es de larga data, e incluye la invención de la perspectiva en el renacimiento y la fotografía. Las técnicas algorítmicas y las “máquinas que ven” son la última adición a una lista larga. Y, sin embargo, se revelan tan dadas a los sesgos como cualquier otra.
Un ejercicio interesante al respecto lo realizaron hace pocos días Kate Crawford y Trevor Paglen, responsables de la exhibición “Training Humans”. Como parte de la muestra, pusieron en internet ImageNet Roulette, un sitio web temporal (y ya no disponible en línea) que ponía a disposición de cualquiera con una conexión a internet un algoritmo entrenado con la base de datos ImageNet, uno de los sets de entrenamiento más utilizados para el aprendizaje de máquinas: para enseñarle a un computador qué es un perro, se le muestran miles de imágenes de perros, hasta que aprende distinguirlos de aquello que no es un perro. Las imágenes son etiquetadas a mano por personas que imprimen sus propios sesgos al hacer la tarea. Esto no es particularmente problemático cuando estamos hablando de perros, pero sumamente complicado cuando se trata de personas, también incluidas en la base de datos.
Como pudieron comprobar quienes visitaron ImageNet Roulette, el modo en que sus selfies eran clasificadas incluía términos como “terrorista”, “mujerzuela” o “nonentity”, definido como “una persona sin poder”. Todo esto, simplemente a partir de sus rostros. «El proyecto busca llamar la atención sobre los daños reales que los sistemas de aprendizaje automático pueden perpetuar», explica Paglen.
América Latina
En nuestra región, los usos de sistema de reconocimiento facial han comenzado a expandirse rápidamente, principalmente para la vigilancia del espacio público asociada a actividades de seguridad. En Paraguay, un sistema de reconocimiento facial está funcionando desde julio de 2018 en Montevideo, envuelto en un manto de secretismo total: a pesar de los esfuerzos de Tedic por obtener información respecto a la ubicación y los usos del sistema, poco se sabe respecto al funcionamiento de este.
Cuestión similar ocurre en Buenos Aires, Argentina, que cuenta con un sistema de vigilancia por reconocimiento facial desde marzo de 2019. Se sabe que existen cerca de 200 cámaras equipadas con un sistema de reconocimiento facial en algunas estaciones de Subte y en la zona de trenes. Pero pese a los esfuerzos de ADC por conocer la ubicación de los dispositivos, la información ha sido negada por el Gobierno de la Ciudad, aduciendo razones de seguridad.
En México, los sistemas de reconocimiento facial son cada vez más comunes. Solo en 2019, el Gobierno del Estado de Coahuila ha instalado 1282 cámaras de vigilancia pública equipadas con tecnología de reconocimiento facial en las calles de diversas ciudades. Ya en 2018 se reportó el uso de esta tecnología en los accesos a la Feria Ganadera de Sinaloa y, recientemente, unidades de patrulla en la Ciudad de México se han equipado con tecnología de reconocimiento facial. En Brasil, Bolivia, Ecuador y Chile existen sistemas de reconocimiento facial o planes para su próxima instalación.
En general, el planteamiento es poder agilizar la búsqueda de prófugos de la justicia y poder identificar rápidamente a los delincuentes. Pero los resultados distan de ser los esperados. Recientemente, un hombre estuvo seis días preso por error en Buenos Aires, gracias al sistema de reconocimiento facial. En Chile, las pruebas realizadas por la policía a un sistema de reconocimiento facial implementado por una cadena de centros comerciales arrojaron una taza de error que ronda el 90 %.
Así, pareciera ser que las tecnologías de reconocimiento facial producen más problemas que los que son capaces de resolver, a la vez que las bases teóricas que sustentan sus supuestos beneficios se desmoronan ante la evidencia. En Estados Unidos, varias ciudades han prohibido completamente el uso de estas tecnologías. Quizás sea el momento de seguir su ejemplo.