Vigilancia, control social e inequidad: la tecnología refuerza vulnerabilidades estructurales en América Latina

Mientras la brecha entre ricos y pobres se incrementa en el mundo, América Latina sigue siendo la región donde la riqueza se distribuye de forma más desigual. Según la Comisión Económica para América Latina y el Caribe (CEPAL), existen marcados desequilibrios entre los distintos niveles socioeconómicos en aspectos como la esperanza de vida, la mortalidad infantil, la tasa de analfabetismo y el acceso a agua al interior de las viviendas. Así, la altísima inequidad que asola al continente influye directamente en el bienestar de sus habitantes, sus posibilidades de desarrollo y en el ejercicio de sus derechos fundamentales.

La implementación de programas que condicionan el acceso a servicios básicos a la vigilancia estatal y privada ejemplifican de manera clara no solamente el hecho de que las tecnologías no son neutras, sino que impactan de forma diferenciada a distintos grupos humanos, de acuerdo a su género, al color de su piel y a su clase social. 

Aprovechándose de las deficiencias de nuestros sistemas legales y explotando sus áreas grises, la industria ha impulsado agresivamente un tecnosolucionismo chauvinista, abrazado irresponsablemente por una clase política con ganas de figurar a la sombra de una idea tristemente reducida de progreso. Así, el negocio se transforma en la promesa de un beneficio acotado, que se consigue a costa de los derechos de quienes no tienen más opción que someterse al escrutinio constante, a la vigilancia, al control, a la discriminación. Hablar de desigualdad en América Latina es hablar de la ponderación que se hace entre los derechos de quienes pueden acceder a otras posibilidades y quienes no. 

La inequidad se esconde hoy tras una serie de muletillas de significado impreciso – big data, decisiones algorítmicas, inteligencia artificial – que en nombre de la eficiencia intentan naturalizar los sesgos bajo los cuales operan, haciendo inescrutables los sistemas que los procesan y la forma en que son usados para regular el acceso a programas sociales, el uso del transporte público o la asistencia a eventos populares.

Ejemplos no faltan. En Argentina, la provincia de Salta firmó en 2017 un acuerdo con Microsoft para utilizar inteligencia artificial en la prevención del embarazo adolescente y la deserción escolar. Según la empresa, a partir de datos recolectados por medio de encuestas a sectores vulnerables de la sociedad “los algoritmos inteligentes permiten identificar características en las personas que podrían derivar en alguno de estos problemas y advierten al gobierno para que puedan trabajar en la prevención de los mismos”.  Los datos recabados son procesados por servidores de Microsoft distribuidos alrededor del mundo y el resultado de ese procesamiento apunta específicamente a las adolescentes identificadas como personas bajo riesgo, afectando no solamente su privacidad, sino también su autonomía y generando amplio potencial de discriminación. Se trata, finalmente, de un mecanismo dirigido de control sobre personas en situación de vulnerabilidad que son expuestas a intervenciones sin su consentimiento, reforzando la vulnerabilidad de las personas que son privadas incluso de la posibilidad para decidir sobre esas intervenciones.

Aunque se argumente que los datos utilizados para la proyección son entregados voluntariamente, es cuestionable la idea de que las niñas y adolescentes afectadas por estas medidas –o sus responsables–  puedan prestar un consentimiento activo y realmente consciente sobre las implicaciones de entregar información específica sobre sus hábitos sexuales y potencial embarazo. Cabe señalar que Salta fue la última provincia argentina que dejó de impartir educación religiosa en las escuelas públicas después de un fallo de la Corte Suprema, reconociendo la existencia de violaciones a los derechos a la igualdad y a la no discriminación, así como a la privacidad de los ciudadanos y ciudadanas. El uso tecnológico descrito no es sino expresión de problemas más amplios para comprender los ámbitos de autonomía y privacidad de las personas, con un propósito político.

En Brasil, el Ministerio de Ciudadanía firmó un acuerdo con el gobierno de Salta y Microsoft para implementar un programa similar. En este caso, además de la prevención del embarazo adolescente y la deserción escolar, se pretende anticipar cuestiones como la desnutrición y enfermedades en la primera infancia. El país sería el quinto en la región en compartir la experiencia argentina. Además de dudas sobre el consentimiento informado y el acceso del Estado a informaciones sensibles sobre poblaciones vulnerables, quedan sin respuesta algunas preguntas sobre qué otros usos u previsiones se pueden extraer de esos datos y cuáles los límites para su tratamiento por parte de Microsoft y los gobiernos involucrados en el programa.

Por su parte, Chile inició en 2019 la implantación piloto de una herramienta que busca detectar a niños, niñas y adolescentes en situación de riesgo. Según el Ministerio de Desarrollo Social y Familia, Alerta Niñez es un instrumento preventivo que “identifica el conjunto de condiciones individuales, familiares, del entorno y de los pares de los niños y niñas y adolescentes, que tienden a presentarse cuando existe un riesgo de vulneración de derechos de niños, niñas y adolescentes”. El sistema se basa en el procesamiento estadístico de grandes cantidades de datos provenientes de organismos públicos para calificar a la población menor de 18 años, ordenando a las personas según su probabilidad de sufrir vulneraciones.

Aunque en este caso el sistema haya sido desarrollado por una universidad privada local, nuevamente se trata de una iniciativa invasiva de recolección de datos sensibles de menores de edad que conlleva gran riesgo de profundizar situaciones de prejuicio y estigmatización hacia grupos históricamente vulnerables. Además, estos procesos implican la transferencia de datos personales a terceros y la posibilidad de que esos datos sean usados para fines distintos a los que permitieron su recolección; sin bases legales ni garantías de que la información generada no será utilizada a futuro con otros propósitos, como iniciativas de policiamiento predictivo por ejemplo.

Dado que cuestiones como embarazo adolescente, evasión escolar y desnutrición son problemas estructurales en la región, es extremadamente cuestionable que las políticas asociadas sean mediadas o condicionadas a la recolección de grandes cantidades de datos. Que no exista a su vez una preocupación por los derechos de niños, niñas y adolescentes, concordante con instrumentos vigentes en toda la región, da cuenta de un problema más profundo.

Vigilancia, control y exclusión

En Chile, la implementación de sistemas de identificación biométrica en el sistema nacional de salud preocupa por las posibles limitaciones que podría generar a poblaciones marginadas y empobrecidas -e incluso a personas mayores, por la pérdida de legibilidad en rasgos como las huellas digitales- para su acceso a servicios básicos de salud.

La implementación del llamado “Sistema Biométrico para la Seguridad Alimentaria” en Venezuela, a través del cual se exige a los ciudadanos la verificación de su identidad a través de la huella digital para adquirir productos categorizados como de “primera necesidad” (productos alimentarios, de higiene y medicinas), ha generado denuncias por discriminación hacia personas extranjeras -documentadas e indocumentadas- y personas transgénero. La situación es particularmente preocupante dada la situación de escasez de bienes esenciales y la crisis humanitaria que se agrava en el país, principalmente afectando los derechos a la alimentación y salud de las poblaciones más vulnerables. 

En São Paulo se implementó hace dos años el uso de cámaras de reconocimiento facial en el sistema de transporte público, con la justificación de que ayudarían a evitar el fraude en el uso de beneficios sociales asociados al transporte, como descuentos a adultos mayores, estudiantes y personas con discapacidad. En estos dos años el sistema ha bloqueado más de 300 mil tarjetas supuestamente usadas indebidamente, o sea, no por sus titulares. Por otra parte, la municipalidad ha anunciado la suspensión total las tarjetas anónimas y ha implementado medidas para obligar el registro de las tarjetas con datos de identificación únicos y residenciales. Este tipo de medida puede impactar en el acceso de personas no registradas –como personas sin techo e inmigrantes– al servicio. En una ciudad de las dimensiones de São Paulo, las tarjetas que permiten la integración con descuento a distintos tipos de transporte son fundamentales para la locomoción de gran parte de la población al trabajo, escuela y actividades culturales. El bloqueo o imposibilidad de acceso a medios de transporte puede tener un gran impacto en la vida y el desarrollo de las personas.

Además de crear limitaciones al acceso a servicios públicos para grupos históricamente marginados de la población, los sistemas de identificación obligatoria y biométricos implican una “sobrevigilancia” hacia esos grupos. No se sabe cómo son utilizados, agregados y compartidos los datos recolectados de esos grupos, ni parece proporcional exigir un nivel tan alto de información para la entrega de beneficios limitados o condicionados. En el caso venezolano las bases de datos biométricas provienen del sistema electoral, para ser utilizadas tanto por operadores estatales -incluyendo funcionarios de migración y policías- como por cajeros de supermercados y farmacias, sin ningún tipo de requisito legal previo. En São Paulo, el gobierno municipal llegó a anunciar la venta de las bases de datos de las tarjetas utilizadas en el transporte pero, bajo presión pública y después de la aprobación de una ley de protección de datos en Brasil, cambió su posición.

No está demás reiterar que solamente se someten a esos sistemas a los usuarios de sistemas públicos de salud, asistencia social y transporte que, en general, no incluyen las élites locales que pueden prescindir de ellos y recurrir a prestadores privados; manteniendo mayor control sobre su información y preservando su privacidad.

Desigualdad, discriminación y pobreza

Que los mecanismos de vigilancia sean implementados de manera diferencial hacia los grupos más vulnerables no es novedad, esto remonta a procesos de control social y precarización que han estado en la base de la construcción de muchas de nuestras sociedades para asegurar tanto la dominancia de las clases sociales y económicas más privilegiadas como la explotación de los más vulnerables. Aún hoy, con las posibilidades ofrecidas por las tecnologías para optimizar la entrega de servicios de toda clase, vemos que esas tecnologías son usadas para mantener esa estructura social desigual. Con asistencia de la tecnología, la vulnerabilidad es castigada con vigilancia.

No tiene por qué ser así. La promesa de la tecnología es la mejora de nuestras vidas. Esa promesa debería ser transversal a toda la sociedad y no estar reservada para aquellas personas que puedan costear las mejoras, o que puedan pagar el precio de no tener que someterse a aplicaciones abusivas de la tecnología. Estos desarrollos y despliegues tecnológicos no deberían resultar en una nueva forma de discriminación que profundice otras desigualdades como un daño colateral que debemos asumir en favor de un supuesto bien mayoritario. 

Una aproximación de derechos fundamentales con una comprensión interseccional de los distintos tipos de exclusiones que las tecnologías promueven y clausuran es la única manera de hacer frente a la desigualdad a la que millones de personas están siendo sometidas en el continente. Solo así, las nuevas tecnologías quizás puedan convertirse en un factor que ayude al cierre de las brechas que enfrentamos ahora. 

La oportunidad perdida del ‘gran hackeo’

  1. Big-data, algoritmos e “inteligencia artificial” se han convertido en muletillas que se arrojan al aire con la delicadeza con la que se descarga el equipaje facturado en un avión.

  2. Hoy en absolutamente todos los campos del saber humano hay alguien intentando compilar datos que serán analizados por un sistema de inteligencia artificial, construido a partir de complejos algoritmos, y así innovar de forma disruptiva, crear valor, generar experiencias inmersivas y, en última instancia, hacer del mundo un mejor lugar.

  3. Pero existía una compañía que no quería hacer del mundo un mejor lugar y estaba mucho más interesada en hacer dinero, a pesar de que ello convirtiera al mundo en un lugar peor. Esa compañía se llamaba Cambridge Analytica y utilizó big-data, algoritmos e inteliencia artificial para ganar unas elecciones en Estados Unidos y el Reino Unido. Básicamente de eso va The Great Hack, el documental de Netflix estrenado hace un par de semanas en latinoamérica bajo el inexplicable título de Nada es privado.

  4. En la superficie, The Great Hack es una moraleja respecto a los peligros que el extractivismo de datos plantea a la democracia y los derechos fundamentales de los individuos. Estos peligros son reales y necesitan ser abordados seriamente (que es lo que tratamos de hacer en Derechos Digitales).

  5. Al mismo tiempo, la película mitologiza las capacidades de la industria que critica; una industria que siempre se ha sentido más cómoda trabajando desde las sombras, esquivando las preguntas relevantes y creando mitos.

  6. The Great Hack mitologiza las capacidades de la industria datoextractivista dejando que sean los (ex) empleados de Cambridge Analytica los que expliquen cómo funcionaba el negocio, sin cuestionar su relato en ningún momento. Los documentalistas les dan todo el espacio necesario para pavonear sus capacidades, su inteligencia, su influencia y su poder.

  7. Por su puesto, no todo es culpa de los documentalistas. La verdad es que no sabemos mucho respecto a cómo funciona la industria del extractivismo de datos, cuáles son realmente sus capacidades y menos cuáles son sus limitaciones. Es posible que incluso quienes trabajan para empresas como Cambridge Analytica o Facebook tampoco lo sepan. Y tras ver The Great Hack es poco lo que podemos sacar en claro.

  8. Mucho se discute en The Great Hack respecto a la capacidad de Cambridge Analytica para acumular datos: la empresa se ufana de tener 5000 datos de cada uno de los votantes estadounidenses. Muchos de esos datos se obtuvieron a través de Facebook, por medio de cuestionarios sobre cuestiones triviales que permitían crear perfiles de votantes.

  9. Poco se discute en The Great Hack respecto a la capacidad real de Cambdrige Analytica para procesar esos trillones de datos que acumula: ¿Qué tan efectivo es realmente un test para establecer mi compatibilidad con las princesas de Disney como herramienta para crear perfiles de votantes? No estoy diciendo que esto no se pueda hacer, sino al contrario: ante una premisa así de fascinante es una lástima que los documentalistas no hayan hincado el diente en este tipo de detalles, que son precisamente los que desconocemos.

  10. Pero son precisamente esas omisiones las que obligan a mirar The Great Hack con cierta distancia ahí donde los datos se convierten en un fetiche. Esa creencia de que con suficientes datos no hay nada que no se pueda saber y anticipar. La acumulación de datos como condición de la omnipotencia.

  11. En ese sentido, The Great Hack decide concentrarse mucho más en los efectos: la elección de Donnald Trump en Estados Unidos y la salida del Reino Unido de la Unión Europea. Lo que la película sugiere es que estos resultados solo fueron posibles debido a la intromisión de Cambdrige Analytica: el Big-data, los algoritmos y la “inteligencia artificial” ganaron esas elección.

  12. Así, la película hace eco de cierta retórica negacioncista de algunos sectores que consideran mucho más reconfortante pensar que la derrota de Hillary Clinton y el resultado del referéndum sobre el Brexit solo pueden ser explicados gracias a algún tipo de hackeo al sistema democrático; que el actual panorama político es un error en la Matrix.

  13. ¿Cuánta injerencia tuvo realmente Cambridge Analytica en esos resultados? Es difícil saber. Quizás mucha, quizás no tanto. Hasta puede ser que incluso no haya tenido ninguna. ¿Cómo saber realmente?

  14. Probablemente los únicos que podrían tener respuestas son los miembros de la industria. Pero son precisamente estas personas las que tienen más incentivos para no dar respuestas verídicas. Porque como alguien afirma en The Great Hack, esta es una industria que mueve trillones y se sustenta en la premisa de que los datos pueden decirnos todo lo que necesitamos saber.

  15. El riesgo radica en que el Big-data, los algoritmos y la “inteligencia artificial” se utilizan para tomar decisiones cada vez más relevantes en los distintos campos del saber humano, sin que necesariamente exista una comprensión acabada respecto a cómo cada set de datos, cada algoritmo y cada sistema de inteligencia artificial funciona ni cuál es la lógica detrás de los resultados que emite. Y si no comprendemos estas lógicas, se vuelve mucho más difícil estimar cuándo los resultados son correctos y cuándo no.

  16. Esta incapacidad para comprender la tecnología y sus limitaciones, la imposibilidad de detectar sus errores y sesgos, puede dar pie a una peligrosa cualidad performática, donde las instituciones sociales actúan acorde a a la información entregada por el algoritmo, a pesar de que esta pueda ser errada. Caldo de cultivo para todo tipo de arbitrariedades, discriminaciones e injusticias.

  17. La única vía para evitar esto es exigir mayor transparencia respecto a las reales capacidades de la tecnología, que nos permitan entender realmente qué es lo que pueden y no pueden hacer.

  18. En ese sentido, The Great Hack es una oportunidad perdida.

Cuando la tecnología nos amenaza

Esta última semana la prensa fue invadida por fotos de robots asesinos y titulares sobre el sistema de inteligencia artificial (IA) que debió desactivar Facebook, luego de que creara su propio lenguaje. Esta conjunción entre imagen y encabezado sugiere el terror que supone el hecho de que las inteligencias artificiales se salgan de control, levantándose contra la humanidad, intentando dominarla y destruirla. Sucedió en Terminator y en Wall-e; es posible en nuestras mentes asustadas.

La realidad detrás de esta noticia es, simplemente, que dos inteligencias artificiales se enviaban mensajes tomando palabras y turnándose en responder. Palabras al azar sin más sentido, solo recibir y responder; los pobres Alice y Bob ni se enteraron del problema. No estamos frente a mentes pensantes autónomas ni cerca de eso. Todavía falta mucho trabajo e investigación para que que una IA pueda tomar decisiones razonadas a nivel humano. Recién podemos lograr que analicen, seleccionen o aprendan una cantidad incontable de patrones, que jueguen al ajedrez o seleccionen material en Marte, pero eso no equivale a pensar por cuenta propia, solo nos lleva a entender que si ponemos mucha información en un programa de IA, este responderá ante estímulos o siguiendo el código de su programa o, con suerte, dará respuestas aleatorias.

Un buen ejemplo de esto es Cleverbot y su capacidad de aprender de las conversaciones que va teniendo con quienes se animan a escribirle, entrando en el interesante mundo del machine learning en vivo y en directo. Pero si queremos ir hasta los actuales reyes de la IA debemos entrar al traductor de Google y maravillarnos con las mejoras que se generan a través de este mismo aprendizaje, ante la interacción de millones de usuarios de una multiplicidad de idiomas alrededor del globo.

¿Acaso el sistema detenido por Facebook es un caso más de noticias falsas? Sí y no. Estas noticias solo se encargan de abrir nuestra imaginación y recordarnos lo que nos ha enseñado la ciencia ficción, base y motor de la creación científica, de la misma internet y de otros inventos e ideas geniales: “si puedes imaginarlo, puede llegar a existir”. Solo pensemos en la película Her, casi tan real como una nueva actualización de nuestros computadoras y dispositivos: la ideal asistente personal virtual que, como ha analizado y creado todas las conexiones posibles con los datos del protagonista, sabe perfectamente lo que necesita y cómo complacerlo.

Lo cierto es que no estamos ante robots asesinos acechándonos. No podemos pensar que las tecnologías son nuestros enemigos próximos y latentes. El problema con la tecnología es su utilización simplista para dar solución a problemas sociales: no todo puede solucionarse con tecnología. La delincuencia no se acaba con llenar de cámaras o drones (y menos empezar a programar robocops para apoyar a las policías mundiales).

El uso indiscriminado de cámaras y drones no soluciona de raíz el problema de la delincuencia, solo genera una falsa sensación de seguridad. Además ¿quién controla lo que se está grabando? ¿Dónde queda esa información y con quién se comparte? ¿Realmente deseamos que sepan dónde estamos en cada momento y a cada instante? Decir “no tengo nada que esconder” no es una respuesta válida cuando se vulneran nuestros derechos.

Tampoco podemos aceptar el uso desmedido de algoritmos para asuntos policiales; si tenemos un programa que nos ayuda a predecir delitos (ya que aprendió de los datos entregados sobre criminalidad), identificando a cierto tipo de personas como posibles criminales por su color de piel o vestimenta o ciertas zonas como focos de delincuencia, solo aumenta la discriminación y hace que se asignen mayores recursos en la seguridad o represión de ciertos sectores, formando guetos. Lo único que logra este tipo de políticas de seguridad es una exacerbada y desmedida generalización de acontecimientos delictuales y con ello seguir criminalizando a ciertas personas. Un buen ejemplo son los algoritmos policiales usados en Estados Unidos, que finalmente solo llevan más policías a lugares pobres, asumiendo por algunos datos que ahí se generará el próximo delito, provocando enfrentamientos que no sucederían si no se usaran estas tecnologías algorítmicas tan al pie de la letra.

Los desafíos del Big Data

Infografía que explica el concepto de Big Data e ilustra los principales desafíos que presenta desde el punto de vista del derecho a la privacidad y su protección legal.