Temática: Inteligencia artificial

La política nacional de Inteligencia Artificial chilena y su proceso de participación ciudadana

El pasado 28 de octubre fue lanzada la política nacional de Inteligencia Artificial chilena, en un esfuerzo por responder a los desafíos que implica la masificación de tales tecnologías en la actualidad. Así, se busca promover una estrategia que permita favorecer el desarrollo de capacidades y un uso responsable de la tecnología, atendiendo a las oportunidades y riesgos que estas implican.

El desarrollo de la política nacional supuso la conformación de un comité de expertos, así como de un comité interministerial y contó con dos etapas de participación ciudadana, una primera instancia de convocatoria a contribuciones y luego una consulta pública del documento borrador de la política.

Es necesario reconocer la importancia del desarrollo de la política en cuestión, que sitúa a Chile en línea con el trabajo que han desarrollado Argentina, Brasil y Colombia, entre otros países de la región, por orientar el uso y aplicaciones de la inteligencia artificial. Asimismo, es importante destacar el rol de la consulta pública en la elaboración de la política chilena, que se suma a esfuerzos como el brasileño por incluir este tipo de instancias.Sin embargo, debemos igualmente señalar algunas consideraciones críticas respecto del proceso de participación ciudadana y sus alcances en el caso chileno.

En la primera etapa de participación ciudadana, de convocatoria abierta, se realizaron una serie de conversaciones (considerando mesas regionales, mesas autoconvocadas y reuniones temáticas online) que implicaron la asistencia de más de 8.000 personas a nivel nacional. La magnitud del número, sin embargo, carece de sentido sustantivo a la hora de evaluar el impacto de tales instancias de consulta en el borrador de la política. Aun cuando se declara que “Los insumos generados durante este proceso fueron sistematizados, analizados en profundidad y consolidados junto con las discusiones ministeriales y con expertos.” (P14) no es conocido cuáles fueron los criterios para la sistematización y análisis de tales aportaciones. Bien, entonces, por la participación, pero mal en lo que refiere a la trazabilidad de la incidencia deliberativa en la articulación de la política.

Lo anterior resulta particularmente relevante dado el innovador modelo de participación propuesto por el Ministerio de Ciencia, Tecnología, Conocimiento e Innovación chileno, que implicó la realización de 70 mesas de trabajo autoconvocadas, en las que participaron 1.300 personas, considerando actores de la sociedad civil, la industria, la academia y el sector público. Lamentablemente, no tenemos mayor noticia del modo en que influyó tal proceso de discusión en el borrador de la política. Lo mismo respecto a las 69 mesas de trabajo regionales o las 15 reuniones temáticas online, de las que tampoco existe acceso público a sus actas.

La segunda etapa del proceso de participación ciudadana, de consulta pública al borrador, fue realizado a través de un formulario online que contemplaba 1.500 caracteres para comentarios y la evaluación —a partir de una escala de acuerdo y desacuerdo— con los objetivos propuestos. Desde Derechos Digitales hicimos públicos nuestros reparos, tanto al formato de la consulta como de la estructura y contenidos del borrador inicial (tales consideraciones pueden ser revisadas aquí).

De todas maneras, es importante destacar el esfuerzo de sistematización que realizó el Ministerio en relación a la etapa de consulta pública (disponible aquí) y que sí permite un mayor grado de trazabilidad de los cambios implementados.

Una cuestón que no podemos omitir es que de las 179 personas naturales que respondieron la consulta, solo un 21% declara una orientación de género femenino. Esto es importante pues tal bajo porcentaje, en relación a la distribución demográfica de la población chilena, hace patente la necesidad de plantear mecanismos de participación ciudadana con orientación activa hacia grupos prioritarios. Para el caso, contamos con información respecto a género, pero sería muy importante conocer también cuántas personas de pueblos originarios, con algún tipo de discapacidad o pertenecientes a algún otro grupo minoritario de la sociedad tomó parte de la consulta. Por cierto, no está demás puntualizar que el proceso de consulta estaba disponible solo en lengua castellana, cuestión que resulta paradójica al considerar que uno de los ejes de la política es IA inclusiva.

Esto pues, como bien ha señalado la oficina de la Alta Comisionado para los Derechos Humanos de las Naciones Unidas en relación a las tecnologías biométricas y sus efectos discriminatorios, son justamente aquellos grupos quienes pueden verse mayormente afectadas por los riesgos que supone la implementación de tecnologías de inteligencia artificial.

De esta forma, la política chilena de inteligencia artificial surge desde un proceso de discusión y participación pública significativo y destacable en el contexto regional, pero sin dudas insuficiente respecto de los impactos que las tecnologías de inteligencia artificial puede tener en la vida cotidiana de las personas (se pueden verificar más antecedentes al respecto en el proyecto IA e Inclusión desarrollado por Derechos Digitales en https://ia.derechosdigitales.org/ ).

Sin perder el foco en las materias procedimentales, que buscan favorecer la legitimidad de la política en cuestión, no podemos dejar de extrañar al menos tres aspectos sustantivos: 1) la necesidad de establecer un diagnóstico que explique y justifique la implementación de tecnologías de inteligencia artificial, 2) la importancia de desarrollar un modelo de gobernanza de las tales tecnologías que tenga los derechos humanos como eje central (y no accidental) de su aplicación y 3) la comprensión de la aplicación de tecnologías y sus impactos desde un punto de vista que supone desafíos que exceden el ámbito técnico y que inciden en la propia definición de lo humano,  como bien ha señalado Carolina Gainza.

Artificios “inteligentes” y la falta de inclusión en América Latina

El pasado lunes 19 de abril, Derechos Digitales presentó públicamente la iniciativa Inteligencia Artificial e Inclusión en América Latina. El proyecto incluye estudios desarrollados por especialistas en cuatro países de la región sobre la implementación de sistemas tecnológicos con aspectos de automatización a partir del sector público.

Hasta el momento, las características de este tipo de despliegue tecnológico en la región han sido escasamente documentadas. Sin embargo, más rápido que cualquier análisis, la implementación de tecnologías digitales sigue avanzando silenciosamente, con pocos espacios de debate y participación ciudadana. Así lo evidencian los casos analizados en Brasil, Chile, Colombia y Uruguay.

Es preocupante observar cómo antes de enfrentar los desafíos relacionados a la digitalización y al establecimiento de procedimientos adecuados de gobernanza de datos, los gobiernos se empeén en automatizar procesos por medio de sistemas tecnológicos que agregan nuevas capas de complejidad y opacidad. Aún más cuando pueden afectar derechos fundamentales como a la asistencia social, el empleo, la justicia o la salud; o culminar en intervenciones discriminatorias en la vida de las personas por parte del Estado.

Un nuevo fetiche

A partir de los casos analizados, una de las primeras cuestiones que llama la atención es la adopción de tecnologías que, antes de su despliegue, carecían de cualquier evidencia sobre su necesidad o utilidad. Es decir, se desarrollan e implementan “soluciones” a problemas insuficientemente descritos, pues en general no existe un diagnóstico previo que las justifique.

Esta falta de diagnóstico resulta crítica en tres aspectos: 1) a qué finalidad sirve la solución tecnológica específica (incluido el análisis de su adecuación al problema),  2) la preparación en el aparato administrativo para su implementación y 3) la capacidad de la ciudadanía de comprender los efectos de la solución tecnológica. Como consecuencia, la implementación de sistemas tecnológicos complejos resulta por sí sola problemática frente a un contexto insuficientemente preparado para su despliegue e impotente frente a su funcionamiento.

En los cuatro países analizados, la manera en que implementadas las distintas iniciativas revela una importante discrecionalidad y ausencia de planificación sobre el uso de tecnologías a nivel gubernamental. Por cierto, esta condición refleja una tendencia a nivel regional más allá de los cuatro países inicialmente considerados en nuestra investigación.

La característica común parece ser una aproximación de «solucionismo tecnológico»: la expectativa de que la tecnología digital sea solución a complejos problemas políticos y sociales. En este sentido, la enorme promoción a nivel global de tecnologías de inteligencia artificial las convierte en objeto de deseo para servidores públicos dispuestos a poner en riesgo a la ciudadanía para satisfacer la imagen de un Estado fuerte y moderno, independientemente de sus reales capacidades “inteligentes”.

Los cimientos del sistema

Si bien la innovación a nivel estatal es bienvenida y puede ser útil para lidiar con problemas de la gestión pública, es inaceptable que iniciativas que puedan implicar el acceso y procesamiento de inmensas cantidades de datos personales no pasen por discusiones previas y sin contar con un marco de legalidad adecuado. Pese a la ausencia de una discusión específica sobre la implementación de sistemas automatizados, los marcos normativos para lidiar con la protección de datos en los países analizados son todavía muy desiguales.

Como es sabido, el marco de protección de datos personales es demasiado limitado para regular sistemas de inteligencia artificial, pues apunta apenas a una arista de los mismos: la recolección y tratamiento de la información sobre personas naturales. No obstante, es ese ámbito del derecho donde, por su conexión con nuevas e intensas formas de procesamiento, se observan avances normativos, como garantías específicas para favorecer la “explicabilidad” de decisiones automatizadas o para integrar la revisión humana de esas decisiones. El intento brasileño de incorporar ambos aspectos en su normativa, detenido por veto presidencial, revela una importante falta de voluntad política por poner los intereses de la ciudadanía por encima de los imperativos de las industrias de tecnología, lo que seguramente no es exclusivo de un país.

Al mismo tiempo, la existencia de normas de protección de datos en los cuatro países analizados no han asegurado que los principios y reglas de la temática estuvieran en el centro de la atención estatal. Por el contrario, una característica común es la variación en la base legal para el tratamiento de datos, con el consentimiento como un factor a veces relevante, pero a menudo con bases de datos distintas y autorizaciones legales difusas para la inclusión de información desde diversas fuentes. Es decir, el aparato público extiende su función a partir de su legitimidad legal, sin tomar los debidos resguardos en obtener el consentimiento de las personas que se convierten en objeto de intervención estatal.

Esta es la clase de razones que explicitan la demanda no solo de una normativa para la fiscalización de los datos personales, sino de una autoridad pública de control, dedicada, especializada y con atribuciones para intervenir en la acción de otras agencias estatales si fuera necesario.

Pero como hemos dicho, la regulación de datos personales es apenas una arista. Parte importante de la acción estatal pasa por el estímulo a la inteligencia artificial, entendida como una vía de desarrollo industrial nacional. No obstante, esto tampoco es suficiente sin una visión completa sobre los distintos aspectos que confluyen en esta problemática. Si, por un lado, algunos gobiernos tratan de propagar sus principios o estrategias generales de inteligencia artificial, por otro, hay muy poca especificidad en cómo esos documentos guiarán la implementación de tecnologías desde el sector público. Por ejemplo, cuál será la importancia que darán a los derechos fundamentales y la transparencia.

Opacidad sin límites

Quizás uno de los problemas más relevantes que observamos cuando se trata de la adquisición estatal de tecnologías es la ausencia o insuficiencia de mecanismos para la integración directa de los intereses de la ciudadanía. En otras palabras: la falta de análisis conjunto con actores relevantes del sistema de forma previa a cada despliegue, la ausencia de mecanismos de control compartidos por intereses multisectoriales y la carencia de mecanismos de evaluación posterior.

Las falencias son múltiples: a la opacidad tradicionalmente asociada a sistemas de decisión automatizada, se suma la exclusión de la participación pública en el despliegue de los sistemas y la ausencia de mecanismos abiertos y transparentes de evaluación en la consecución de sus fines.

Los problemas que derivan de esa opacidad potenciada son también numerosos y conllevan, incluso, la insuficiencia de perspectivas diversas sobre los posibles impactos. La decisión pública sustentada únicamente en máquinas resulta una forma extrema de tecnocracia, que puede erosionar la legitimidad del aparato estatal y pone en discusión la real vinculación con los problemas que en teoría están destinados a abordar.

Hacia una agenda de gobernanza desde los gobernados

A partir de la recolección de datos empíricos sobre la implementación de sistemas automatizados o semi-automatizados es posible buscar factores comunes que faciliten, con base en el Sistema Interamericano de Derechos Humanos, una inminente discusión sobre el desarrollo de estándares regionales para su uso. Estos deberán orientar la producción de marcos normativos que hagan de la implementación de tecnologías, desde lo público, una expresión de las aspiraciones de la ciudadanía sobre el Estado, y no de las aspiraciones de una modernidad vacía.

Pero este es apenas un paso inicial y el desarrollo normativo está lejos de responder a los inmensos desafíos que se presentan. Derechos Digitales seguirá trabajando para generar evidencia y explorando nuevos espacios de diálogo sobre el desarrollo futuro de la tecnología en América Latina.

Revisa Inteligencia Artificial e inclusión aquí.

Política de inteligencia artificial: Ciudadanía al centro, no al margen

El pasado 27 de enero finalizó el plazo para participar de la consulta pública, que busca elaborar un borrador de la Política Nacional (chilena) de Inteligencia Artificial. El proceso comenzó en 2020, con una serie de encuentros que contaron la participación de diversas organizaciones públicas, académicas y de la sociedad civil, Derechos Digitales entre ellas. Habiendo tomado rol activo en el proceso, nos parece relevante establecer algunas consideraciones críticas al borrador de la política propuesta y al mecanismo elegido para llevar a cabo su discusión.

Uno de los componentes centrales para la aplicación exitosa de cualquier política pública es la legitimidad que la ciudadanía atribuye al actuar estatal. Desde ahí es posible articular una dinámica que expanda la acción estatal más allá del ámbito de la coacción y se oriente en favor de la configuración de un horizonte que movilice a diversos actores sociales hacia objetivos comunes. De este modo, tras cada política pública subyace una promesa de mejora o desarrollo. En esta línea, es esperable que exista también un diagnóstico que justifique la promesa que articula la política en cuestión. Tomando en consideración el horizonte normativo propuesto, lo razonable es que esta nueva reglamentación sea explícita respecto de los agentes, instituciones y articulaciones requeridas para conducirla en los plazos comprometidos.

En el caso de la Política de Inteligencia Artificial, no sería exagerado mencionar que gran parte de estos elementos no se pueden identificar de forma clara en el documento propuesto. Uno de los primeros problemas que se identificó contempla la dificultad para definir el propio concepto de “inteligencia artificial” (IA), así como anticipar sus eventuales ámbitos de aplicación.

Sobre la inteligencia artificial se manejan algunas cosas: que supondrá una nueva forma de establecer relaciones entre seres humanos y máquinas, entre ellas mismas y entre los propios humanos, gracias al desarrollo maquínico. Pero vaya que resulta costoso afincar el concepto en una definición funcional y que sea capaz de identificar los riesgos asociados al surgimiento de tal desarrollo tecnológico. Sabemos también que “inteligencia artificial” se asocia a eficiencia y rapidez, pero al mismo tiempo resuena en la reproducción de patrones de discriminación.

Resulta lamentable verificar que la política propuesta no descansa sobre un diagnóstico sistemático de las capacidades y articulaciones existentes en el país, además de aquellas brechas que podrían ser subsanadas mediante la aplicación de tecnologías de inteligencia artificial. La falta de un diagnóstico acucioso muestra una comprensión deficitaria de la economía política que subyace al desarrollo de estas tecnologías. En particular, respecto al desbalance existente entre el norte y el sur globales, y nuestra posición relativa como país en este contexto.

Pese a coquetear con la comprensión de la inteligencia artificial como una articulación socio-técnica, esta aproximación no articula la estructura del borrador. Así lo anticipaba la investigadora Carolina Gainza en octubre pasado, pues hasta ahora no se tiene en cuenta las implicancias de tales desarrollos, ni cuál es el rol de las humanidades y las ciencias sociales en esta discusión.

Antes bien, el borrador propuesto se plantea como una declaración bastante optimista sobre los desarrollos en inteligencia artificial y asume la permanente ampliación del ámbito de aplicación de estas tecnologías. No solo carece de una visión crítica respecto de para qué promover tales tecnologías, la mayoría de las veces menciona una perspectiva en torno a la gestión de las tecnologías desde una lógica de intervención vertical que omite futuros cambios en la estructura del Estado (cuestión que resulta relevante ante el proceso de discusión constitucional en la que se encuentra Chile).

Otro problema serio se presenta en la configuración de la estructura del documento, ordenado en torno a tres ejes: (1) factores habilitantes, (2) desarrollo y adopción y (3) ética, aspectos legales y regulatorios e impactos socioeconómicos.

El aspecto más complejo se encuentra en el tercer punto y es de articulación lógica: en el mismo eje se consideran los elementos normativos —orientaciones éticas y ordenamiento legal—, junto a los impactos previstos de la aplicación de tecnologías de inteligencia artificial. Es fundamental distinguir ambos elementos. Mientras el primero señala el marco desde el cual se desarrollarán las innovaciones tecnológicas, el segundo se refiere a sus consecuencias e incluye la variable de género. A nuestro juicio, esta mención debería ser un elemento primordial en la estructura del planteamiento de la política, así como la comprensión de estas tecnologías más allá de su estricta dimensión tecnológica.

En este sentido, cabe preguntarse, ¿qué es el orden normativo sino uno de los propios factores habilitantes para el desarrollo de cualquier tipo de empresa?

Cabe destacar que las orientaciones éticas ­—por sí solas— no serán capaces de ordenar el despliegue de este tipo de dispositivos. Es necesario contar con un marco normativo explícito, vinculante, que establezca los límites para la acción estatal y privada ante los riesgos de su implementación. Este marco normativo no parte de una hoja en blanco, si no por el contrario, es necesario tomar en cuenta las obligaciones vigentes para Chile en la promoción y protección de derechos humanos, que están igualmente vigentes con respecto a las tecnologías que el Estado y las empresas implementen.

Los riesgos no son pocos, pues hablamos de potenciales usos inadecuados de datos personales, que incluso pueden llevar a la exclusión en el acceso a bienes públicos o a discriminaciones arbitrarias en las relaciones entre privados.

La semana pasada se conmemoró el Día internacional de la protección de datos personales, una efeméride que enmarca la discusión sobre inteligencia artificial, pues los datos personales son una condición para el despliegue de la mentada inteligencia. ¡Y vaya que tenemos mucho por avanzar en esta tarea! Sobre todo, antes de abrazar el despliegue de la próxima tecnología de moda sin mediar mayor crítica.

Es por esto que es necesario revisar el mecanismo mediante el cual se ejercerá la participación pública del documento en cuestión. Así, un espacio de comentarios de tan solo 1.500 caracteres es a todas luces insuficiente, por tanto se requiere un formulario que evalúe el nivel de acuerdo con los objetivos y principios propuestos. No se está midiendo qué tan de acuerdo se puede estar entre afirmaciones polares, como si fuese una encuesta de opinión; lo que se busca es analizar de manera crítica una propuesta de política pública. Así, las potenciales bondades de la participación ciudadana se diluyen en un mecanismo de consulta mezquino, que además justifica la existencia de esta columna y los comentarios ampliados que Derechos Digitales ha enviado esta semana al Ministerio de Ciencia y Tecnología.

De todas formas, es rescatable la existencia del procedimiento de consulta pública, ya que da pie al enriquecimiento de la discusión por parte de la ciudadanía.

Es de esperar que la reflexión de la comunidad de investigadoras e investigadores —así como de activistas de distintos sectores de la sociedad civil y personas naturales—, nos permita contar con una mejor Política Nacional de Inteligencia Artificial. Una política capaz de identificar con claridad los riesgos, ámbitos de desarrollo, las instituciones y agencias responsables; las normas necesarias para su gobernanza, y los plazos de cumplimiento, habilitando el seguimiento, participación y ejecución de estas acciones por parte de la ciudadanía y con ella al centro, no al margen.

A la mierda el algoritmo

Una de las principales razones esgrimidas para justificar la inclusión de tecnologías en procesos sociales complejos dice relación con la eficiencia y eficacia que tales soluciones podrían ofrecer. Ante realidades complejas, la promesa tecnológica se articula en torno a la oferta de soluciones simples. Sin que por ello se entienda cómo es que el dispositivo llegó a tal resolución: el ya conocido problema de las “cajas negras “algorítmicas y su opacidad ante el escrutinio público.

Así, por ejemplo, a la hora de evaluar los méritos de las y los postulantes a la educación superior, o al momento de determinar quiénes estarán primeros en la fila para recibir la vacuna contra la COVID-19, no pocos han sugerido que tales decisiones sean delegadas hacia dispositivos tecnológicos y, entre estos, la etiqueta más convencional es la de “algoritmo”.

Los algoritmos, que no son más que sets de instrucciones concatenadas entre sí para articular un resultado, son erigidos como mecanismos “científicos”, “objetivos” y “neutrales” capaces de determinar cuestiones tan relevantes como el límite entre quiénes son inmunizados, y quiénes no, en medio de la pandemia más grande de los últimos 100 años.

Entonces, ¿Cómo podemos comprender que el algoritmo implementado por el hospital universitario de Stanford (Estados Unidos) haya excluido de la inmunización a las y los médicos internos que se enfrentan día a día al COVID-19?, y más importante todavía: ¿Sobre quién recae la responsabilidad de tal decisión y sus consecuencias?

Tal como explican Eileen Guo y Karen Hao, “los algoritmos se usan comúnmente en la atención médica para clasificar a los pacientes por nivel de riesgo, en un esfuerzo por distribuir la atención y los recursos de manera más equitativa. Pero cuantas más variables se utilicen, más difícil será evaluar si los cálculos son defectuosos”. En el caso particular de Stanford, la exclusión de las internas e internos se debió al modo en que se ponderó la exposición a pacientes por COVID-19. En el esfuerzo por hacer un modelo que integrase más variables, se perdieron de vista cuestiones que, sin mediar más que el sentido común, podrían haber tenido una resolución distinta.

La respuesta de las y los trabajadores del hospital no se hizo esperar: “Fuck the algorithm!” fue una de las principales consignas.

Tal grito de protesta ya no es novedoso. Fue exactamente la misma proclama que sostuvieron las y los estudiantes ingleses ante el proceso de selección universitaria, que mediante la aplicación de un algoritmo de selección favoreció a las y los postulantes de las élites inglesas. Louise Amoore auguró con claridad que la protesta contra el algoritmo estará en el corazón de la protesta política del futuro.

Así, día a día “los algoritmos” comienzan a tener un rol significativo en el modo en que configuramos nuestras relaciones sociales y, en especial, sobre los criterios decisionales que articulan la implementación de políticas públicas. De todas formas, hemos de saber que tras cada resultado algorítmico existe una decisión humana. Y, las más de las veces, tal decisión humana es también una decisión política (esto es, con contenidos normativos tácitos o explícitos), que muchas veces es diluida por la pretensión científica del dispositivo tecnológico.

Es por ello que debemos tomar especiales precauciones a la hora de favorecer la implementación de soluciones tecnológicas ante problemas complejos. No solamente atendiendo a la capacidad de éstas para arrojar un resultado, sino considerando las implicancias que subyacen a tal aplicación: por ejemplo, la reproducción de sesgos raciales que llevó, entre otras cuestiones, a abandonar el algoritmo de admisión para las y los postulantes del doctorado en ciencias de la computación de la universidad de Austin, en Texas.

Tal como señala María Paz Canales, “necesidad, adecuación y proporcionalidad en la respuesta tecnológica es lo que separa una crisis de salud global de una renuncia de los derechos fundamentales”. Es posible extender tal juicio más allá de la crisis de salud global y situar la consideración por la necesidad, adecuación y proporcionalidad como principios rectores para la aplicación de tecnologías en el concierto de la resolución de problemáticas públicas.

Por cierto, este tipo de fenómenos no son ajenos a nuestra región. Durante el segundo semestre de 2020, Derechos Digitales junto a un equipo de investigadoras e investigadores latinoamericanos, realizó una investigación destinada a conocer las distintas formas en que se implementan este tipo de tecnologías en cuatro países de América Latina (Brasil, Chile, Colombia y Uruguay). Esperamos poder compartir los resultados de nuestra indagación durante el primer trimestre de 2021.

En el ínterin, y a modo de avance, resulta importante comprender la forma en que son promocionadas estas tecnologías versus cuáles son sus aplicaciones efectivas. Sobre todo, si de su aplicación dependerá el entrar a una bolsa de empleo o ser considerado como una persona cuyos derechos pueden ser vulnerados. Este tipo de aplicaciones tecnológicas en América Latina son crecientemente populares, es fundamental, entonces, mantener el horizonte en la evaluación crítica de su necesidad, adecuación y proporcionalidad.

Vigilancia, control social e inequidad: la tecnología refuerza vulnerabilidades estructurales en América Latina

Mientras la brecha entre ricos y pobres se incrementa en el mundo, América Latina sigue siendo la región donde la riqueza se distribuye de forma más desigual. Según la Comisión Económica para América Latina y el Caribe (CEPAL), existen marcados desequilibrios entre los distintos niveles socioeconómicos en aspectos como la esperanza de vida, la mortalidad infantil, la tasa de analfabetismo y el acceso a agua al interior de las viviendas. Así, la altísima inequidad que asola al continente influye directamente en el bienestar de sus habitantes, sus posibilidades de desarrollo y en el ejercicio de sus derechos fundamentales.

La implementación de programas que condicionan el acceso a servicios básicos a la vigilancia estatal y privada ejemplifican de manera clara no solamente el hecho de que las tecnologías no son neutras, sino que impactan de forma diferenciada a distintos grupos humanos, de acuerdo a su género, al color de su piel y a su clase social. 

Aprovechándose de las deficiencias de nuestros sistemas legales y explotando sus áreas grises, la industria ha impulsado agresivamente un tecnosolucionismo chauvinista, abrazado irresponsablemente por una clase política con ganas de figurar a la sombra de una idea tristemente reducida de progreso. Así, el negocio se transforma en la promesa de un beneficio acotado, que se consigue a costa de los derechos de quienes no tienen más opción que someterse al escrutinio constante, a la vigilancia, al control, a la discriminación. Hablar de desigualdad en América Latina es hablar de la ponderación que se hace entre los derechos de quienes pueden acceder a otras posibilidades y quienes no. 

La inequidad se esconde hoy tras una serie de muletillas de significado impreciso – big data, decisiones algorítmicas, inteligencia artificial – que en nombre de la eficiencia intentan naturalizar los sesgos bajo los cuales operan, haciendo inescrutables los sistemas que los procesan y la forma en que son usados para regular el acceso a programas sociales, el uso del transporte público o la asistencia a eventos populares.

Ejemplos no faltan. En Argentina, la provincia de Salta firmó en 2017 un acuerdo con Microsoft para utilizar inteligencia artificial en la prevención del embarazo adolescente y la deserción escolar. Según la empresa, a partir de datos recolectados por medio de encuestas a sectores vulnerables de la sociedad “los algoritmos inteligentes permiten identificar características en las personas que podrían derivar en alguno de estos problemas y advierten al gobierno para que puedan trabajar en la prevención de los mismos”.  Los datos recabados son procesados por servidores de Microsoft distribuidos alrededor del mundo y el resultado de ese procesamiento apunta específicamente a las adolescentes identificadas como personas bajo riesgo, afectando no solamente su privacidad, sino también su autonomía y generando amplio potencial de discriminación. Se trata, finalmente, de un mecanismo dirigido de control sobre personas en situación de vulnerabilidad que son expuestas a intervenciones sin su consentimiento, reforzando la vulnerabilidad de las personas que son privadas incluso de la posibilidad para decidir sobre esas intervenciones.

Aunque se argumente que los datos utilizados para la proyección son entregados voluntariamente, es cuestionable la idea de que las niñas y adolescentes afectadas por estas medidas –o sus responsables–  puedan prestar un consentimiento activo y realmente consciente sobre las implicaciones de entregar información específica sobre sus hábitos sexuales y potencial embarazo. Cabe señalar que Salta fue la última provincia argentina que dejó de impartir educación religiosa en las escuelas públicas después de un fallo de la Corte Suprema, reconociendo la existencia de violaciones a los derechos a la igualdad y a la no discriminación, así como a la privacidad de los ciudadanos y ciudadanas. El uso tecnológico descrito no es sino expresión de problemas más amplios para comprender los ámbitos de autonomía y privacidad de las personas, con un propósito político.

En Brasil, el Ministerio de Ciudadanía firmó un acuerdo con el gobierno de Salta y Microsoft para implementar un programa similar. En este caso, además de la prevención del embarazo adolescente y la deserción escolar, se pretende anticipar cuestiones como la desnutrición y enfermedades en la primera infancia. El país sería el quinto en la región en compartir la experiencia argentina. Además de dudas sobre el consentimiento informado y el acceso del Estado a informaciones sensibles sobre poblaciones vulnerables, quedan sin respuesta algunas preguntas sobre qué otros usos u previsiones se pueden extraer de esos datos y cuáles los límites para su tratamiento por parte de Microsoft y los gobiernos involucrados en el programa.

Por su parte, Chile inició en 2019 la implantación piloto de una herramienta que busca detectar a niños, niñas y adolescentes en situación de riesgo. Según el Ministerio de Desarrollo Social y Familia, Alerta Niñez es un instrumento preventivo que “identifica el conjunto de condiciones individuales, familiares, del entorno y de los pares de los niños y niñas y adolescentes, que tienden a presentarse cuando existe un riesgo de vulneración de derechos de niños, niñas y adolescentes”. El sistema se basa en el procesamiento estadístico de grandes cantidades de datos provenientes de organismos públicos para calificar a la población menor de 18 años, ordenando a las personas según su probabilidad de sufrir vulneraciones.

Aunque en este caso el sistema haya sido desarrollado por una universidad privada local, nuevamente se trata de una iniciativa invasiva de recolección de datos sensibles de menores de edad que conlleva gran riesgo de profundizar situaciones de prejuicio y estigmatización hacia grupos históricamente vulnerables. Además, estos procesos implican la transferencia de datos personales a terceros y la posibilidad de que esos datos sean usados para fines distintos a los que permitieron su recolección; sin bases legales ni garantías de que la información generada no será utilizada a futuro con otros propósitos, como iniciativas de policiamiento predictivo por ejemplo.

Dado que cuestiones como embarazo adolescente, evasión escolar y desnutrición son problemas estructurales en la región, es extremadamente cuestionable que las políticas asociadas sean mediadas o condicionadas a la recolección de grandes cantidades de datos. Que no exista a su vez una preocupación por los derechos de niños, niñas y adolescentes, concordante con instrumentos vigentes en toda la región, da cuenta de un problema más profundo.

Vigilancia, control y exclusión

En Chile, la implementación de sistemas de identificación biométrica en el sistema nacional de salud preocupa por las posibles limitaciones que podría generar a poblaciones marginadas y empobrecidas -e incluso a personas mayores, por la pérdida de legibilidad en rasgos como las huellas digitales- para su acceso a servicios básicos de salud.

La implementación del llamado “Sistema Biométrico para la Seguridad Alimentaria” en Venezuela, a través del cual se exige a los ciudadanos la verificación de su identidad a través de la huella digital para adquirir productos categorizados como de “primera necesidad” (productos alimentarios, de higiene y medicinas), ha generado denuncias por discriminación hacia personas extranjeras -documentadas e indocumentadas- y personas transgénero. La situación es particularmente preocupante dada la situación de escasez de bienes esenciales y la crisis humanitaria que se agrava en el país, principalmente afectando los derechos a la alimentación y salud de las poblaciones más vulnerables. 

En São Paulo se implementó hace dos años el uso de cámaras de reconocimiento facial en el sistema de transporte público, con la justificación de que ayudarían a evitar el fraude en el uso de beneficios sociales asociados al transporte, como descuentos a adultos mayores, estudiantes y personas con discapacidad. En estos dos años el sistema ha bloqueado más de 300 mil tarjetas supuestamente usadas indebidamente, o sea, no por sus titulares. Por otra parte, la municipalidad ha anunciado la suspensión total las tarjetas anónimas y ha implementado medidas para obligar el registro de las tarjetas con datos de identificación únicos y residenciales. Este tipo de medida puede impactar en el acceso de personas no registradas –como personas sin techo e inmigrantes– al servicio. En una ciudad de las dimensiones de São Paulo, las tarjetas que permiten la integración con descuento a distintos tipos de transporte son fundamentales para la locomoción de gran parte de la población al trabajo, escuela y actividades culturales. El bloqueo o imposibilidad de acceso a medios de transporte puede tener un gran impacto en la vida y el desarrollo de las personas.

Además de crear limitaciones al acceso a servicios públicos para grupos históricamente marginados de la población, los sistemas de identificación obligatoria y biométricos implican una “sobrevigilancia” hacia esos grupos. No se sabe cómo son utilizados, agregados y compartidos los datos recolectados de esos grupos, ni parece proporcional exigir un nivel tan alto de información para la entrega de beneficios limitados o condicionados. En el caso venezolano las bases de datos biométricas provienen del sistema electoral, para ser utilizadas tanto por operadores estatales -incluyendo funcionarios de migración y policías- como por cajeros de supermercados y farmacias, sin ningún tipo de requisito legal previo. En São Paulo, el gobierno municipal llegó a anunciar la venta de las bases de datos de las tarjetas utilizadas en el transporte pero, bajo presión pública y después de la aprobación de una ley de protección de datos en Brasil, cambió su posición.

No está demás reiterar que solamente se someten a esos sistemas a los usuarios de sistemas públicos de salud, asistencia social y transporte que, en general, no incluyen las élites locales que pueden prescindir de ellos y recurrir a prestadores privados; manteniendo mayor control sobre su información y preservando su privacidad.

Desigualdad, discriminación y pobreza

Que los mecanismos de vigilancia sean implementados de manera diferencial hacia los grupos más vulnerables no es novedad, esto remonta a procesos de control social y precarización que han estado en la base de la construcción de muchas de nuestras sociedades para asegurar tanto la dominancia de las clases sociales y económicas más privilegiadas como la explotación de los más vulnerables. Aún hoy, con las posibilidades ofrecidas por las tecnologías para optimizar la entrega de servicios de toda clase, vemos que esas tecnologías son usadas para mantener esa estructura social desigual. Con asistencia de la tecnología, la vulnerabilidad es castigada con vigilancia.

No tiene por qué ser así. La promesa de la tecnología es la mejora de nuestras vidas. Esa promesa debería ser transversal a toda la sociedad y no estar reservada para aquellas personas que puedan costear las mejoras, o que puedan pagar el precio de no tener que someterse a aplicaciones abusivas de la tecnología. Estos desarrollos y despliegues tecnológicos no deberían resultar en una nueva forma de discriminación que profundice otras desigualdades como un daño colateral que debemos asumir en favor de un supuesto bien mayoritario. 

Una aproximación de derechos fundamentales con una comprensión interseccional de los distintos tipos de exclusiones que las tecnologías promueven y clausuran es la única manera de hacer frente a la desigualdad a la que millones de personas están siendo sometidas en el continente. Solo así, las nuevas tecnologías quizás puedan convertirse en un factor que ayude al cierre de las brechas que enfrentamos ahora. 

La oportunidad perdida del ‘gran hackeo’

  1. Big-data, algoritmos e “inteligencia artificial” se han convertido en muletillas que se arrojan al aire con la delicadeza con la que se descarga el equipaje facturado en un avión.

  2. Hoy en absolutamente todos los campos del saber humano hay alguien intentando compilar datos que serán analizados por un sistema de inteligencia artificial, construido a partir de complejos algoritmos, y así innovar de forma disruptiva, crear valor, generar experiencias inmersivas y, en última instancia, hacer del mundo un mejor lugar.

  3. Pero existía una compañía que no quería hacer del mundo un mejor lugar y estaba mucho más interesada en hacer dinero, a pesar de que ello convirtiera al mundo en un lugar peor. Esa compañía se llamaba Cambridge Analytica y utilizó big-data, algoritmos e inteliencia artificial para ganar unas elecciones en Estados Unidos y el Reino Unido. Básicamente de eso va The Great Hack, el documental de Netflix estrenado hace un par de semanas en latinoamérica bajo el inexplicable título de Nada es privado.

  4. En la superficie, The Great Hack es una moraleja respecto a los peligros que el extractivismo de datos plantea a la democracia y los derechos fundamentales de los individuos. Estos peligros son reales y necesitan ser abordados seriamente (que es lo que tratamos de hacer en Derechos Digitales).

  5. Al mismo tiempo, la película mitologiza las capacidades de la industria que critica; una industria que siempre se ha sentido más cómoda trabajando desde las sombras, esquivando las preguntas relevantes y creando mitos.

  6. The Great Hack mitologiza las capacidades de la industria datoextractivista dejando que sean los (ex) empleados de Cambridge Analytica los que expliquen cómo funcionaba el negocio, sin cuestionar su relato en ningún momento. Los documentalistas les dan todo el espacio necesario para pavonear sus capacidades, su inteligencia, su influencia y su poder.

  7. Por su puesto, no todo es culpa de los documentalistas. La verdad es que no sabemos mucho respecto a cómo funciona la industria del extractivismo de datos, cuáles son realmente sus capacidades y menos cuáles son sus limitaciones. Es posible que incluso quienes trabajan para empresas como Cambridge Analytica o Facebook tampoco lo sepan. Y tras ver The Great Hack es poco lo que podemos sacar en claro.

  8. Mucho se discute en The Great Hack respecto a la capacidad de Cambridge Analytica para acumular datos: la empresa se ufana de tener 5000 datos de cada uno de los votantes estadounidenses. Muchos de esos datos se obtuvieron a través de Facebook, por medio de cuestionarios sobre cuestiones triviales que permitían crear perfiles de votantes.

  9. Poco se discute en The Great Hack respecto a la capacidad real de Cambdrige Analytica para procesar esos trillones de datos que acumula: ¿Qué tan efectivo es realmente un test para establecer mi compatibilidad con las princesas de Disney como herramienta para crear perfiles de votantes? No estoy diciendo que esto no se pueda hacer, sino al contrario: ante una premisa así de fascinante es una lástima que los documentalistas no hayan hincado el diente en este tipo de detalles, que son precisamente los que desconocemos.

  10. Pero son precisamente esas omisiones las que obligan a mirar The Great Hack con cierta distancia ahí donde los datos se convierten en un fetiche. Esa creencia de que con suficientes datos no hay nada que no se pueda saber y anticipar. La acumulación de datos como condición de la omnipotencia.

  11. En ese sentido, The Great Hack decide concentrarse mucho más en los efectos: la elección de Donnald Trump en Estados Unidos y la salida del Reino Unido de la Unión Europea. Lo que la película sugiere es que estos resultados solo fueron posibles debido a la intromisión de Cambdrige Analytica: el Big-data, los algoritmos y la “inteligencia artificial” ganaron esas elección.

  12. Así, la película hace eco de cierta retórica negacioncista de algunos sectores que consideran mucho más reconfortante pensar que la derrota de Hillary Clinton y el resultado del referéndum sobre el Brexit solo pueden ser explicados gracias a algún tipo de hackeo al sistema democrático; que el actual panorama político es un error en la Matrix.

  13. ¿Cuánta injerencia tuvo realmente Cambridge Analytica en esos resultados? Es difícil saber. Quizás mucha, quizás no tanto. Hasta puede ser que incluso no haya tenido ninguna. ¿Cómo saber realmente?

  14. Probablemente los únicos que podrían tener respuestas son los miembros de la industria. Pero son precisamente estas personas las que tienen más incentivos para no dar respuestas verídicas. Porque como alguien afirma en The Great Hack, esta es una industria que mueve trillones y se sustenta en la premisa de que los datos pueden decirnos todo lo que necesitamos saber.

  15. El riesgo radica en que el Big-data, los algoritmos y la “inteligencia artificial” se utilizan para tomar decisiones cada vez más relevantes en los distintos campos del saber humano, sin que necesariamente exista una comprensión acabada respecto a cómo cada set de datos, cada algoritmo y cada sistema de inteligencia artificial funciona ni cuál es la lógica detrás de los resultados que emite. Y si no comprendemos estas lógicas, se vuelve mucho más difícil estimar cuándo los resultados son correctos y cuándo no.

  16. Esta incapacidad para comprender la tecnología y sus limitaciones, la imposibilidad de detectar sus errores y sesgos, puede dar pie a una peligrosa cualidad performática, donde las instituciones sociales actúan acorde a a la información entregada por el algoritmo, a pesar de que esta pueda ser errada. Caldo de cultivo para todo tipo de arbitrariedades, discriminaciones e injusticias.

  17. La única vía para evitar esto es exigir mayor transparencia respecto a las reales capacidades de la tecnología, que nos permitan entender realmente qué es lo que pueden y no pueden hacer.

  18. En ese sentido, The Great Hack es una oportunidad perdida.