Una de las principales razones esgrimidas para justificar la inclusión de tecnologías en procesos sociales complejos dice relación con la eficiencia y eficacia que tales soluciones podrían ofrecer. Ante realidades complejas, la promesa tecnológica se articula en torno a la oferta de soluciones simples. Sin que por ello se entienda cómo es que el dispositivo llegó a tal resolución: el ya conocido problema de las “cajas negras “algorítmicas y su opacidad ante el escrutinio público.

Así, por ejemplo, a la hora de evaluar los méritos de las y los postulantes a la educación superior, o al momento de determinar quiénes estarán primeros en la fila para recibir la vacuna contra la COVID-19, no pocos han sugerido que tales decisiones sean delegadas hacia dispositivos tecnológicos y, entre estos, la etiqueta más convencional es la de “algoritmo”.

Los algoritmos, que no son más que sets de instrucciones concatenadas entre sí para articular un resultado, son erigidos como mecanismos “científicos”, “objetivos” y “neutrales” capaces de determinar cuestiones tan relevantes como el límite entre quiénes son inmunizados, y quiénes no, en medio de la pandemia más grande de los últimos 100 años.

Entonces, ¿Cómo podemos comprender que el algoritmo implementado por el hospital universitario de Stanford (Estados Unidos) haya excluido de la inmunización a las y los médicos internos que se enfrentan día a día al COVID-19?, y más importante todavía: ¿Sobre quién recae la responsabilidad de tal decisión y sus consecuencias?

Tal como explican Eileen Guo y Karen Hao, “los algoritmos se usan comúnmente en la atención médica para clasificar a los pacientes por nivel de riesgo, en un esfuerzo por distribuir la atención y los recursos de manera más equitativa. Pero cuantas más variables se utilicen, más difícil será evaluar si los cálculos son defectuosos”. En el caso particular de Stanford, la exclusión de las internas e internos se debió al modo en que se ponderó la exposición a pacientes por COVID-19. En el esfuerzo por hacer un modelo que integrase más variables, se perdieron de vista cuestiones que, sin mediar más que el sentido común, podrían haber tenido una resolución distinta.

La respuesta de las y los trabajadores del hospital no se hizo esperar: “Fuck the algorithm!” fue una de las principales consignas.

Tal grito de protesta ya no es novedoso. Fue exactamente la misma proclama que sostuvieron las y los estudiantes ingleses ante el proceso de selección universitaria, que mediante la aplicación de un algoritmo de selección favoreció a las y los postulantes de las élites inglesas. Louise Amoore auguró con claridad que la protesta contra el algoritmo estará en el corazón de la protesta política del futuro.

Así, día a día “los algoritmos” comienzan a tener un rol significativo en el modo en que configuramos nuestras relaciones sociales y, en especial, sobre los criterios decisionales que articulan la implementación de políticas públicas. De todas formas, hemos de saber que tras cada resultado algorítmico existe una decisión humana. Y, las más de las veces, tal decisión humana es también una decisión política (esto es, con contenidos normativos tácitos o explícitos), que muchas veces es diluida por la pretensión científica del dispositivo tecnológico.

Es por ello que debemos tomar especiales precauciones a la hora de favorecer la implementación de soluciones tecnológicas ante problemas complejos. No solamente atendiendo a la capacidad de éstas para arrojar un resultado, sino considerando las implicancias que subyacen a tal aplicación: por ejemplo, la reproducción de sesgos raciales que llevó, entre otras cuestiones, a abandonar el algoritmo de admisión para las y los postulantes del doctorado en ciencias de la computación de la universidad de Austin, en Texas.

Tal como señala María Paz Canales, “necesidad, adecuación y proporcionalidad en la respuesta tecnológica es lo que separa una crisis de salud global de una renuncia de los derechos fundamentales”. Es posible extender tal juicio más allá de la crisis de salud global y situar la consideración por la necesidad, adecuación y proporcionalidad como principios rectores para la aplicación de tecnologías en el concierto de la resolución de problemáticas públicas.

Por cierto, este tipo de fenómenos no son ajenos a nuestra región. Durante el segundo semestre de 2020, Derechos Digitales junto a un equipo de investigadoras e investigadores latinoamericanos, realizó una investigación destinada a conocer las distintas formas en que se implementan este tipo de tecnologías en cuatro países de América Latina (Brasil, Chile, Colombia y Uruguay). Esperamos poder compartir los resultados de nuestra indagación durante el primer trimestre de 2021.

En el ínterin, y a modo de avance, resulta importante comprender la forma en que son promocionadas estas tecnologías versus cuáles son sus aplicaciones efectivas. Sobre todo, si de su aplicación dependerá el entrar a una bolsa de empleo o ser considerado como una persona cuyos derechos pueden ser vulnerados. Este tipo de aplicaciones tecnológicas en América Latina son crecientemente populares, es fundamental, entonces, mantener el horizonte en la evaluación crítica de su necesidad, adecuación y proporcionalidad.