Diversidad cultural bajo asedio algorítmico: folklorización, silenciamiento y colonización de nuestros patrimonios culturales

El diseño, entrenamiento y despliegue de tecnologías está transformando nuestras sociedades en los ámbitos económico, social y político. Sin embargo, este debate suele dejar en un segundo plano cómo la IA está reconfigurando los modos en que la cultura se crea, promueve, accede y experimenta, con implicaciones profundas para el ejercicio de los derechos culturales.

Estos derechos son fundamentales en tanto protegen el desarrollo y la manifestación de las identidades culturales, y garantizan que personas y comunidades puedan expresar sus cosmovisiones y los significados que atribuyen a su existencia. Esta expresión se materializa a través de formas diversas de la experiencia humana que incluyen las artes, el patrimonio cultural, las lenguas, los sistemas de conocimiento, las convicciones, las creencias religiosas, e incluso prácticas cotidianas como la alimentación y la vestimenta.

En otras publicaciones hemos analizado las implicancias de la IA para el campo de los derechos culturales, puntualmente para la creación artística y la creatividad. En esta columna, problematizaremos a la IA como producto de hegemonías culturales y, a la vez, como infraestructura tecnológica que condiciona los marcos en los que la cultura se produce, circula y valora socialmente. Partimos de la premisa de que cuando los sistemas de IA se entrenan con información cultural del Norte Global, así como bajo lógicas coloniales y extractivistas, los resultados sesgados y discriminatorios no son accidentales, sino que reflejan las dinámicas de inclusión y exclusión presentes en los datos de entrenamiento y en los procesos de diseño. Como consecuencia, las culturas, las lenguas, los conocimientos y las formas de expresión del Sur Global están constantemente ausentes o mal representadas en los contenidos asistidos o generados por esta tecnología.

Resaltaremos la importancia de proteger, hoy más que nunca, la soberanía y la autodeterminación de las comunidades de nuestra región sobre sus datos culturales. Algo imprescindible frente a la creciente expansión de sistemas de IA que tienden a producir una visión de la cultura homogénea, estandarizada y colonial. Los argumentos presentados a continuación están basados en una contribución conjunta presentada por Derechos Digitales y Asociación para el Progreso de las Comunicaciones (APC) ante el Mecanismo de expertos sobre el Derecho al Desarrollo de Naciones Unidas.

¿Cómo nos ven los grandes modelos de IA?

Diferentes investigaciones vienen señalando que los modelos de IA de las principales compañías tecnológicas no están diseñados para narrar con precisión aspectos culturales de los países del Sur Global. En algunos casos, esto se traduce en imprecisiones que reflejan desconocimiento y, en otros, en la reproducción de estereotipos e imaginarios simplificados que desdibujan la especificidad de identidades y expresiones culturales diversas.

Un claro ejemplo se observa en un estudio de la Universidad Diego Portales, en el que se generaron más de dos mil imágenes utilizando la herramienta Dall-E para analizar la percepción de los outputs de la IA sobre Chile y América Latina. Los resultados fueron desalentadores: la IA reproducía sesgos culturales, desigualdades, prejuicios, estereotipos de género y raciales. Así, al pedirle a la IA que generara imágenes a partir del prompt de «una mujer mapuche», los resultados mostraban a mujeres de cabello castaño, nariz respingada, ojos grandes y piel clara. Además, su vestimenta mezclaba elementos de diversos pueblos originarios de Latinoamérica y, en algunos casos, incluía plumas en la cabeza, algo característico de culturas indígenas norteamericanas.

Lo anterior refleja una problemática clara de la IA frente a la diversidad cultural: la mitificación, ficción y folklorización de las formas de expresión y las comunidades de regiones del Sur Global. A saber, las principales herramientas de IA amplifican ciertas estéticas y narrativas, mientras silencian y tergiversan otras, influyendo en cómo se representan las culturas en los entornos digitales y fuera de ellos. En esa medida, aquellas narrativas culturales alineadas con las normas dominantes -a menudo del Norte Global- son priorizadas, mientras que las expresiones e identidades de regiones pertenecientes al Sur Global están infrarrepresentadas o, peor aún, mal representadas.

Las implicaciones sociales y políticas de este escenario resultan preocupantes en el contexto tecno-político que vivimos. Estos sistemas -por su diseño y escala- no solo pueden profundizar jerarquías dominantes sino también generar nuevas formas de exclusión al promover la homogeneidad cultural y estética, con impactos directos en la diversidad cultural. Esto deteriora las condiciones del acceso y la transmisión de la cultura, a la vez que obstaculiza los esfuerzos de independencia, soberanía y autorrepresentación de comunidades históricamente marginalizadas, quienes continúan excluidas de las expresiones culturales dominantes.

Colonialismo digital extractivista

Otra problemática vinculada al diseño y entrenamiento de los grandes modelos de IA son las prácticas extractivistas y coloniales sobre los datos culturales de comunidades del Sur Global. En efecto, organismos internacionales de derechos humanos ya lo están advirtiendo: las empresas tecnológicas tratan los datos derivados de los patrimonios culturales como simples insumos para sus sistemas, despojándolos de los significados que les atribuyen las comunidades y sin beneficios reales para ellas.

Desde luego, los inventarios de datos que alimentan dichos sistemas rara vez se crean de forma participativa y transparente, o se rigen por marcos de derechos humanos con el fin de promover la diversidad cultural, comprenderla y protegerla. En contraste, lo que prevalece son prácticas de recopilación de datos culturales que priorizan el beneficio económico, normalmente sin consultar a las comunidades ni solicitar su consentimiento, y sin informarles sobre los objetivos de la recopilación.

Algunos estudios nombran esta postura extractivista como colonialismo digital. Se caracteriza por la construcción de un imperio algorítmico en el que los patrimonios culturales se convierten en materia prima de los sistemas de IA dominantes, extraídos de forma selectiva, descontextualizada, y sin favorecer realmente a las comunidades. Bajo esta lógica, al igual que las potencias coloniales extraen los recursos naturales de nuestras tierras, los grandes modelos de IA extraen idiomas, historias y conocimientos de las comunidades, los separan de su contexto y significado originales, y los vuelven a ofrecer de forma tergiversada para su consumo global.

Lo anterior no solo perpetúa la ya mencionada malrepresentación de las culturas y formas de expresión del Sur Global, sino que erosiona la autodeterminación cultural de las comunidades. El derecho a determinar libremente el desarrollo y destino de sus culturas fue señalado por organismos regionales de derechos humanos como un pilar fundamental para preservar las tradiciones y los sistemas de significado y conocimiento. Por tanto, la omisión y negativa de las empresas que controlan la infraestructura global de la IA frente a la capacidad de decisión de las comunidades sobre sus formas de expresión cultural, cómo, hasta qué punto y bajo qué términos se les incluye en los conjuntos de datos de entrenamiento, influye determinantemente en el ejercicio pleno de derechos fundamentales, como los culturales.

Soberanía sobre los datos culturales y el derecho a la autodeterminación cultural

Frente a este escenario, ya emergieron múltiples iniciativas de IA impulsadas por comunidades, academia y sociedad civil del Sur Global. A través de enfoques situados, disputan las lógicas dominantes del desarrollo de la IA, priorizando la programación y el diseño participativo, así como criterios de pluralidad y liderazgo de las comunidades.

Un ejemplo destacado es “AIkuaa”, una herramienta que permite transcribir a texto grabaciones de audio en guaraní, uno de los idiomas oficiales de Paraguay y una de las lenguas indígenas más habladas en América Latina. Según sus creadores, los modelos de lenguaje de gran tamaño (LLM) ampliaron la brecha digital, ya que lenguas como el guaraní se encuentran infrarrepresentadas debido a la falta de datos en su entrenamiento. Frente a esto, el objetivo es crear un repositorio de conocimiento abierto que permita que las organizaciones, la comunidad y los medios de comunicación puedan responder mejor a las audiencias que hablan guaraní. Como metodología, desarrollan “mingas de voces abiertas” -inspiradas en los espacios tradicionales de trabajo comunitario- para seleccionar y validar las frases en guaraní que enriquecen los conjuntos de datos públicos de voz.

Otro caso relevante es “AfroféminasGPT”, una herramienta diseñada para fortalecer el pensamiento afrofeminista y decolonial, con especial foco en las mujeres negras y personas racializadas. AfroféminasGPT no tiene acceso a Internet de forma deliberada, lo que implica que no incorpora información en tiempo real desde la web sino que opera a partir de una serie de textos y materiales que fueron cuidadosamente curados. Este elemento, lejos de ser una limitación técnica, constituye una elección ético-política que busca evitar la incorporación automática de narrativas dominantes y coloniales sobre las experiencias, saberes y luchas de comunidades negras y racializadas. En ese sentido, la herramienta se nutre de fuentes originales producidas desde perspectivas afrofeministas y decoloniales, con el objetivo de contrarrestar la producción de narrativas blanqueadas, tergiversadas o desinformadas.

En un escenario mundial en el que un número reducido de actores, como OpenAI, ChatGPT, Google Gemini, Meta AI y Microsoft Copilot, concentra el desarrollo de sistemas de IA que jerarquizan y visibilizan contenidos culturales, iniciativas como las anteriormente descritas adquieren una relevancia particular y permiten el acceso a contenidos culturales guiados por principios como la participación y la diversidad.

A lo largo de esta columna, hemos problematizado algunas implicaciones de la IA para la cultura, argumentando cómo las comunidades menos representadas en los sistemas de datos suelen ser también las más perjudicadas por sus decisiones y resultados estereotipados y sesgados. Este panorama pone de relieve la importancia de la soberanía sobre los datos culturales y el derecho a la autodeterminación cultural, dos principios fundamentales de herramientas contrahegemónicas de IA que fueron impulsadas por comunidades históricamente marginalizadas. Estas alternativas desafían el dominio de los gigantes tecnológicos y demuestran la urgencia de repensar y rediseñar la tecnología desde la riqueza cultural del Sur Global, asegurando que las iniciativas se construyan desde, y en respuesta a, los conocimientos y las necesidades culturales locales.