Deepfakes: cuando las tecnologías promueven la violencia de género digital

Cada vez son más las noticias sobre casos de deepfakes en América Latina. Estas tecnologías, basadas en inteligencia artificial (IA), permiten crear imágenes falsas insertando el rostro de una persona en el cuerpo de otra, simulando situaciones que nunca ocurrieron, muchas veces de carácter sexual. En varios países de la región, se registraron casos particularmente alarmantes en colegios, donde niñas fueron víctimas de sus propios compañeros. Suelen utilizar estas herramientas para generar, compartir e incluso comercializar contenido sexual de sus compañeras. En los últimos años, los medios reportaron este tipo de hechos, principalmente en colegios privados de Perú, Ecuador, Brasil, Chile, Argentina y Guatemala, entre otros. Niños y adolescentes aprenden a explotar la tecnología para vulnerar a sus compañeras, mientras ellas quedan expuestas a una violencia para la que nadie tiene respuestas concretas.

Por su parte, la cobertura mediática sigue un patrón: los casos con mayor visibilidad provienen de colegios privados en zonas urbanas, pero eso no significa que sean los únicos. En un colegio de la Región del Maule, Chile, en una comuna fuera de los grandes centros urbanos, ocurrió un caso similar, por ejemplo. A diferencia de los anteriores, esta noticia no se encuentra fácilmente en internet y fueron las propias adolescentes quienes se vieron obligadas a denunciarlo en redes sociales.

En Latinoamérica, donde la mayoría de los colegios no pertenecen a élites, lo que llega a los medios representa solo una fracción de la realidad. Mientras algunos casos generan indignación, muchos otros quedan en el olvido, y en los contextos invisibilizados, las víctimas no reciben atención ni respuesta institucional.

En esta columna nos proponemos analizar qué rol están cumpliendo las aplicaciones de deepfake en América Latina en la proliferación de nuevas formas de violencia de género digital. A partir de estudios e investigaciones especializadas, indagamos las condiciones que las habilitan y las responsabilidades técnicas, políticas y económicas detrás de su funcionamiento, sin dejar de lado los desafíos urgentes que enfrenta la región para abordarlas.

Investigar el uso de apps de deepfake en América Latina

Los casos en colegios latinoamericanos mencionados evidencian un problema que trasciende lo técnico. La irrupción de este tipo de actos responde a un ecosistema digital que facilita su expansión sin considerar sus consecuencias. Según el informe State of Deepfakes 2023, el 98% del contenido deepfake disponible en línea tiene fines sexuales y el 99% de las personas representadas son mujeres. A esto se suma que el 48% de los hombres encuestados vio este tipo de contenido al menos una vez, y que el 74% no siente culpa por hacerlo.

Frente a esta realidad, grupos de investigación están tomando nota para poder reflejar conclusiones científicas y precisas. Junto a Situada, realicé una investigación para analizar el alcance de estas aplicaciones en la región, las condiciones que lo permiten y cómo su diseño facilita la violencia de género digital.

Para ello, se estudiaron 105 aplicaciones de deepfake publicadas en Google Play (Android), identificadas mediante una herramienta especialmente desarrollada para tal fin, la cual se conectaba a la tienda a través de una API. Gracias a esta conexión automatizada, pudimos recopilar información técnica y descriptiva de cada app, permitiendo observar patrones en su diseño y funcionalidad. El análisis de software suele centrarse en la usabilidad, pero es fundamental evaluar este tipo de tecnología más allá de lo técnico-comercial, desde una perspectiva ética, crítica y feminista.

Red flag: los hallazgos más preocupantes

La investigación de Situada detectó que el 89.5% de las aplicaciones de deepfake representan un riesgo para las mujeres, al facilitar la creación de contenido sexual no consensuado. El análisis reveló una combinación preocupante de factores sociotécnicos, lo cual se refleja en los principales hallazgos del estudio.

Uno de los primeros patrones identificados fue la falta de transparencia en el desarrollo de las apps: el 42.8% no indicaban su procedencia ni en Google Play ni en sus sitios web, dificultando la rendición de cuentas y sus motivaciones. Entre quienes sí reportaban autoría, se encontraron imágenes promocionales sexualizadas que refuerzan la objetivación de las mujeres. Además, se constató una clara brecha de género en los equipos que desarrollan estas apps, que refuerza la persistente falta de diversidad en el sector tecnológico.

Los hombres -especialmente del Norte Global- históricamente dominaron la innovación tecnológica, excluyendo las experiencias y necesidades de las mujeres. Esta dinámica fue ampliamente estudiada por autoras feministas que analizan cómo el diseño y la producción tecnológica reproducen desigualdades estructurales. Entre ellas, Judy Wajcman aportó conceptos clave en su libro “Tecnofeminismo”, donde explora cómo el desarrollo técnico está atravesado por relaciones de poder. Informes recientes de la UNESCO y Randstad confirman que menos del 30% de las personas que trabajan en IA son mujeres. Esta exclusión no responde solo a la falta de acceso o a las habilidades, sino a una cultura técnica masculinizada que condiciona lo que se diseña, para quién y con qué propósito.

Otro aspecto crítico identificado fue la clasificación que Google Play otorga a las aplicaciones. Esta tienda exige que todas las apps cuenten con una etiqueta de edad, asignada a través de un sistema gestionado por la Coalición Internacional de Clasificación por Edad (IARC por sus siglas en inglés). Para ello, los desarrolladores deben completar un formulario autodeclarativo y, en función de sus respuestas, se determina la categoría correspondiente (por ejemplo, “Mayores de 17 años”). Sin embargo, este mecanismo depende exclusivamente de la honestidad de quienes publican las apps. No hay verificación activa del contenido real de las aplicaciones. El análisis mostró que el 65.7% fueron clasificadas como “Apto para todo público”, pese a que se usan para la creación de contenido sexual no consentido. Clasificaciones que deberían proteger a las personas usuarias, terminan validando tecnologías dañinas bajo rótulos engañosos.

También se evidenció cómo estas herramientas operan bajo un modelo de negocio centrado en la rentabilidad. El 67.6% requiere un pago para desbloquear funciones principales y, aunque algunas ofrecen pruebas gratuitas, restringen la descarga hasta que se pague, incentivando la compra. Este modelo prioriza la rentabilidad por encima de cualquier principio ético, facilitando la explotación digital de los cuerpos de las mujeres. A esto se suma su facilidad de uso: el 96.2% fueron calificadas como intuitivas, incluso accesibles para personas sin experiencia técnica o dominio del idioma, lo que amplía su adopción.

Por otro lado, el análisis demostró que estos servicios en línea incorporan funciones que simulan besos o abrazos, normalizando la idea de que las mujeres pueden ser expuestas en situaciones íntimas sin su consentimiento. En los anuncios de estas aplicaciones, es común ver representaciones forzadas, casi siempre protagonizadas por un hombre, que utiliza una foto propia junto con la imagen de una mujer, reforzando dinámicas de control. Además, el uso de plantillas predefinidas contribuye a su hipersexualización: las opciones femeninas abundan en categorías como “Hot Bikini”, “Latex”, “Sexy Girl” o “Body Latino” (reforzando estereotipos fetichistas sobre las mujeres latinas), mientras que las plantillas masculinas son escasas y neutras.

Por último, las empresas detrás de estas aplicaciones eluden su responsabilidad legal a través de avisos en los que prohíben el uso de material no autorizado, pero dejan la ejecución en manos de la persona usuaria. Este hallazgo refleja que la estrategia legal no impide el daño, pero sí protege a las compañías que se benefician económicamente con estas prácticas. Al trasladar la carga moral exclusivamente a quien las utiliza, las empresas evaden su responsabilidad ética como diseñadoras de tecnología con impactos previsibles.

Una tendencia global reflejada en América Latina

Las conclusiones de esta investigación se inscriben en una tendencia global, de la cual América Latina no es ajena. Diversas organizaciones de la sociedad civil vienen advirtiendo que tecnologías como la deepfake forman parte de una creciente ola de violencia de género digital. En un informe reciente presentado a la ONU, desde Derechos Digitales, junto a otros grupos, señalamos que estas prácticas silencian voces y limitan la participación pública.

En la misma línea, Coding Rights documentó cómo ciertos servicios basados en IA imponen visiones patriarcales y coloniales sobre los cuerpos y decisiones de niñas y adolescentes en nuestra región. De forma similar, el Banco Interamericano de Desarrollo (BID) viene alertando sobre el uso de deepfake con fines de extorsión y humillación sexual, advirtiendo la ausencia de políticas regionales para enfrentar esta problemática.

En el plano legal, luego de recopilar casos de deepfake porn, activistas como Olimpia Coral insisten en que “la ley es insuficiente” y que es urgente capacitar a policías y fiscales para comprender estas tecnologías y atender adecuadamente a las víctimas. La evidencia también se manifiesta en el ámbito político. Un estudio de Fundación Karisma, en colaboración con ONU Mujeres, centrado en las elecciones legislativas de 2022, concluyó que la manipulación de información -incluyendo imágenes trucadas (deepfake) y suplantaciones- se convirtió en una forma de violencia digital contra candidatas mujeres. 

En conjunto, estos informes coinciden en lo que la investigación de Situada evidencia a nivel regional: las tecnologías de IA, cuando se desarrollan sin responsabilidad ética ni supervisión pública, reproducen violencias históricas hacia las mujeres

Neutralidad falsa: tecnologías que perpetúan la violencia de género 

Los resultados de estos análisis son alarmantes, pero no se comparan con el impacto en las mujeres afectadas. Mientras estas aplicaciones generan ganancias, las mujeres y niñas ven sus imágenes manipuladas y difundidas sin su consentimiento. Algunas temen salir de sus casas, otras sufren ansiedad y depresión, o son extorsionadas y revictimizadas por quienes minimizan el daño bajo la excusa de que “es solo IA” o “no es real”, ignorando que lo online tiene consecuencias en la vida offline.

Esta masificación no puede desvincularse de una economía de la conectividad que premia lo viral y convierte la exposición en capital. El número de descargas legitima estas prácticas como aceptables, invisibilizando sus impactos dañinos. Lo que ocurre en este mercado digital constituye una prolongación de la lógica patriarcal que trata los cuerpos de las mujeres como bienes disponibles para el deseo ajeno. Es una forma estructural de violencia donde la cosificación reduce a la mujer a objeto sexual y anula su agencia al servicio del placer masculino.

Plataformas como Google Play legitiman este ecosistema al permitir la circulación masiva de tecnologías que posibilitan agresiones simbólicas y sexuales sin consentimiento, bajo esquemas comerciales lucrativos. Responsabilizar únicamente a las personas usuarias es insuficiente. Se requiere cuestionar el sistema técnico, económico y normativo que habilita estas violencias.

El desafío no es solo denunciar, sino repensar la tecnología desde su raíz: reconocer que toda herramienta implica decisiones morales y políticas. Afrontar esta problemática requiere respuestas coordinadas: regulaciones con enfoque de género que obliguen a las plataformas a retirar contenidos no consentidos, y compromisos empresariales de transparencia que incorporen evaluaciones de impacto ético antes de publicar herramientas que puedan ser usadas para dañar. También es necesario avanzar en medidas de reparación integral para las víctimas, incluyendo apoyo psicosocial, acompañamiento jurídico y garantías de no repetición. Finalmente, promover una alfabetización digital crítica -especialmente entre jóvenes- puede prevenir estos usos violentos y construir una cultura digital basada en el respeto y el consentimiento. Avanzar hacia políticas públicas con perspectiva interseccional feminista y prácticas de desarrollo ético es una urgencia para garantizar que la innovación no se construya a costa de la dignidad de las personas.