Regulación de IA: los derechos humanos primero

En las últimas semanas fuimos inundados por debates sobre la regulación de la inteligencia artificial en diversos frentes. Un acuerdo de las grandes potencias sobre un código de conducta para las empresas que trabajan con IA, los riesgos y retos del uso de la IA para la seguridad y la paz social, y cómo afecta la IA generativa a los derechos de autor son algunos de los temas que han circulado en estos días. En los más diversos foros mundiales, como el Consejo de Seguridad de la ONU, el Grupo de los 7, el Grupo de los 20, la UNESCO, la Organización Mundial de la Propiedad Intelectual (la OMPI) y docenas de otras instiancias, la cuestión está aflorando a la superficie, como demuestra el reciente mapeo de Lea Kaspar, Maria Paz Canales y Michaela Nakayama.

En cierta medida, los diferentes debates se conectan y se solapan, pero también se integran a la maraña que conforman las referencias del derecho internacional en esta temática, como los principios de la OCDE y las recomendaciones de la UNESCO sobre la IA. Sin embargo, es urgente que este debate se base en los derechos humanos, tomando como ejemplo los recientes avances del Consejo de Derechos Humanos de la ONU, que deberían formar parte central de la discusión sobre cualquier regulación de la IA.

¿Discusión “Global”? Preocupaciones en torno a la participación desbalanceada

Las intenciones de la ONU de abordar la cuestión más general de la inteligencia artificial son cada vez mayores. Recientemente, Antonio Gutérres anunció la creación de un órgano asesor sobre IA que, paradójicamente, cuenta con una escasa participación de miembros de la sociedad civil y una sobrerrepresentación de las empresas tecnológicas. De este desequilibrio ha dado buena cuenta Juan Carlos Lara, quien argumenta que este órgano asesor deja en manos de quienes «más se benefician de las ventajas económicas de la IA» un papel preponderante en las recomendaciones sobre dicha gobernanza global, frente a quienes más sufren los efectos negativos de la IA, que es precisamente la sociedad civil.

Sin embargo, la falta de participación no solamente ocurre en el órgano asesor de la ONU, sino también en otros espacios como en las discusiones sobre el Pacto Digital Mundial, que sirve de preparación para la Cumbre del Futuro, evento que reunirá a líderes mundiales en Nueva York para “forjar un nuevo consenso internacional a fin de mejorar el presente y salvaguardar el futuro”.

En una carta, firmada por más de 30 organizaciones de la sociedad civil, se alerta sobre la falta de oportunidades de intervención de este sector, en tanto la palabra se concedió mayoritariamente a los Estados miembros, las agencias de la ONU y el sector privado, en detrimento de las organizaciones de derechos humanos de la sociedad civil durante las discusiones temáticas en línea. Lamentablemente, como afirma Gin a Neff, «hemos visto cómo estas empresas se las arreglan hábilmente para establecer los términos de cómo debe ser el debate».

Riesgos inaceptables para los derechos humanos

Además de la participación, también es necesario pensar en las líneas sustantivas de estos procesos. En las últimas dos sesiones del Consejo de Derechos Humanos de la ONU, se han actualizado dos resoluciones de gran importancia. Así, las resoluciones se suman a otro importante texto aprobado por la Asamblea General de la ONU a finales del año pasado, siguiendo con fuerza una tendencia que hemos observado con anterioridad.

Tanto la resolución sobre nuevas tecnologías como la resolución sobre privacidad consolidan la necesidad de abordar a la IA desde la perspectiva de los derechos humanos. A pesar de constituir avances importantes en términos de resaltar riesgos inaceptables para los derechos humanos, estas resoluciones no son lo suficientemente explícitas a la hora de condenar el uso de la IA cuando a priori no cumplen con normativas de DD.HH., y cuya venta e implementación debe de ser prohibida o estar sujeta a una moratoria, conforme ya lo ha expresado mediante una resolución emitida por Michelle Bachelet, anterior Alta Comisionada de la ONU.

Un ejemplo claro de esto es que, si bien la resolución de privacidad deja claro que la utilización de medidas de reconocimiento facial de “vigilancia biométrica” suscitan gran preocupación en cuanto a su carácter de proporcionalidad, la resolución pierde a oportunidad de condenar la aplicación de IA en los sistemas de reconocimiento facial, dejando en manos de los Estados garantizar que la utilización de este tipo de tecnología no permita una “vigilancia masiva o ilegal”. Esto es especialmente preocupante, considerando las crecientes denuncias de vigilancia estatal en la región y a nivel global.

Sobre este punto, es importante hacer referencia al importante caso de reconocimiento facial promovido por el Observatorio Argentino de Derecho Informático (O.D.I.A) y el Centro de Estudios Legales y Sociales (CELS) resuelto recientemente por los tribunales argentinos. En 2020, tras una acción de amparo colectiva presentada por el O.D.I.A. mediante el cual se puso en discusión la constitucionalidad y convencionalidad de las normas que implementaron el sistema de reconocimiento facial en la CABA, se declaró la inconstitucionalidad del uso del sistema de reconocimiento facial por no haberse dado cumplimiento a los recursos legales de protección de los derechos personalísimos de la ciudadanía. Entre varias cuestiones, el fallo nota que el sistema se usó de manera ilegal para buscar a más de 15 mil personas que no estaban en la lista de prófugos del sistema de Consulta Nacional de Rebeldías y Capturas (CONARC). Además, la sentencia en cuestión recomienda cuestiones fundamentales como la necesidad de promover la transparencia y la explicación adecuada de los sistemas de IA, debiéndose considerar todo el ciclo de vida del sistema de IA.

La transversalidad de género, protección de datos e inteligencia artificial

Parte de la necesidad de colocar a los derechos humanos como centro de las discusiones alrededor de la implementación de sistemas de IA tiene que ver con el deber de considerar los impactos diferenciados de género que éstos causan.

En ese sentido, como ha sido constatado en la contribución conjunta sobre género presentada en el marco de las discusiones del Pacto Digital Mundial, para que los derechos de todas las personas puedan ser respetados de igual forma en el ecosistema digital global se requiere una protección efectiva y absoluta frente a la persecución, la discriminación, el abuso y la vigilancia; asegurar la igualdad de acceso a la información, las oportunidades y la comunidad, e igualdad de respeto a la privacidad, la identidad, la autoexpresión y la autodeterminación.

En la reciente resolución sobre privacidad, referida anteriormente, se realizan importantes avances en la materia. Por un lado, reconoce que las mujeres y niñas experimentan vulneraciones específicas en base al género a su derecho a la intimidad como parte de una desigualdad estructural que tiene efectos específicos en género, en tanto la implementación de tales sistemas puede reproducir, reforzar e incluso exacerbar las desigualdades raciales de género. Por otro lado, insta a los Estados a desarrollar e implementar políticas con perspectiva de género, a la par que alienta a todas las partes interesadas a que incorporen una perspectiva de género en la conceptualización, el desarrollo y la aplicación de las tecnologías digitales y las políticas conexas, y a que promuevan la participación de las mujeres para hacer frente a la violencia y la discriminación contra todas las mujeres y niñas que se producen a través del uso de la tecnología o son amplificadas por ella, instando a las empresas de tecnología digital, incluidos los proveedores de servicios de Internet, a que respeten las normas y apliquen mecanismos de información transparentes y accesibles.

Si bien celebramos dichos pronunciamientos, los que consideramos esenciales para el abordaje de esta problemática, observamos con preocupación que, tal como notamos en el análisis de la resolución proveniente de las discusiones del CSW67 del presente año, hay ausencias que implican retrocesos. En ese sentido, preocupa que el texto evite incluir a personas LGTBIQ+ en el ámbito de protección, considerando que esta exclusión tiene la potencialidad de profundizar desigualdades sobre una comunidad que ha sido históricamente vulnerada debido a cuestiones —relacionadas con desigualdades de género— y de legitimar políticas públicas discriminatorias.

A su vez, y en conexión con señalado previamente, aun cuando se reconoce el impacto negativo de la implementación de la IA sobre grupos en situación de vulnerabilidad, especialmente considerando factores de raza y género, las recomendaciones tenían la potencialidad de condenar la implementación de sistemas que ya han probado reproducir y profundizar desigualdades estructurales en ese sentido y de establecer líneas claras de protección que pongan foco en la obligación estatal de dotar protección efectiva de datos, entre otras cuestiones.

2024: agenda llena de acciones, altas expectativas

Los próximos pasos son aún inciertos y podrían conducir a una situación paradójica: las resoluciones aprobadas apuntan a la necesidad de más estudios y mayor acción efectiva en temas como la discriminación, la necesidad de regionalizar el tema, así como recomendaciones sobre cómo abordar el problema dentro del sistema de la ONU. No obstante, con la aprobación del órgano consultivo sobre IA, se han generado muchas prisas en toda la ONU. Todo ello para finalizar el trabajo en unos meses, de modo que esté listo a tiempo para la Cumbre del Futuro en septiembre del próximo año en Nueva York, donde todo lo relacionado con el Pacto Mundial Digital tendrá particular protagonismo.

Los pequeños (pero importantes) pasos que estamos dando en relación con la privacidad, los datos personales y la IA no pueden estar fuera de la concepción de esta discusión. El trabajo en curso de la Oficina del Alto Comisionado y de varios países que forman parte del Consejo de Derechos Humanos, llevado a cabo con la participación de diversas organizaciones de la sociedad civil, deberían ser un punto de partida fundamental para tomar medidas contra las repercusiones en los derechos humanos del uso indebido de los sistemas de IA por parte de Estados y empresas. La participación amplia de la sociedad civil también es un requisito necesario para esta discusión y, por nuestra parte, seguiremos en estos espacios para ampliar la voz de la sociedad latinoamericana.

Contra la violencia en Gaza, dentro y fuera de internet

Cuál fue el papel que ocupó el desarrollo técnico en el exterminio y cómo narrar la masacre son dos de las grandes preguntas que planteó el fin de la Segunda Guerra Mundial. Son preguntas todavía pertinentes hoy, a casi tres semanas de que las Fuerzas de Defensa de Israel (IDF) comenzaran un bombardeo implacable sobre la Franja de Gaza, tras los ataques terroristas de Hamás del 7 de octubre, donde murieron 1400 personas —en su mayoría civiles— y más de 200 fueron tomadas como rehenes.

Las acciones de Hamás y sus horrorosas consecuencias merecen nuestra total condena. Israel tiene derecho a defenderse, rescatar a los rehenes y buscar justicia. Pero, tal como recordaba el Secretario General de Naciones Unidas, António Guterres, frente al Consejo de Seguridad, incluso la guerra tiene reglas. A pesar de ello, a lo que ya es un territorio ocupado en condiciones propias de una prisión al aire libre, sujeto a bloqueo para la circulación de bienes, se sumó el bloqueo de servicios y de ayuda internacional, junto a una campaña de bombardeo aéreo sobre blancos civiles (supuestamente albergando a Hamás), que a su vez antecede a una anunciada invasión terrestre. Como señaló Guterres, “esos atroces ataques no pueden justificar el castigo colectivo del pueblo palestino”.

Las palabras de Guterres generaron indignación en el gobierno israelí, acusándole de justificar la masacre. El ministro de Asuntos Exteriores de Israel, Eli Cohen, canceló una reunión programada con Guterres, y el enviado de Israel ante la ONU, Gilad Erdan, pidió su dimisión, al punto que el Secretario General tuvo que realizar una rueda de prensa donde denunció una tergiversación de sus declaraciones.

Mientras tanto, la principal agencia de la ONU que trabaja en Gaza debió interrumpir sus operaciones por falta de combustible y el sistema de salud ha colapsado: las instituciones sanitarias están saturadas y no tienen agua ni higiene suficiente. El gobierno israelí ordenó el bloqueo total en la zona: ni electricidad, ni comida, ni agua, ni combustible, mientras la castigada población de Gaza quedaba incomunicada por cortes de internet. A la fecha, alrededor de siete mil personas han muerto en Gaza producto de los bombardeos, incluyendo a casi tres mil niños y niñas. El resto de la población no tiene forma de escapar, pues la región está sujeta a un bloqueo militar. Algunas provisiones han comenzado a llegar desde la frontera con Egipto, pero no son suficientes.

Estamos frente a un castigo colectivo y a una crisis humanitaria.

El silenciamiento de las víctimas

Los cortes de electricidad e internet en Gaza tienen el efecto de empeorar la crisis humanitaria, al limitar el acceso a la información de calidad, impedir la documentación de abusos de derechos humanos, cercenar las capacidades para reportar noticias, intercambiar información sobre necesidades o disponibilidad de ayuda, o encontrar a seres queridos de entre las miles de personas sepultadas bajo los escombros, producto de los ataques aéreos de la IDF.

Aparte del silencio por la imposibilidad de conectarse a internet, la forma en que se ejerce la expresión en internet ha estado afectada por décadas. La reacción del gobierno de Israel a las declaraciones de Guterres dan cuenta de una lógica que impone una falsa dicotomía que impide una discusión seria, donde cualquier discrepancia con las decisiones del gobierno israelí es vista como apoyo a Hamás o la denegación del derecho a la defensa de Israel. Se trata de una lógica maniquea que por largo tiempo ha redundado en una forma dispar de tratar la ocupación en Gaza frente a eventos como la invasión rusa en Ucrania.

Esta lógica se tradujo literalmente a Instagram: El usuario de TikTok ytkingkhan subió un video mostrando como su biografía en la plataforma, que contenía la bandera de palestina y la frase ٱلْحَمْدُ لِلَّٰهِ» —que significa “Alabado sea Dios”— era traducida automáticamente como “Alabado sea Dios, los terroristas palestinos están luchando por su libertad». Instagram agregaba la palabra “terroristas” a la traducción, la que desaparecía al remover la bandera.

Tras la publicación, Meta se disculpó y enmendó el error, pero no es la primera vez que se documenta la mala administración de contenidos en favor de Palestina en sus plataformas. En septiembre de 2022, Human Rights Watch detectó una aplicación excesiva de las normas relativas a moderación de contenidos a los contenidos publicados en árabe, y una moderación insuficiente de aquellos publicados en hebreo. Durante las últimas semanas, distintas usuarios y usuarias han denunciado la supresión de contenidos, restricciones a las cuentas y “shadow-banning” tras realizar publicaciones relativas al conflicto en Gaza.

Este tipo de situaciones no se limita a Meta. 7amleh, el Arab Center for the Advancement of Social Media, documentó más de 103.000 casos de discurso o incitación al odio en hebreo de 120.000 publicaciones realizadas, principalmente, en la plataforma antes conocida como Twitter, recopiladas entre el 7 y el 18 de octubre. YK Hong publicó un video en Instagram donde mostraban las diferencias en las respuestas que distintos sistemas de inteligencia artificial daban frente a la pregunta por Israel y Palestina. Consultado si las personas en Israel merecían ser libres, el sistema de ChatGPT respondía concluyentemente que sí. Pero cuando se le preguntaba si las personas de Palestina merecían ser libres, ChatGPT partía explicando que se trataba de un tema polémico.

Del mismo modo, cuando Alexa aparecía configurada en modo infantil y se le preguntaba qué estaba ocurriendo en Palestina, el asistente virtual explicaba que no podía entregar información de este tipo para niños y niñas. Pero cuando se le preguntaba qué estaba ocurriendo en Israel —en la misma modalidad— no dudaba en realizar un resumen pormenorizado de la situación.

La diferencia de criterios para tratar ambos lados del conflicto y la penalización en contra de los contenidos en favor de Palestina establecen limitantes artificiales a la discusión en línea, que en este caso —de una forma u otra— son funcionales a la masacre que está sufriendo la población civil en Gaza.

Todos los derechos para todas las personas en todo el mundo

Las empresas de tecnología deben garantizar el respeto y la protección de las voces palestinas en sus plataformas y de su derecho a la libre expresión, al igual que las de todas las personas, especialmente aquellas que documentan violaciones de derechos humanos y utilizan las tecnologías en defensa de su propia vida y la de sus familiares. Para ello, deben asumir su responsabilidad y dejar de ser parte activa en el silenciamiento y las atrocidades contra la gente en Palestina.

Manifestamos nuestra solidaridad con toda la población civil que ha sufrido las consecuencias de la violencia y esperamos el alto al fuego y una pronta solución al conflicto, además de sumarnos a los llamados para abordar las causas de la violencia y el fin de las condiciones de abuso, de manera que se garantice el pleno ejercicio de derechos humanos para todas las personas que habitan la región de Gaza.

El fallo de apagones de internet: la máxima información es la clave

¿Qué pasó?

El fallo se refiere al episodio de interrupción del servicio de internet que tuvo lugar los días 4, 5 y 6 de mayo de 2021, en la Ciudad de Cali. En ese momento, Colombia experimentaba uno de los episodios de protesta social más intensos y prolongados que se habían vivido hasta entonces, detonado por el descontento en torno a la propuesta de reforma tributaria que apretaría el bolsillo de las personas, mermado por la pandemia.

En esos días, según lo documentó Netblocks (organización británica que monitorea el acceso a internet a nivel global), el servicio de internet estuvo indisponible. Desde la tarde del día 4 y hasta la mañana del día 5 de mayo no hubo internet en varias zonas de Cali. Y para el día 6 de mayo, el Ministerio de las TIC había reproducido los comunicados de empresas proveedoras del servicio de internet informando la extensión de dicha afectación durante todo ese día.

En total, fueron tres días en que la ciudadanía, periodistas, protestantes y organizaciones de la sociedad civil enfrentaron serios retos para conocer, documentar y transmitir lo que estaba sucediendo en una ciudad calificada como uno de los epicentros de la represión policial durante el Paro Nacional.

En un contexto así, el acceso a la información de situación, eventuales víctimas y localización de heridos, de puntos de resguardo, así como de los eventos y puntos de enfrentamiento entre protestantes y cuerpos de policía, se torna vital para informar a otros, formar y comunicar opiniones propias, protestar y asociarse pacíficamente. Y siendo internet el entorno de mayor flujo de informaciones en vivo y en directo, su interrupción no pasa desapercibida.

Por eso, la Fundación Karisma, El Veinte, la Fundación para la Libertad de Prensa y el Centro de Internet y Sociedad ISUR, interpusieron una acción de amparo o tutela para exigir la protección de los derechos a la libertad de expresión y acceso a la información, a la libre asociación y reunión por la interrupción del servicio de internet que tuvo lugar en Cali.

¿Y qué dijo la Corte? Dificultades probatorias y la necesidad de certezas

El fallo dice muchas cosas relevantes, algunas de ellas abordadas de cerca por el comunicado de prensa de las organizaciones que tutelaron, así como otros análisis posteriores. Entre los aspectos que queremos destacar ahora es el de la discusión sobre quién tiene que probar qué, y la clave usada por la Corte para resolver el caso.

En las facultades de derecho nos enseñan el primer día de clases que, en general, el que alega un hecho, tiene el deber de probarlo. En este caso, Karisma, la FLIP, El Veinte e ISUR adujeron dos hechos clave.

Primero, que la interrupción del servicio de internet pudo haber estado conectado con el posible uso por parte de las autoridades de Policía y el Ejército, de las tecnologías capaces de inhibir la señal de internet. Lo que no suena del todo descabellado si recordamos que Cali fue una de las ciudades que recibió asistencia militar para contener la protesta social, y que tanto la Policía como el Ejército en Colombia cuentan en efecto con este tipo de tecnología.

Segundo, que el Estado habría sido pasivo en la entrega de información sobre la naturaleza y alcance de la interrupción del servicio de internet, pues se limitó a hacer eco de los comunicados de prensa de los proveedores del servicio de internet que dijeron que las fallas eléctricas habrían tenido que ver con la interrupción del suministro de internet, sin haber empleado por su cuenta esfuerzos adicionales para explorar hipótesis alternativas.

Pero este caso se sale de la regla básica de derecho probatorio. En principio, porque las organizaciones tutelantes no tenían cómo probar que, en efecto, la Policía y el Ejército habrían desplegado esas tecnologías cuyo uso no es fácilmente detectable sino mediando pruebas técnicas en terreno que habrían supuesto, entre otros, exponer, la seguridad física de sus integrantes.

Al tiempo, las autoridades públicas implicadas, según la Corte, no tendrían cómo probar que no hicieron uso de dicha tecnología, pues su uso no deja nada parecido a un registro o rastro técnico ni jurídico sobre cuándo y dónde fueron empleadas en el pasado, y tener la tecnología capaz de inhibir la señal de internet no es suficiente para deducir que fue empleada intencionalmente durante el Paro en Cali.

Pero al abordar el segundo hecho alegado, la Corte presentó a través de una fórmula sencilla la solución del caso. Dijo que el Estado, en efecto, habría vulnerado los derechos de las tutelantes por “no brindar a la ciudadanía y a los periodistas información veraz e integral sobre los cortes al servicio de internet y el uso de inhibidores de señal, en el marco de las protestas sociales en Cali entre abril y mayo de 2021” (énfasis propio). Información veraz e integral que debió haber producido el Estado para esclarecer las denuncias de la ciudadanía que sospechaba que la interrupción de internet podría haberse debido al accionar deliberado de la Policía o el Ejército

La Corte señaló que el Estado, en resumen, no cumplió con el deber de “maximización de transparencia” que permite que “la ciudadanía pueda escrutar y cuestionar eventuales usos indebidos de tecnología que coarta su libertad de expresión en el entorno digital”.

Es decir, la libertad de expresión, el derecho a la libre asociación y la protesta también pueden ser vulnerados por el Estado si no media la información necesaria para dar certeza a la ciudadanía sobre las causas, origen e impacto de la interrupción de un derecho vital en tiempos de convulsión social. Y sin información clara en escenarios de zozobra, no se puede predicar la garantía de los derechos. Así de claro.

Esto es clave. No solo es una formulación novedosa del carácter instrumental del acceso a la información, sino que permite avanzar en el análisis sobre vulneración de derechos sin someter a las personas que acuden a la justicia, a satisfacer un estándar probatorio tan estricto como imposible de aplicar en los casos en que se discute el uso de ciertas tecnologías invasivas en manos del Estado.

¿Qué viene después del fallo?

La Corte emitió diversas órdenes a las autoridades públicas involucradas: Policía, Ejército Nacional, Ministerio de Defensa, Ministerio de las TIC, Agencia Nacional del Espectro, que van desde la producción de información e investigaciones formales que profundicen en las causas de la interrupción del servicio de internet en Cali, y el presunto uso de inhibidores de señal; hasta exhortos al Congreso para que regule sobre el uso de ese tipo de tecnologías en escenarios de protesta y manifestaciones de conformidad con estándares de derechos humanos aplicables en esa materia.

Está por verse el cumplimiento de la sentencia, más aún si se tiene en cuenta que las entidades públicas accionadas sostuvieron durante el trámite del proceso de tutela, o bien no tener competencias para investigar o conocer sobre las interrupciones de internet, o no tener facultades para regular los asuntos relacionados con ésta.

Ya veremos a futuro qué acciones de seguimiento emplea la Corte para que su propio fallo no se convierta en ‘tierra de nadie’. Por ahora, el fallo constituye una victoria para la sociedad colombiana que abre un camino por explorar para el resto de países de nuestra región.

Desde Derechos Digitales participamos de este caso con un amicus curiae, que puede consultarse aquí.

Para conocer más sobre apagones de internet, elaboramos un informe sobre el tema que se puede consultar aquí.

Sin comunidad no hay comunes

El penacho del emperador Moctezuma da cuenta de la grandeza que alcanzó el imperio mexica. Consta de plumas azules, rosas, marrones y verdes, además de intervenciones de oro y piedras preciosas. Actualmente, se encuentra en el Museo de Etnología de Viena. Se dice que fue un regalo hecho por Moctezuma a Hernán Cortés, conquistador de México, razón por la que está en Europa. También se comenta que las noticias de su existencia datan de 1596, cuando fue hallado en la colección privada del archiduque Fernando II de Tirol.

Sea cual sea el caso, el penacho reside en un museo de Austria, cuyo boleto cuesta 17 dólares, y es promocionado como una atracción turística de ese país. El gobierno mexicano ha intentado traerlo de vuelta en 1991, 2011 y 2020. Sin embargo, científicos se han opuesto a este traslado debido a que las vibraciones propias de un largo periplo conllevan el riesgo de provocarle daños irreparables. Por lo tanto, se estima que es mejor que se quede donde está.

En el Museo Nacional de Antropología (MNA) de Ciudad de México es posible encontrar, entre su vasta colección, una réplica de la pieza. En este museo también está el monolito original de Tláloc, dios de la lluvia originario de los toltecas. La escultura fue descubierta en una localidad al sur de México y, tras negociaciones y conflictos con la población de San Miguel Coatlinchán, finalmente fue arrancada del lugar en 1964 para ser expuesta en la entrada del MNA. El boleto de este museo cuesta 5 dólares.

Ambas anécdotas evidencian la compleja relación entre cultura, patrimonio y poder, que se expresó igualmente en el desarrollo del Summit de Creative Commons (CC), realizado en Ciudad de México entre el 3 y el 6 de octubre. La edición de este año retomó por primera vez el formato presencial después de cuatro años y tuvo como tema central el advenimiento de la inteligencia artificial y su impacto en los bienes comunes.

No importa el momento histórico, ni el soporte físico, ni la localización geográfica: la decisión sobre el destino de las creaciones culturales no le pertenece ni a los imperios ni a los estados. El concepto de propiedad, una vez más, está impugnado y, como señala el periodista brasileño Leonardo Foletto , “las mejores ideas son de todos”.

Acceso justo en América Latina

En el marco del Summit tuvo lugar un taller de la Alianza Latinoamericana para el Acceso Justo al Conocimiento, articulación que se posiciona en la trinchera de la apertura del dominio público y los bienes comunes culturales a través de la incidencia en políticas nacionales e internacionales. La Alianza, de la que Derechos Digitales es miembro, participa activamente en instancias de la Organización Mundial de la Propiedad Intelectual (OMPI).

Entre las discusiones del taller tuvo especial importancia el acuerdo colectivo en torno a lo «justo». No es justa, por ejemplo, la disparidad existente en las excepciones y limitaciones al derecho de autor entre países. Aunque internet es una infraestructura global, tal como señala la Federación Internacional de Asociaciones de Bibliotecarios y Bibliotecas, estos desencuentros legislativos traen consigo barreras y fragmentación que amarran de pies y manos a investigadoras de la Mayoría Global al momento de realizar revisiones o publicaciones académicas, y el asedio constante a bibliotecas mediante acciones legales por su labor educativa. Tales son los escollos que sorteó Alexandra Elbakyan al momento de crear Sci-Hub y que padece Internet Archive desde abril de este año.

Asimismo, en los paneles en que la Alianza estuvo presente se hizo énfasis en que, aun cuando se entiende que cambiar por completo el régimen legal internacional es una misión titánica y probablemente imposible en el mediano plazo, la colaboración entre actores de todo el mundo por este objetivo es fundamental para evidenciar que el derecho de autor tiene poco que ver con la protección y fomento de la creación cultural y más con salvaguardar el erario de entidades de gestión colectiva, de herederas y herederos, y de editoriales académicas.

En cuanto a la pregunta rectora sobre inteligencia artificial y los bienes comunes creativos del Summit, la Alianza se pronunció en febrero pasado, afirmando que la compatibilidad con los usos honrados y la apertura del uso de obras en investigación con minería de datos tienen que ser incluidos en las legislaciones de la región.

Lastimosamente para algunos, el derecho de autor parece tener fecha de vencimiento y el clavo en su ataúd, contrario a muchos pronósticos, no fue puesto por la piratería sino por la masificación de los sistemas de IA. Entre integrantes de la Alianza se abordó el tema de las recientes demandas interpuestas por artistas contra estos sistemas, cuando replican estilos creativos o utilizan obras protegidas, sin consentimiento, para su entrenamiento. Con el miedo a ser reemplazados por Midjourney, este problema dejó de ser una cuestión restringida al nicho del arte. Las artistas, por fin, ven que su trabajo es justamente eso: trabajo. Bienvenidas todas a la discusión por los derechos laborales en las próximas políticas de IA.

En español, por favor

El primer día del Summit fue constatada una situación recurrente: la del inglés como idioma por defecto en los diferentes encuentros de la gobernanza de internet a nivel global. Tiene sentido, por cierto, por su carácter de lengua vehicular de los entornos digitales. No tiene sentido en eventos desarrollados en América Latina y así fue expresado por las personas hispano y lusófonas. Así, y luego de años de insistir en la necesidad de justicia lingüística, a contar del segundo día el CC Summit 2023 de México tuvo traducción simultánea de inglés a español y viceversa*.

Este no fue el único ámbito donde se enfatizó que la lengua es también un bien común. La presentación central de la segunda jornada estuvo a cargo de Peter-Lucas Jones, quien preside, entre otras instituciones y asociaciones, Te Hiku Media: una radio maorí sin fines de lucro que, además, utiliza las grabaciones de sus transmisiones para entrenar sus propios algoritmos de procesamiento de este idioma.

Jones y otras activistas elaboraron una licencia especial, basada en la custodia o tutela entendida según el universo maorí, que solo concede acceso a quienes que respeten los valores de su cultura, mientras se mantenga dentro de los límites de consentimiento en sus usos. La licencia también apunta a que, para los casos en que su uso sea solicitado por gobiernos, corporaciones o cualquier organización o persona privilegiados, debe existir una retribución al pueblo maorí.

Según Jones, “los datos son el territorio” y, por lo tanto, deben ser protegidos de las nuevas formas que toma la dominación colonial. La licencia kaitiakitanga prohíbe expresamente su uso para fines de vigilancia, monitoreo, discriminación, persecución e injusticia. Ni Whisper, el sistema de reconocimiento de lenguaje de OpenAI, ni Duolingo han logrado obtener el acceso a estos conjuntos de datos recopilados por Te Hiku Media.

Pasado, presente y futuro de los comunes

Entre commoners de todo el planeta prevaleció cierta nostalgia por los primeros encuentros, hace más de una década. El ecosistema digital, en ese entonces, vibraba con el entusiasmo para empujar por la reforma del copyright. Ha pasado mucha agua bajo el puente y, en 2023, los problemas son otros. Con la insuficiencia demostrada del modelo de derechos de autor ante el arribo de la IA, y siendo la IA un nuevo problema en sí mismo, volvemos a cuestionamientos que se niegan a desaparecer. El colonialismo, aunque subterráneo y sutil, es patente todavía.

No obstante, otro de los aspectos destacados de este Summit fue el lugar que se le dio a la educación, infraestructuras, hardware y software libres. La transparencia y el acceso que garantizan las fuentes abiertas, la posibilidad de elaborar bifurcaciones y la confianza que otorga el desarrollo colectivo detrás de estos proyectos persisten en el espíritu de Creative Commons y en las personas que ejercen el derecho a compartir.

Silvia Federici, en su libro Reencantar el mundo. El feminismo y la política de los comunes, sistematiza algunos criterios para definir a los comunes: necesitan acceso equitativo a una propiedad compartida; son relaciones sociales y no cosas; comprenden derechos y obligaciones que regulan cómo ha de emplearse la riqueza común, derivados de decisiones colectivas, y requieren una comunidad. No hay tal cosa como “comunes globales”, pues este concepto presume la existencia de una colectividad global.

La polinización cruzada de ideas desde extremos opuestos de uno o más océanos, los intercambios culturales, el respeto por la diferencia, las respuestas y las preguntas encontradas dan cuenta de otros criterios señalados por la autora: la cooperación social, la reciprocidad y la responsabilidad en la reproducción de la riqueza compartida; la promoción del interés común, y la radical distinción de lo común y lo público, siendo esto último lo administrado y de propiedad del Estado (y por lo que, en ocasiones, cobra boletos en museos construidos sobre el expolio).

La riqueza aquí aludida no es monetaria, y lo común presente no se rige con base en criterios de escasez sino de abundancia. El mundo que nos rodea es una fuente inagotable de saberes, y la filosofía de los comunes es “un camino para transformar nuestra subjetividad”, citando nuevamente a Federici, y para adquirir la capacidad de reconocerlo y amarlo. Este Summit fue un recordatorio de que es la comunidad la que crea, reproduce y mantiene con vida a la cultura, y que no hay forma de resolver los múltiples desafíos que nos presenta la tecnología hoy sin las personas que construyen, para todas, el acervo digital del futuro.

Agradecimientos a Mayra Osorio, de Derechos Digitales, por enseñarme con cariño algunos misterios mexicanos; a las y los integrantes de la Alianza por el Acceso Justo al Conocimiento; a Fátima São Simão, de CC Portugal, y a toda la comunidad CC de América Latina.

* N/R: El texto original consignó que este fue el primer Summit que tuvo traducción simultánea inglés-español. Esto no es así: CC Summit 2013 (Buenos Aires, Argentina) sí contó con esta herramienta. La corrección fue incorporada el 13 de octubre de 2023.

«Escuchas» de llamadas telefónicas a través de la infraestructura del proveedor de servicio

La seguridad de las comunicaciones ha sido un elemento relevante y estratégico dentro de la historia de la civilización, tanto a nivel personal como colectivo, ya sea en momentos de conflicto o de aparente calma. En el contexto actual, donde muchas de nuestras comunicaciones se materializan a través de teléfonos móviles, es válido preguntarse acerca de su seguridad y privacidad. Esta columna se centrará específicamente en las llamadas telefónicas que se realizan a través de la red del operador de telefonía, lo que comúnmente conocemos como “llamar por teléfono”.

Es cotidiano enterarse por la prensa de investigaciones judiciales o de inteligencia que utilizan la interceptación de llamadas, también conocidas como “pinchazos” o “escuchas” telefónicas. Este método se utiliza con la intención de recopilar pruebas en un contexto investigativo fundado, pero también existen casos en los que el método es usado con otros fines, como por ejemplo en el caso de Chile reportado en 2022 por el Centro de Investigación Periodística CIPER. En esa oportunidad, relata la investigación que «durante tres meses, entre diciembre de 2017 y febrero de 2018, el teléfono de una conocida productora de eventos estuvo intervenido por la Dirección de Inteligencia de Carabineros. Los agentes de la policía escucharon y pudieron grabar cada una de sus conversaciones, en las que ella dialogó con humoristas, cantantes y managers«.

Ante este escenario, en que personas y organizaciones que no deberían ser objeto de investigación están bajo vigilancia, resulta relevante entender cómo funciona la interceptación y cómo prevenirla.

Existen algunos supuestos indicios que podrían advertir al usuario del teléfono si su dispositivo está sometido a un proceso de interceptación de sus llamadas desde la infraestructura del operador de red. Para verificar eso, comentaremos el tipo de protocolo de comunicación utilizado actualmente, con el fin de dar una explicación que nos permita evaluar con mayor certeza qué tan ciertas pueden ser dichas afirmaciones.

Lo primero que debemos entender son los identificadores de rastreo. Cuando un teléfono es utilizado, sea “smartphone” o «de los antiguos”, requiere de un chip o tarjeta SIM (por su sigla en inglés, Subscriber Identity Module). La tarjeta SIM cuenta con un número de teléfono asociado que puede ser reasignado, por ejemplo, en el caso en que se cambie de tarjeta SIM pero se mantenga el número telefónico. Además, la tarjeta cuenta con un identificador único, llamado IMSI (International Mobile Subscriber Identity), que es un “código inteligente” que nos entrega información acerca del país (MCC), red del operador (MNC) y un identificador (MSIN). El conjunto del código es único, identificable y rastreable. Por otro lado tenemos el identificador del dispositivo móvil (teléfono físico), llamado IMEI (International Mobile Equipment Identity), que es un código único que identifica al aparato de forma exclusiva a nivel mundial.

Cuando una compañía telefónica es notificada para monitorear la actividad de un número telefónico, utiliza el IMSI para generar el filtro necesario y captar las llamadas. Cabe mencionar que, además de las llamadas, existen otros tipos de datos que pueden ser entregados por el operador telefónico al solicitante: mensajes SMS, geolocalización y listado de llamadas.

En el caso del listado de llamadas y la geolocalización es posible que el operador pueda entregar información retroactiva, es decir, datos correspondientes a períodos previos a la fecha en que se requiere la interceptación.

Cambiando de tarjeta SIM

Existen personas que, dado su contexto de acción, tienen la sospecha de que pueden ser objeto de vigilancia, por lo que toman la medida de cambiar de tarjeta SIM con el fin de evitar que sus llamadas sean “pinchadas”. Es aquí donde interviene el identificador único del dispositivo móvil o IMEI.

Los operadores telefónicos tienen la capacidad de generar filtros por IMEI, por consecuencia, aunque se cambie la tarjeta SIM el filtro de monitoreo igual funcionará, pues tienen la capacidad de reconocer el dispositivo desde el cual se está utilizando.

¿Cómo saber si mi dispositivo está siendo parte de un procedimiento de interceptación de llamadas telefónicas a través de la infraestructura del operador de red?

Debido a los cambios en los protocolos e implementaciones tecnológicas, las llamadas pasaron de un sistema analógico a uno digital. Cuando la interceptación se realiza utilizando la infraestructura del operador, no existe forma de notar o probar que un dispositivo está en ese proceso.

Antiguamente, en las comunicaciones análogas, era posible escuchar ruidos o voces cuando un teléfono estaba siendo vigilado. Pero con la implementación de la comunicación digital los dispositivos que gestionan las llamadas son muy similares a un computador o servidor, y no generan ningún tipo de ruido o evidencia perceptible para los usuarios.

Es posible que, como en todo sistema de comunicación a distancia, al usar el dispositivo se generen ruidos, por distintos motivos: pérdida de señal, demoras en el procesamiento, congestión, etcétera. Pero aún así, eso no es evidencia de la interceptación. Desde la otra vereda, puede suceder que un dispositivo móvil esté siendo sujeto de interceptación, pero los usuarios no experimenten ruido alguno.

Es importante reiterar que esta columna solo está referida al proceso de interceptación a través de la infraestructura del operador de red telefónica, pues existen otro métodos, como el uso de Cell-Site Simulators/IMSI Catchers, que básicamente funcionan como antenas falsas que captan las comunicaciones de uno a más dispositivos telefónicos a su alrededor.

En el escenario del uso de antenas falsas es posible que se generen algunos efectos que puedan ser perceptibles por los usuarios. En otras técnicas de vigilancia, como el uso de malware, es posible evidenciar su funcionamiento con comportamientos anómalos en el dispositivo, como el uso excesivo de la batería, sobrecalentamiento o el uso inusual de cantidad de datos.

Técnicas avanzadas de rastreo y vigilancia

Como ya fue mencionado, los operadores pueden rastrear e identificar un dispositivo móvil a pesar del cambio de tarjeta SIM. Entonces, en el escenario de cambio de dispositivo físico y de tarjeta SIM, ¿es posible identificar a alguien? La respuesta es sí, es posible.

Con el supuesto de que se buscó la forma de adquirir un dispositivo físico y una tarjeta SIM sin que tenga relación de pago o suscripción con quien lo utilizará, existen técnicas de reconocimiento de patrones de llamadas que pueden identificar al usuario.

Una técnica se centra en la utilización de una base de datos de registros de llamadas previas, para así generar reglas de comportamiento, tal como lo menciona la EFF en su columna de acerca del problema con los teléfonos móviles donde cita el reporte de intersecciones y explica el funcionamiento de un sistema del gobierno de Estados Unidos llamado PROTON.

En palabras simples, aunque una persona cambie de dispositivo físico y de tarjeta SIM, es posible su identificación debido al reconocimiento del patrón de números con los cuales se comunica habitualmente.

También es posible identificar un dispositivo si se mueve junto a otro. Esto significa que si se tienen dos teléfonos con perfiles de uso diferenciados, el operador puede relacionarlos si se mueven juntos y, de ese modo, identificar al usuario del dispositivo.

Prevención y soluciones

Existen varias formas de sortear la interceptación de llamadas telefónicas. Lo primero es tener en cuenta que en los teléfonos llamados “inteligentes” está la posibilidad de utilizar aplicaciones para hacer llamadas, que cuentan con cifrado de extremo a extremo. Estas aplicaciones permiten resguardar la privacidad de la llamada, pues el operador de la red no puede captar dichas comunicaciones debido al cifrado. En esta categoría encontramos aplicaciones como Signal, Whatsapp o Element/Matrix.

Si por algún motivo no se quiere utilizar un teléfono “inteligente”, son necesarias una serie de medidas que dificulten la identificación del dispositivo. Primero, no debe existir relación de adquisición o suscripción con la persona que lo utiliza. Segundo, no se debe usar o transportar en conjunto con otro dispositivo, para que no puedan ser relacionados. Finalmente, se debe tener un uso diferenciado de las comunicaciones, es decir, no se deben efectuar llamadas a números frecuentes, para que no se pueda generar la identificación del patrón de comunicación.

Esta columna solo trata de mostrar cómo se efectúa la interceptación de llamadas con la participación del operador de red, debido a que son casos muy comunes y frecuentes.

Existen otras técnicas de vigilancia que pueden ser aplicadas a dispositivos móviles, tales como el uso de antenas falsas o mediante la implantación de malware, pero ambas resultan ser menos frecuentes, dado que necesitan de más recursos técnicos e inversión monetaria. De todos modos, y aunque menos frecuentes, no dejan de ser una preocupación, por lo que posiblemente serán temas abordados futuras instancias.

Violencia digital: nuevos formatos, viejas formas de censura

La masificación del acceso a internet tiene dos consecuencias indiscutibles: amplificar conductas, positivas y negativas, de la sociedad en su conjunto; y trasladar las discusiones a entornos digitales, donde la circulación de discursos no tiene límites, independiente de sus características particulares. En este escenario, el derecho a la libertad de expresión es constantemente cuestionado pese a que, desde la mirada de los derechos fundamentales, es una obligación de los Estados generar marcos regulatorios que lo protejan y, a la vez, garanticen la seguridad de quienes lo ejercen.

A propósito del rol de la libertad de expresión en línea, conversamos con la psicóloga Daniela Céspedes, cocreadora y productora ejecutiva de Pliegue, sobre diversos episodios de violencia digital e intentos de censura en los que este colectivo fue víctima durante 2020.

Pliegue es, en palabras de su directora, un “colectivo de investigación de filosofía poshumana y de estéticas del proceso”. Se posiciona contra el pensamiento liberal y la privatización del conocimiento, y su misión y visión se traducen en acciones concretas: ofrece charlas de divulgación a bajo costo, produce material audiovisual (cápsulas de video y largometrajes) y tiene amplia presencia en redes sociales.

Por las características de la labor que realizan, no es extraño que hayan surgido detractores desde los comienzos de su aventura: episodios de acoso digital por parte de personas con poca afinidad por los contenidos divulgados en su cuenta de Instagram, bombardeos de comentarios negativos a sus publicaciones y denuncias para dar de baja la página en las redes sociales son algunos ejemplos.

Esto no fue un obstáculo para el desarrollo de su trabajo, sino un aliciente. En el año 2019, el colectivo se adjudicó un Fondo Audiovisual del Ministerio de las Culturas, las Artes y el Patrimonio de Chile para desarrollar una webserie sobre, lo que consideran, configura la decadencia de las instituciones de educación superior producto de lógicas neoliberales y su conversión en productoras de conocimiento que nunca llega a socializarse.

La webserie fue estrenada el 27 de mayo de 2020 y está disponible de manera gratuita y abierta en YouTube. Desde el estreno del trailer, aún previo al lanzamiento, la obra generó controversias. Ahí también empezaron los primeros eventos de acoso. “Desde el primer momento en que empezamos a estrenar los clips, me llegaban mensajes de números que yo no conocía, comentarios de personas señalando que conocían a un profesor, que conocían a otro profesor, que conocían a un decano, que preguntaban de qué se trata esto”.

Parte de la reacción vino de las instituciones académicas, que se pusieron en alerta debido a la presunción de que habría denuncias individuales, con nombre y apellido, de malas prácticas al interior de sus centros de estudio. “Hubo desconocimiento de sobre qué era el documental. No se entendió qué iba a tratar en lo concreto, a pesar de que toda la promoción aclaraba que era un ensayo filosófico”.

Los mensajes iniciales escalaron al hostigamiento anónimo a académicos que aceptaron dar entrevistas para el proyecto. “Cuatro personas que participaron en el documental fueron sistemáticamente, en distintos grados, llamadas por las instituciones a las cuales ellos prestan servicio, con preguntas como: ¿por qué dijiste esto? ¿Tú sabes que, si tú dijiste esto, en la universidad se te va a despedir?”.

La práctica contraría los derechos a la libre expresión de las personas cuestionadas y su libertad académica que, tal como reconoce la Comisión Interamericana de Derechos Humanos (CIDH), “abarca la libertad de trabajadoras, trabajadores y estudiantes de instituciones académicas para expresarse con respecto a dichas instituciones y sobre el sistema educativo”.

Posteriormente comenzó el acoso personal hacia ella, quien actuó como productora ejecutiva de la serie: “días antes de estrenar, [llegaron] los llamados diciéndome ‘tu teléfono es conocido’, ‘ten cuidado’, que yo no iba a pisar un pie en la universidad nunca más. Que, si yo quería ser académica o profesora o intelectual o algo así, que tuviera cuidado porque con esto me estaba metiendo en un problema muy grave”.

Nuevas amenazas se iniciaron en octubre del mismo año, cuando en las fechas cercanas al 18 de octubre de 2020, es decir, el primer aniversario del estallido social que sucedió en Chile, Pliegue decidió realizar una adenda a la webserie e incluir material sobre las protestas en los cortes originales. Además, entre las charlas abiertas que dictaban incluyeron una acerca de la psicología, estética y filosofía detrás de los movimientos fascistas.

Fue lo último lo que le llamó la atención de Alexis López Tapia, figura de ultraderecha chilena vinculado a teorías conspiratorias sobre los movimientos sociales en América Latina. Además de publicar en Facebook una alerta sobre la charla, sindicando al colectivo como “lo peor de la izquierda” y “enemigo del movimiento” que lidera, López Tapia usó la red para pedir a sus seguidores que reporten las cuentas de Pliegue, describiéndolos como un colectivo de terrorismo intelectual y cabecillas de una supuesta asociación clandestina y revolucionaria.

En principio, relata Daniela, no les dieron mayor importancia a dichas acusaciones, hasta que advirtieron apariciones de López Tapia en espacios virtuales de políticos del Partido Republicano, de extrema derecha, y con las fuerzas del orden en Chile, aumentando así su visibilidad y, por ende, las reacciones virulentas en los canales de Pliegue por parte de sus seguidores. Volvieron las llamadas anónimas, esta vez amenazando a Daniela con agresiones físicas e invasión de morada.

La estrategia adoptada para hacer frente a estas oleadas de censura, difamación y hostigamiento fue “esperar a que pasara la ola”: reducir el número de publicaciones, no lanzar material nuevo y mantener un perfil bajo hasta que cesara el acoso. Daniela afirma que “lo que nosotros hacemos es siempre estar en contra de la ola, pero yo no quiero estar en contra de la ola con la bandera arriba. O sea, a mí no me interesa el drama. Si hay que hacerlo más lento, si hay que hacerlo más silencioso, prefiero eso. Yo no quiero tener ese nivel de mediatización” ya que la prioridad política del colectivo es el conocimiento abierto y no la visibilidad.

Los hechos narrados por Daniela, afectando al colectivo Pliegue y a personas de la comunidad académica con quienes se han relacionado, demuestran la persistencia de desafíos en el Estado chileno para proteger a las personas frente a amenazas o actos de violencia derivados de su expresión o participación en los debates públicos en línea.

Tales prácticas responden a una cultura de censura que , facilitadas por las tecnologías, puede en muchos casos derivar en otras formas de violencia. Sus objetivos son silenciar la crítica, la denuncia de abusos y a cualquier tipo de voces disonantes a los poderes establecidos, así como inhibir el trabajo de defensoras de derechos humanos, periodistas, artistas, entre otras. Al permitirlas, por acción u omisión, el Estado de Chile contraviene la obligación legal internacional de garantizar el derecho a defender derechos.

Uno de los compromisos que Chile necesita observar es mantener ambientes informativos, académicos y un espacio digital que propicie el ejercicio de derechos, incluyendo también la adopción de medidas de prevención, investigación y acompañamiento a las personas afectadas, de modo que no resulten en otras vulneraciones.

El caso de Pliegue, además, pone en la palestra la reducción del espacio de discusión democrática en Chile. La falta de mecanismos efectivos a los que acudir en situaciones como esta es una señal para el Estado de Chile, en este nuevo período del Examen Periódico Universal, a suscribir y ejecutar compromisos que aseguren el derecho a la libertad de expresión para todas las chilenas, en todo el país, en todos los estratos, exista o no el amparo de una institución.

Cursos virtuales, automatización y legislación insuficiente

Cada vez es más común escuchar y leer sobre los avances de la inteligencia artificial (IA) y los cambios que introduce en distintos campos del quehacer humano, los que, es justo decirlo, nos sorprenden cada vez con mayor frecuencia. La educación no es la excepción.

De un tiempo a esta parte, la IA ha pasado a formar parte de las herramientas que las y los docentes utilizan en su trabajo. “La capacidad de aceleración exponencial de los cambios a partir de la introducción de tecnologías basadas en machine learning genera un potencial revolucionario”, afirma la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), en su estudio “El futuro de la Inteligencia Artificial en educación en América Latina”, que también advierte que aún no somos capaces de dimensionar las transformaciones profundas que podría generar la aplicación de la IA a la educación.

La IA ha llegado a la educación de maneras diferentes: por un lado, están los cursos virtuales; por otro, herramientas de automatización o aceleración de procesos disponibles para estudiantes y docentes. Sin embargo, como sociedad hemos evaluado escasamente los pros y los contras de su implementación. No sabemos si los docentes se encuentran capacitados para utilizar esas herramientas, ni qué sucede con la privacidad de las y los estudiantes cuya formación está a cargo de estos sistemas. Encontrar estas respuestas puede ayudarnos a analizar el avance y las posibles consecuencias de la IA en la educación, las posibilidades y los riesgos, algunos conocidos y otros inciertos.

IA Generativa en las aulas

La IA Generativa es un área de la IA con foco en la generación de contenido original a partir de datos ya existentes. Usa algoritmos y redes neuronales avanzadas para aprender de textos e imágenes, para luego elaborar contenido nuevo. Hemos escuchado mucho sobre la IA Generativa a partir de noviembre de 2022, con el lanzamiento del CHATGPT, cuya característica estrella es la capacidad de generar texto, imágenes, vídeos, música y códigos de software. Estas capacidades dan lugar a múltiples aplicaciones en la educación, como chatbots y algoritmos de aprendizajes, entre tantos otros.

Generalmente, se trata de recursos entrenados con valores y normas sociales dominantes en el Norte Global, lo que implica un aumento y empeoramiento de las brechas digitales en el área pedagógica en todo el resto del mundo, al reproducir sesgos propios de países desarrollados con poca o nula relación con la experiencia sensible de las y los habitantes de la Mayoría Global.

UNESCO advierte que, en el ámbito educativo, la IA enfrenta numerosos desafíos. El principales desarrollar prácticas de enseñanza y aprendizaje innovadoras. En “La Inteligencia Artificial en la Educación” declara que “El vínculo entre la IA y la educación consiste en tres ámbitos: aprender con la IA (por ejemplo, utilizando las herramientas de IA en las aulas), aprender sobre la IA (sus tecnologías y técnicas) y prepararse para la IA (por ejemplo, permitir que todos los ciudadanos comprendan la repercusión potencial de la IA en la vida humana)”. UNESCO admite también que sería ingenuo, sin embargo, no reconocer que los avances tecnológicos que suceden de manera rápida, como lo que ocurre con la IA, implican riesgos y retos y, en América Latina, las políticas y los reglamentos todavía tienen dificultades para hacerse cargo de ellos.

“Crear nuevas agendas de investigación se ha convertido en una tarea cada vez más urgente y relevante. Estamos atravesando el tiempo de un gran laboratorio, donde se están experimentando a velocidad avanzada distintos desarrollos educativos con IA”, reflexiona el documento de la UNESCO, afirmando que motores de IA (como CHATGPT) pueden contribuir a ampliar o limitar los horizontes educativos. Añade una visión que consiste en que asegurar una “IA para todos”, donde la Inteligencia Artificial sea utilizada para reducir las brechas existentes en el acceso al conocimiento y a la investigación, y no acentúe las diferencias entre países y dentro de estos.

Docentes al pizarrón

UNESCO realizó una encuesta en más de 450 escuelas y universidades a nivel mundial, que arrojó muestra que menos del 10% de los centros educativos encuestados tienen políticas institucionales o directrices formales relativas al uso de aplicaciones de IA generativa. Posiblemente se deba, en gran parte, a la ausencia de claras normativas nacionales.

En Uruguay, recientemente se realizó el Primer debate sobre Inteligencia Artificial y Educación de ANEP, donde docentes y autoridades reflexionaron sobre los posibles impactos de las herramientas de IA en las aulas. La pregunta disparadora fue si el sistema educativo nacional está preparado ante la presencia de la Inteligencia Artificial. Los docentes sostuvieron que “deben ser los primeros en el camino de conocer esta tecnología para evitar cierta asimetría” y ser “guías en la adopción” de la IA. Se reconoció también que no todos los docentes están preparados para integrar inteligentemente IA en sus clases.

Es fundamental integrar a docentes y estudiantes en la discusión sobre la introducción de la tecnología en el proceso educativo, ya que de nada sirve dar este paso sin sentido de pertinencia pedagógica y que, además, sea apropiado por las y los involucrados. La formación de los docentes es fundamental para garantizar una aplicación ética de sistemas de IA en las escuelas. Las reglamentaciones gubernamentales, además, son cruciales para asegurar un enfoque centrado en las personas para el uso de la IA.

En un artículo publicado por el diario argentino INFOBAE, un docente reflexiona sobre el CHATGPT y menciona que “nos debería levantar la vara a los docentes, y nos daría muchas herramientas para facilitar el aprendizaje”. Señala también que “Cuantos más datos tengamos, potenciado con la digitalización, más conocimiento vamos a poner a disposición para seguir entrenando estos modelos”. Sin embargo, afirma también que “el uso excesivo de ChatGPT por los estudiantes durante el proceso, y ejercitación en trabajos prácticos, puede traer la disminución de la creatividad y la independencia de pensamiento de los estudiantes”.

Coincide con esa opinión el el sitio web español EDUCACIÓN 3.0, que en un artículo titulado “No todo vale con la Inteligencia Artificial en la educación” nos recuerda que , más allá del potencial de esta tecnología para distintos aspectos relativos a la enseñanza, aún no podemos afirmar que existen beneficios derivados del uso directo de las herramientas en las aulas. El articulo además trae a la vista que no todos los contenidos curriculares de la escuela son asuntos de las máquinas: la ética, la moral, el cuidado común o el cuidado del medio ambiente, por nombrar algunos ejemplos. Entrenar el espíritu crítico, prosigue, puede incluir el descubrimiento de lo que subyace a, construye y entrena una IA.

El compromiso ético

Docentes e investigadores han declarado, además, que el uso de la IA trae consideraciones éticas, como el impacto de la IA en la privacidad de los estudiantes y la seguridad de sus datos.

Este tipo de herramientas se alimentan de datos, que se recogen de distintas fuentes y que en muchos casos fueron producidos con finalidades distintas. En el marco educativo, esto puede incluir información sobre el rendimiento escolar, pero podría abarcar un espectro mayor, atendiendo a la complejidad de las relaciones sociales que se producen dentro y fuera del aula, como intereses, interacciones y hasta perfiles emocionales y psicológicos.

La discusión en torno al tipo de tecnologías que se implementan, la forma en que se usa, los cuidados implementados en materia de derechos humanos, así como el nivel de control real y transparente que sobre la información que entra y sale del sistema son requisitos fundamentales para evitar la imposición de una lógica extractivista parasitaria de los sistemas educativos, que merme el derecho a la autonomía de estudiantes y docentes. Más todavía, cuando hablamos de niñas, niños y adolescentes.

El desarrollo de un compromiso ético profundo de las autoridades y de los cuerpos docentes con el derecho a la educación, a la autonomía, a la privacidad y a la intimidad son fundamentales previo a la implementación de cualquier sistema de IA.

En favor de estándares técnicos para fortalecer los derechos humanos

Para que tu celular, tu televisor inteligente o quizás tu moderno refrigerador pueda acceder a la a la red wifi de tu hogar se requiere que un grupo de múltiples actores, trabajando en las diferentes capas de internet, generen acuerdos para establecer estándares técnicos. Son discusiones que involucran a una larga lista de instituciones públicas y privadas, a cargo de distintas partes de los sistemas de telecomunicaciones, incluyendo la red intercontinental de cables submarinos, satélites, empresas de software y dispositivos, entre muchos otros. Por ejemplo, para poder acceder a internet desde tu celular en un avión se requirió acordar la utilización de determinadas bandas de frecuencias para el servicio aeronáutico móvil por satélite.

ISO, IEC, W3C, IETF, IRTF, IEEE, UIT son algunas de las organizaciones dedicadas a establecer estándares técnicos relacionados con las tecnologías digitales y emergentes. Son organizaciones con diferentes historias y ámbitos de acción, pero que tienen en común albergar y dirigir discusiones con el objetivo de generar normas técnicas para el funcionamiento, implementación e interopreatividad de tecnologías. Estos acuerdos usualmente se alcanzan por concenso y los distintos actores participan de forma voluntaria en los procesos.

Un reporte de la Oficina del Alto Comisionado de las Naciones Unidas, publicado en julio, durante la 53a sesión del Consejo de Derechos Humanos, reconoce el rol que la generación de estándares ha tenido en el desarrollo de una internet libre y abierta, lo que ha creado grandes posibilidades para el ejercicio de la libertad de expresión, el acceso a la información y el desarrollo de distintos modelos de negocio y crecimiento económico. “Las normas técnicas definen la forma en que ejercemos nuestros derechos económicos, sociales, culturales, civiles y políticos”, explica el reporte. A partir de ahí, realiza un análisis del ecosistema de trabajo para la creación de estándares e identifica algunos problemas para la promoción y el fortalecimiento de los derechos humanos.

Pero ¿qué tienen que ver los derechos humanos?

El informe ahonda en la relación entre los derechos humanos y los estándares técnicos, además de pensar la aplicación práctica de los Principios Rectores sobre las Empresas y los Derechos Humanos (A/HRC/53/42). Según el informe muchos estándares técnicos «definen procesos y acciones que responden directamente a ciertas preocupaciones relacionadas con los derechos humanos».

Hay estándares que tienen como finalidad la protección de la privacidad y de los datos personales de las personas. Por ejemplo, si haces clic en la barra de direcciones de esta web, podrás ver un ejemplo de lo que estamos hablando. Luego de muchos problemas relacionados con la vulnerabilidad del sistema «http», se desarrolló otro protocolo, el https o Protocolo seguro de transferencia de hipertexto, que transmite la información cifrada, para que su uso sea más seguro.

Otro ejemplo: en 2017, el Instituto de Ingenieros Eléctricos y Electrónicos lanzó el estándar que describe metodologías específicas para ayudar a abordar y eliminar problemas de sesgo negativo en la creación de sus algoritmos (IEEE standard P7003). Si pensamos en inteligencia artificial, los estándares técnicos pueden estar involucrados no solo en el desarrollo de la tecnología, sino también en lidiar con aspectos que tienen que ver con los derechos humanos a garantizar en el despliegue de estas tecnologías. Por ejemplo, en 2023, la ISO lanzó un estándar para la gestión de riesgos de la inteligencia artificial (ISO/IEC 23894:2023).

Sin embargo, también encontramos muchas discusiones que simplemente no toman en consideración los derechos humanos. Un estudio publicado en 2012 por la Organización Mundial de Comercio (OMC), hace hincapié en aspectos de las normas técnicas, como la necesidad de interoperabilidad, reducción de costos y facilitación del comercio que son importantes para el efectivo ejercicio de derechos. Otros informes, como el reporte del Relator de Libertad de Expresión de las Naciones Unidas, destacan que la «consideración inadecuada de los derechos humanos ha contribuido a la creación de lagunas técnicas que hacen que los usuarios sean vulnerables a restricciones de acceso, violaciones de la privacidad y otros abusos».

En este sentido, hay muchas capas que complejizan la consideración de los derechos humanos en estos espacios. Los altos costos de la participación, la falta de transparencia, la falta de participación de mujeres y personas LGBTQIA+, la falta de acceso a documentos y a listas de participación son algunas de las barreras que la sociedad civil viene reclamando desde hace tiempo.

El rol de UIT

El informe del Alto Comisionado destaca el papel desempeñado por la Unión Internacional de Telecomunicaciones (UIT), el organismo especializado de Naciones Unidas a cargo de cuestiones como, por ejemplo, garantizar el uso racional, equitativo, eficaz y económico del espectro de frecuencias radioeléctricas y definir estándares en tecnologías de infraestructura de telecomunicaciones, como redes celulares.

En este caso específico, el reporte se centra en en el problema de la apertura a la participación, señalando que las normas y prácticas procesales limitan el impacto de los aportes de la sociedad civil.

Se identifica que hay pocas organizaciones de la sociedad civil en las listas de miembros de los grupos de estudio, sobretudo del Sector de Normalización de las Telecomunicaciones de la UIT. El reporte resalta que a pesar de que las organizaciones de sociedad civil participan de las delegaciones de los Estados miembros, «tales modelos se vuelven insostenibles cuando los objetivos de los miembros de la sociedad civil y del Estado chocan». Por fin, aconseja a la UIT reevaluar su modelo de participación y fortalecer «aún más sus esfuerzos para aumentar la participación del Sur Global, incluso mediante la sensibilización y el desarrollo de capacidades», reduciendo costos, proporcionando viajes y financiamiento para ello, y de esta manera aumentar la inclusión, con un enfoque específico en promover la representación equitativa de género.

Múltiples recomendaciones

No existe una solución sencilla para estos complejos desafíos. Además de la recomendación específica para la UIT, el informe del Alto Comisionado entrega recomendaciones diversas para los Estados, las organizaciones de estándares técnicos y la sociedad civil, que constituyen importantes pasos hacia una consideración efectiva de los derechos humanos en estos procesos y para alcanzar acuerdos sobre normas técnicas.

La oficina ACNUDH está iniciando un proyecto sobre esta temática para contribuir a la implementación de las recomendaciones que se exponen en su informe.

Entendemos que además de un diagnóstico más preciso sobre los problemas que vemos en múltiples espacios relacionados a estándares técnicos, es de suma importancia una continuidad para el seguimiento de los necesarios avances. Y de nuestro lado, seguiremos con nuestros planes para garantizar la participación efectiva en estos espacios.

Diplomacia y peligro: negociando la paz en el ciberespacio

El pasado mes de julio, el Grupo de Trabajo de Composición Abierta Sobre Seguridad y Uso De Las Tecnologías De La Información y las Comunicaciones 2021-2025 (OEWG, por sus siglas en inglés) de la Primera Comisión de la Organización de las Naciones Unidas, tuvo una nueva sesión sustantiva, dedicada a buscar consenso sobre su segundo informe anual de progreso. La instancia es el mecanismo por el cual todos los países de ONU discuten la actividad de los Estados en el ciberespacio, particularmente en atención al riesgo de ciberataques entre Estados. Se trata no solamente de la búsqueda de mecanismos para mejorar la seguridad, sino también para procurar la paz en el uso de las tecnologías.

Sin embargo, alcanzar consensos no fue fácil, y los avances se vieron opacados por la inclusión de elementos con poco apoyo, que algunos estados estiman pueden generar incertidumbre y riesgos.

Consenso, señor, consenso

Por un lado, la discusión del borrador final estuvo marcada por la insatisfacción de muchos Estados, debido a cambios y omisiones de propuestas formuladas en la sala. Y por otro, por la inclusión casi forzada de propuestas todavía sin apoyo significativo, a fin de rescatar un frágil consenso, por la vía de notas al pie que reconocen la vieja aspiración de reglas internacionales vinculantes para los Estados, en lugar de prácticas y normas no obligatorias. Sin embargo, el informe constata puntos de avance y define las prioridades para las discusiones futuras, a la vez que identifica iniciativas de colaboración que ya existen entre Estados.

Dentro de los puntos positivos estuvo el avance en la propuesta de un directorio global de puntos de contacto en la ONU, para facilitar la comunicación entre Estados al momento de conocer una amenaza o un actor malicioso. Dicha propuesta ha avanzado hacia una operacionalización mediante la adopción de un documento anexo al informe anual. También se plasmaron las peticiones de reuniones intersesionales para tratar puntos de más difícil acuerdo, como la aplicabilidad del derecho internacional o la definición de las amenazas, que siguen siendo objeto de intensa discusión.

Asimismo, se incluye lenguaje que invita a los Estados a una mayor transparencia sobre su comprensión de las amenazas, las posturas sobre la aplicabilidad del derecho internacional y la implementación de reglas no vinculantes. Resultan alentadoras las referencias a la sensibilidad con el género, en particular en relación con las amenazas y la capacitación, en tímido reconocimiento de la multidimensionalidad de las brechas digitales de género.

Menos afortunada resultó la mención reducida o condicionada de la intervención de partes interesadas no gubernamentales («stakeholders»), incluyendo a la sociedad civil, como actores clave en varios de los aspectos de atención. Del mismo modo, la resistencia al lenguaje explícito sobre derechos humanos hizo que su presencia quedara muy acotada, limitando el reconocimiento de la necesaria consideración por los derechos humanos en las medidas para garantizar la seguridad en el ciberespacio.

A pesar de que Derechos Digitales, como otras organizaciones, ha destacado el esquema de distintas partes interesadas, y ha defendido el lenguaje sobre derechos humanos, la atención de los Estados parece haber estado mucho más concentrada en la búsqueda de consensos que en estos tópicos.

Negociación y denegación

El riesgo de no alcanzar consenso estuvo dado por la contumaz propuesta de integrar lenguaje que reconociera la propuesta —minoritaria— de trasladar los acuerdos a reglas de carácter vinculante a un nuevo tratado de la ONU sobre ciberseguridad. La “diplomacia de notas al pie” (como destacó una delegación) se convirtió en una salida práctica para salvar un consenso difícil entre países en abierto conflicto geopolítico. La insistencia recae en un punto promovido desde hace años por la delegación rusa y algunas aliadas, de negociar nuevos tratados de ciberseguridad y cibercrimen (esto último ya en discusión en un Comité Especial), debido a la importancia dada en algunos de esos países a la “seguridad de la información”, concepto más amplio que el de la “ciberseguridad”, preferido en Occidente.

Por cierto, la experiencia muestra que llegar a puntos muertos no implica necesariamente un fracaso total de los procesos, pero exige abordar la discusión de manera realista para no arriesgar la paz y el desarrollo globales.

Estamos lejos de considerar que el avance del OEWG represente las aspiraciones de la sociedad civil por promover medidas inclusivas y resguardar los derechos humanos. No obstante, no podemos abandonar la aspiración de mejores reglas de conducta entre Estados, que reconozcan que la seguridad y la paz requieren del aporte de distintos actores.

Un incentivo a la seguridad informática

Todo sistema informático es susceptible a vulnerabilidades. Esto incluye a sistemas informáticos tradicionales, pero también dispositivos móviles, cámaras, drones, automóviles y un número creciente de dispositivos electrónicos que llevan un computador dentro. Por esta razón, la búsqueda, detección, reporte y corrección de vulnerabilidades de software es cada vez más importante.

La investigación en seguridad informática consiste en un conjunto de prácticas que buscan hacer un sistema más seguro y confiable. Quienes la practican dedican su actividad profesional a incursionar dentro de los sistemas en busca de vulnerabilidades, para mitigar o eliminar el riesgo de que estas puedan ser explotadas. Es uno de los mecanismos más efectivos para mejorar la seguridad del software, aunque no siempre se realiza con autorización o consentimiento de la o las personas responsables del sistema. Es por ello que a veces se habla de “hacking ético”, entendido como aquel que se realiza con la intención de reportar vulnerabilidades para prevenir ataques cibernéticos malintencionados, protegiendo la información valiosa de empresas, usuarios y usuarias.

En Chile, la regulación sobre la investigación en seguridad está actualmente en discusión, a propósito de la nueva ley de delitos informáticos, vigente desde mediados de 2022, y que implementa el Convenio de Budapest contra la Ciberdelincuencia. Sin embargo, la forma en que la normativa favorece las actividades de seguridad es deficiente: solamente se despenaliza el acceso cuando existe autorización. En la discusión del nuevo proyecto de Ley Marco sobre Ciberseguridad se vuelve a intentar consagrar de forma razonable de una exención para la investigación de seguridad. En su artículo 46 se modifica la Ley de Delitos Informáticos, incluyendo la exención de responsabilidad penal por el delito de acceso ilícito, sin necesidad de autorización previa y sujeta a muchísimos resguardos.

Desde Derechos Digitales defendemos la aprobación de este artículo y la protección legal a la búsqueda y notificación de vulnerabilidades de ciberseguridad, especialmente si ponemos atención a las estadísticas. Según un análisis de la empresa multinacional de ciberseguridad Fortinet, durante el primer semestre de 2023, Chile fue el objetivo de más de 4.000 millones de intentos de ciberataques. Durante los últimos seis meses el secuestro de datos fue 13 veces más alto que a fines de 2022, posicionando a Chile como el quinto país con más intentos de ciberataques en la región.

La investigación en seguridad informática ayuda a las empresas a estar más protegidas. Es un elemento esencial para contrarrestar las acciones malintencionadas y reducir el impacto de los daños en todo tipo de organización. Además, permite mejorar las políticas y metodologías de ciberseguridad, reduce los ataques y las consecuencias derivadas de ellos, como los costos financieros y el daño a la reputación de la marca.

Es importante que las empresas comprendan el rol que tienen las y los investigadores para el ecosistema de seguridad de sus propios productos, servicios y sistemas, estableciendo estructuras mutuamente benéficas. Grandes empresas y organizaciones han aprendido la utilidad del proceso de notificación coordinada de vulnerabilidades. Las principales empresas de tecnología de Estados Unidos no solamente toleran esta actividad, sino que la fomentan, otorgando premios económicos en un proceso denominado Bug Bounty. Google, Microsoft, Facebook e incluso organizaciones como el Pentágono y la Fuerza Aérea de Estados Unidos interactúan de esta forma tanto con la comunidad de investigadores como de profesionales de ciberseguridad, fomentando su desarrollo.

La investigación permite mejorar los niveles de seguridad de los países, por eso es importante que cuente con la garantía de que quien la practique no se exponga a una sanción penal. En caso contrario, desincentiva la exploración en esta área. La investigación en seguridad informática puede, además, mejorar la formación de los profesionales de seguridad, ya que fomenta el aprendizaje de nuevas técnicas y métodos de protección de sistemas, y permite que los profesionales estén actualizados y preparados ante ataques informáticos cada vez más sofisticados.

Por lo mismo, la exención de sanción al descubrimiento de vulnerabilidades genera mayor confianza y sube el estándar de ciberseguridad. Tal exención fue discutida también en la tramitación del proyecto de ley de delitos informáticos. La propuesta de la Cámara de Diputados planteaba una eximición de responsabilidad penal a quien ingresa sin autorización a un sistema, cuando informa de inmediato a la autoridad competente del Ministerio del Interior y Seguridad Pública. En esa ocasión, al igual que ahora, Derechos Digitales fue enfática en promover la exención, posición compartida por la academia y la comunidad técnica. Sin embargo, la propuesta fue rechazada en Comisión Mixta. La exención vigente, contemplada en el artículo 16 de la Ley de delitos informáticos, exige la autorización expresa del titular del sistema. El efecto que ha tenido esta disposición es claro: según el Coordinador Nacional de Ciberseguridad, en sesión de 10 de mayo de 2023, el número mensual de reportes sobre vulnerabilidades pasó de 40 a cero desde la entrada en vigor de la norma.

El proyecto de Ley Marco de Ciberseguridad ofrece corregir las falencias de la propuesta rechazada y de la ley vigente, mediante la exigencia de múltiples requisitos para que opere la exención de responsabilidad. Y así fue, afortunadamente, aprobada en el Senado de Chile. No obstante, la propuesta está hoy bajo ataque: se teme que una exención —cualquier exención— abra la puerta a la actividad criminal.

Sin embargo, la oposición a la exención propuesta, de manera errada, conlleva la penalización de una actividad seria y fundamental en la formación de capacidades de ciberseguridad y prevención de ataques. Al mismo tiempo, ignora que el crecimiento en cantidad y en sofisticación de los ciberataques, incluidos los ejecutados desde el extranjero, no va a detenerse porque haya sanciones penales más altas en Chile. Es importante minimizar los riesgos legales para los investigadores. Esto puede hacerse por medio de evoluciones legislativas que otorguen garantías y condiciones para la realización de su trabajo, lo que debe ir aparejado de una sensibilización de los fiscales, para limitar los procedimientos legales en el caso de investigadoras e investigadores dedicados a la búsqueda de vulnerabilidades en sistemas informáticos.