La creciente amenaza a la democracia que representa la desinformación impulsada por la IA

Los expertos temen que 2024 pueda ser el año en que un deepfake viral indetectable tenga un impacto catastrófico en unas elecciones

Hannah Murphy en San Francisco Enero 11 2024

Dos días antes de las elecciones eslovacas de septiembre, una misteriosa grabación se volvió viral en las redes sociales. En él, aparentemente se podía escuchar al candidato liberal de la oposición, Michal Šimečka, conspirando con un periodista para comprar votos y manipular el resultado.

“Se hará de manera que nadie pueda acusarte de aceptar sobornos”, supuestamente dice Šimečka en el audio, según una transcripción de la conversación que también circuló en ese momento. “Ojo, hay mucha gente alrededor, no uses la palabra que empieza con B”, responde el periodista.

Lo más explosivo de la grabación fue que era falsa: un engaño sofisticado creado por inteligencia artificial, dijeron los verificadores de datos, citando indicadores como una dicción antinatural y pausas atípicas.

Sin embargo, la grabación fue compartida por miles de votantes durante la moratoria del país sobre la información sobre las elecciones, lo que hizo más difícil para los aliados de Šimečka o los medios desmentirla como falsa.

Robert Fico, de derecha, y el candidato de la oposición eslovaca, Michal Šimečka, hablan después de un debate televisivo electoral en septiembre pasado © Vladimir Simicek/AFP vía Getty Images

Šimečka, que encabezó las encuestas a pie de urna, denunció la grabación como “una estupidez colosal y obvia” y la policía eslovaca advirtió a los votantes que tuvieran cuidado en línea con los actores nefastos con “intereses creados”. Pero Šimečka perdió en la votación frente a su rival populista y prorruso, Robert Fico.

Los perpetradores siguen siendo desconocidos y el impacto preciso en el resultado es imposible de medir, pero el episodio presagió un nuevo amanecer para la guerra de información y un desafío gigantesco para las plataformas de redes sociales de Silicon Valley antes de un año histórico de elecciones. Se estima que unos 2.000 millones de personas, o alrededor de la mitad de la población adulta mundial, acudirán a las urnas en 2024 , incluidos Estados Unidos, la UE, India y el Reino Unido.

La desinformación en línea ha sido un factor en las elecciones durante muchos años. Pero los recientes y rápidos avances en la tecnología de IA significan que es más barato y más fácil que nunca manipular los medios, gracias a un nuevo y dinámico mercado de herramientas poderosas como ChatGPT de OpenAI, la startup de arte de IA Midjourney u otros generadores de texto, audio y video. Al mismo tiempo, los medios manipulados o sintéticos son cada vez más difíciles de detectar.

Los deepfakes realistas ya se han convertido en un nuevo frente en el panorama de desinformación en torno a los conflictos Israel-Hamás y Rusia-Ucrania. Ahora, están a punto de enturbiar las aguas en procesos electorales ya empañados por la disminución de la confianza pública en los gobiernos, las instituciones y la democracia, junto con un antiliberalismo generalizado y una polarización política.

“Las tecnologías alcanzaron esta trifecta perfecta de realismo, eficiencia y accesibilidad”, dice Henry Ajder, experto en IA y deepfakes y asesor de Adobe, Meta y EY. “Las preocupaciones sobre el impacto electoral eran exageradas hasta este año. Y luego las cosas sucedieron a una velocidad que no creo que nadie hubiera anticipado”.

Las autoridades ya están emitiendo advertencias. En noviembre, en el Reino Unido, el GCHQ planteó la posibilidad de “bots hiperrealistas creados por IA” y campañas deepfake cada vez más avanzadas antes de las elecciones del país. Un grupo bipartidista de senadores estadounidenses propuso recientemente una legislación para prohibir el contenido “materialmente engañoso generado por IA” en la publicidad política.

Las plataformas de redes sociales, incluidas Meta, YouTube de Google, TikTok y X, ahora enfrentan presión para introducir barreras de seguridad en torno a los deepfakes, frenar a los actores nefastos y garantizar que tomen las medidas de moderación correctas cuando se trata de medios altamente ambiguos, sin dejar de permanecer no partidistas.

Sin embargo, muchos están menos preparados para hacerlo que en grandes elecciones anteriores, advierten los expertos. Algunos, incluido Meta, recortaron su inversión en equipos dedicados a mantener elecciones seguras después de la caída de las acciones tecnológicas a principios de 2023. En el caso de X de Elon Musk, los recursos de moderación de contenido se han recortado drásticamente mientras promete restaurar lo que él llama libertad de expresión. absolutismo.

Los esfuerzos de los grupos tecnológicos con sede en Estados Unidos para invertir en la verificación de hechos y combatir la desinformación también se han politizado, ya que los políticos estadounidenses de derecha los acusan de confabularse con el gobierno y los académicos para censurar las opiniones conservadoras.

Donald Trump habla en un mitin de campaña en 2016. Después de su elección, la noción de guerras de desinformación en línea pasó a la conciencia pública © Robyn Beck/AFP/Getty Images

Varios académicos y expertos en desinformación de izquierda advierten que esta dinámica está obligando a las plataformas, universidades y agencias gubernamentales a alejarse de iniciativas y colaboraciones de integridad electoral a nivel mundial por temor a represalias. Meta dijo en diciembre que el gobierno de EE. UU. había dejado de compartir información con la plataforma, a pesar de que dichas colaboraciones ayudaron anteriormente a la compañía a identificar “actores de amenazas sofisticados”.

Esta mezcla tóxica de herramientas de inteligencia artificial más sofisticadas y medidas de prevención menos sólidas significa que lo que los expertos describen como el escenario apocalíptico de la desinformación (que un deepfake viral indetectable tendrá un impacto catastrófico en el proceso democrático) ya no es meramente teórico, advierten muchos.

“Creo que la combinación del caos que permitirán las herramientas de IA generativa y el inconveniente de los programas que las plataformas tenían implementados para garantizar la integridad de las elecciones es este desastre que se desarrolla ante nuestros ojos”, dice el jefe de una investigación digital. sin ánimo de lucro. “Me preocupa mucho que la víctima sea la propia democracia”.

La noción de guerras de desinformación en línea saltó a la conciencia pública tras la victoria de Donald Trump en las elecciones presidenciales estadounidenses de 2016.

Más tarde, funcionarios estadounidenses encontraron evidencia de esfuerzos coordinados en línea por parte de Rusia para influir en la votación, mediante los cuales estudiantes expertos en tecnología fueron contratados para una “granja de trolls” con sede en San Petersburgo llamada Agencia de Investigación de Internet.

Si bien la campaña pasó casi completamente desapercibida para las plataformas de redes sociales, las tácticas rusas en ese momento fueron crudas. Los empleados del IRA crearon grupos de cuentas y páginas falsas y compraron publicidad en rublos. Personas falsas atacaron al republicano Trump o a su rival candidata demócrata Hillary Clinton a través de memes vulgares; otros buscaron generar división en torno a temas como las tensiones raciales, la inmigración o el derecho a portar armas, a menudo en un inglés entrecortado.

Para 2020, las campañas de desinformación en las redes sociales habían operado en más de 80 países, según el Oxford Internet Institute, orquestadas de diversas formas por partidos políticos, relaciones públicas oscuras y grupos de inteligencia del sector privado, o los propios gobiernos. Algunos comenzaron a experimentar con técnicas rudimentarias de deepfaking, en particular representaciones digitales de rostros ficticios.

En respuesta, Google, Meta, TikTok y X introdujeron reglas que prohíben las operaciones coordinadas de influencia encubierta y la desinformación sobre la votación y la supresión de votantes. Google prohíbe los medios manipulados relacionados con política y temas sociales, mientras que Meta ha prohibido el contenido manipulado diseñado para engañar y permite a sus verificadores de datos señalar si los medios están “alterados”, haciéndolos menos prominentes en los feeds de los usuarios.

Elon Musk en la feria de innovación y startups tecnológicas Vivatech en París en junio. Sus abogados argumentaron sin éxito el año pasado que un vídeo de YouTube del empresario hablando sobre las capacidades de conducción autónoma de Tesla podría ser un deepfake © Alain Jocard/AFP/Getty Images

Pero la llegada de la IA generativa (poderosos modelos multimodales que pueden combinar texto, imagen, audio y video) ha transformado radicalmente el potencial de los deepfakes, poniendo la capacidad de crear medios convincentes a escala al alcance de casi cualquier persona.

Empresas emergentes de generación de vídeos, como HeyGen, con sede en Los Ángeles, y Synthesia, con sede en Londres, que atienden a una amplia gama de industrias, entre ellas el cine y la publicidad, permiten a los clientes crear videoclips encabezados por avatares de IA por poco más de 20 dólares al mes, en un mercado de rápido crecimiento que ya tendrá un valor de alrededor de 500 millones de dólares en 2022. La misma tecnología se puede utilizar para generar artículos de noticias impulsados ​​por inteligencia artificial, administrar sitios de noticias, automatizar ejércitos de robots o incluso crear chatbots que podrían estar programados para eventualmente movilizar a un determinado grupo político. sentimiento en un usuario.

“2023 ha sido realmente el comienzo de lo que veremos [este] año cuando hablemos de medios manipulados y operaciones de influencia impulsadas por IA. . . ya sean de actores individuales o tal vez de organizaciones estatales”, dice Brian Liston, analista de inteligencia del grupo cibernético Recorded Future.

El primer día de la conferencia del Partido Laborista en octubre circuló un audio deepfake del líder de la oposición británica, Keir Starmer, reprendiendo a sus asistentes. YouTube de Google suspendió el año pasado varias cuentas en Venezuela que mostraban videos de presentadores de noticias falsas leyendo desinformación que arrojaba una luz positiva sobre el régimen del presidente Nicolás Maduro.

Los motivos de las campañas varían. Algunos están diseñados para influir en la opinión o desacreditar a los candidatos. Otros, como es común en las últimas campañas rusas, buscan socavar la confianza en la democracia como parte de objetivos geopolíticos más amplios y estratégicos. Luego están aquellos que simplemente intentan generar participación y ganancias, a través de clics publicitarios, por ejemplo.

También hay efectos secundarios. Así como algunos políticos como Trump han utilizado el concepto de “noticias falsas” como un arma al utilizar el término para narrativas con las que no están de acuerdo, también se puede utilizar la creciente conciencia pública sobre los deepfakes para desacreditar las verdades y negar la realidad.

El grito de deepfake ya es una táctica desplegada por los equipos legales en defensa de sus clientes. El año pasado, los abogados de Elon Musk sugirieron que un vídeo de YouTube del empresario multimillonario hablando sobre las capacidades de conducción autónoma de Tesla podría ser un deepfake, como parte de una demanda por la muerte de un hombre que utilizaba el sistema. El juez dijo que esto no era motivo para desestimar las pruebas y calificó el argumento de “profundamente preocupante”.

En la esfera política, los candidatos ahora tienen la “capacidad de descartar un fragmento de audio o vídeo dañino”, dice Bret Schafer, experto en propaganda de la Alianza para Asegurar la Democracia, parte del grupo de expertos German Marshall Fund. El concepto, conocido como “dividendo del mentiroso”, se describió por primera vez en un artículo académico de 2018 en el que se sostenía que “los deepfakes facilitan que los mentirosos eviten la responsabilidad por cosas que en realidad son ciertas”.

Las investigaciones también muestran que la mera existencia de deepfakes profundiza la desconfianza en todo lo que está en línea, incluso si es real. En política, “hay una ventaja autocrática en atacar la idea de que existe algo llamado verdad objetiva”, dice Schafer.

“Puedes hacer que la gente diga: ‘Votar no importa’. Todo el mundo nos está mintiendo. Todo esto se está preparando. No podemos controlar ningún resultado aquí”. Eso conduce a una disminución significativa y al compromiso cívico”.

Las empresas de redes sociales están intentando crear barreras de seguridad para este nuevo tipo de actividad.

Tanto Meta como Google anunciaron recientemente políticas que exigen que las campañas revelen si sus anuncios políticos han sido alterados digitalmente. TikTok exige que los medios sintéticos o manipulados que muestren escenas realistas se revelen claramente a través de una pegatina, etiqueta o título. Prohíbe los medios sintéticos que dañen la imagen de figuras privadas reales o de una figura pública si se utilizan para respaldos, como estafas.

Mientras tanto, X dice que etiquetará o eliminará los medios engañosos manipulados cuando causen daño, incluida la confusión en torno a la estabilidad política.

Pero impedir que se publique y comparta este tipo de medios se está volviendo más difícil, incluso para empresas como TikTok y Meta que han invertido en capacidades de detección de alta calidad.

La velocidad y la respuesta en tiempo real son clave. Si la confianza en la veracidad de una narrativa viral es inestable y las plataformas tardan en responder, esto deja un vacío epistémico peligroso, dice Ajder, “para que los actores de mala fe y los medios menos escrupulosos, particularmente los medios sesgados, entren y llenen ese vacío. con confirmación.”

Ron DeSantis, candidato presidencial republicano de Estados Unidos, habla ante una multitud en Iowa en agosto pasado. Su anuncio de ataque utilizó IA para generar una voz similar a la de Trump © Joseph Cress/USA Today Network vía Reuters

Pero mientras que los investigadores académicos y los equipos de moderación se habían centrado anteriormente en detectar discrepancias en rostros generados por IA, dice Renee DiResta, gerente de investigación de Stanford, ahora están comenzando de nuevo desde cero con gran parte de la última tecnología de IA generativa. “Las técnicas para detectar rostros falsos no son relevantes para las creaciones de modelos de difusión más recientes”, afirma.

En ejemplos anteriores de falsificaciones generadas, los rasgos faciales estaban “alineados dentro de una cuadrícula”, dice DiResta, y las anomalías eran más fáciles de detectar. Los deepfakes humanos de hoy pueden estar en cualquier pose y moverse aparentemente con naturalidad. “Existe una dinámica de confrontación constante en la que la tecnología mejora antes que la tecnología de detección. Es el ‘problema de la reina roja’: corremos lo más rápido que podemos para permanecer en el mismo lugar”.

Los expertos coinciden en que las herramientas de detección existentes generalmente no son lo suficientemente precisas como para actuar como una protección confiable y definitiva. “La variación del porcentaje de detección está por todos lados y hay inconsistencias”, dice Liston.

Además, las plataformas deben seguir afinando las políticas sobre cómo tratar esos deepfakes si se detectan. “¿Quitas esas cosas? ¿Lo etiqueta? ¿Reduces el alcance? dice Katie Harbath, oficial de asuntos globales de Duco Experts y ex directora de políticas públicas de Meta.

Señala que las plataformas necesitarán matices en sus políticas para distinguir entre los muchos usos benignos de la IA, como una campaña que quiere utilizarla para generar un fondo particular para un anuncio, y los nefastos.

Luego hay áreas aún más grises, como cómo manejar la sátira o la parodia. Un anuncio de ataque de Ron DeSantis en julio tomó las publicaciones escritas de Trump en su propia plataforma social Truth Social y utilizó inteligencia artificial para generar audio de una voz similar a la de Trump leyéndolas. ¿Deberían ser aceptables? “Creo que esas son algunas de las preguntas aún abiertas en torno a todo esto que empiezan a volverse realmente complicadas porque el diablo está en los detalles de la definición de todo esto”, dice Harbath.

Este vídeo publicitario del ataque de Ron DeSantis utiliza audio generado por IA que replica artificialmente la voz de Donald Trump. © Nunca retrocedas canal de Youtube

Más allá de la detección, muchas plataformas han estado explorando el uso de marcas de agua u otros indicadores para asignar una firma de autenticidad al contenido antes de su publicación. Tanto Google como Meta han estado introduciendo marcas de agua invisibles para el contenido generado por sus propias herramientas de inteligencia artificial.

Pero los escépticos señalan que se trata de un trabajo en progreso y que sólo será una solución eficaz si se adapta amplia y sistemáticamente. El jefe de asuntos globales de Meta, Nick Clegg, habló públicamente sobre la necesidad de estándares industriales comunes, mientras que TikTok dijo que estaba evaluando opciones para una coalición de procedencia de contenido.

Los expertos dicen que las campañas de desinformación han desviado su atención hacia empresas que adoptan un enfoque más ligero hacia la moderación. En particular, X y Telegram es donde “muchas de estas cosas se originan ahora porque [los perpetradores] saben que las plataformas heredadas están invirtiendo recursos en esto”, señala Harbath.

X dijo que estaba “bien equipado para manejar” medios sintéticos y manipulados, y señaló su programa voluntario de verificación de datos, Community Notes. Telegram dijo que se estaba asociando con agencias de verificación de datos para agregar etiquetas a contenido potencialmente engañoso e información precisa a través de sus canales, y agregó que creía que la forma más efectiva de combatir la desinformación era “difundir información verificada”.

Incluso dentro de plataformas más grandes, los recursos para abordar la desinformación y la integridad electoral pueden ser escasos o tener menos prioridad en ciertas geografías. Esta fue una de las críticas centrales dirigidas a Meta por la denunciante Frances Haugen en octubre de 2021. Haugen filtró documentos internos a los medios que mostraban que los países que no hablaban inglés tenían un bajo número de moderadores, por ejemplo.

“Su regulación es tan buena como su capacidad para hacerla cumplir”, advierte Ajder. “Cuando no hay una forma significativa de que las plataformas puedan detectar de manera realmente confiable el contenido generado por IA a escala, y también cuando hay mucho contenido benigno generado por IA, es cuestionable si estas políticas. . . En realidad, van a marcar una gran diferencia”.

Algunas de las plataformas siguen desafiantes. “La comunidad de defensores de nuestra sociedad necesita prepararse para un mayor volumen de contenido sintético” en 2024, escribió Meta en un informe de noviembre. Pero añadió que no creía que esto pudiera “desbaratar los esfuerzos de nuestra industria para contrarrestar las operaciones de influencia encubiertas”.

Para algunos, hay un rayo de esperanza diferente: que la crisis de autenticidad eventualmente cierre el círculo y los votantes regresen a las instituciones heredadas a través de las plataformas de redes sociales en busca de información. “Si soy optimista, en cinco años mi esperanza sería que esto realmente atraiga a la gente a volver a medios confiables, creíbles y autorizados”, dice Schafer.

Pero para otros, el futuro parece sombrío si no podemos creer lo que nos dicen nuestros ojos y oídos. Nada se tomará al pie de la letra; todo interrogado; la democracia es más frágil.

“La tecnología llegó para quedarse y será muy, muy buena”, afirma Nicolas Müller, científico investigador de aprendizaje automático en Fraunhofer AISEC. “Probablemente no podrás confiar simplemente en medios como el audio o el vídeo. Esto necesitará un cambio de paradigma en nuestra cabeza. Tal vez, como Covid, simplemente tengamos que vivir con ello”.

Información adicional de Cristina Criddle en Londres

Fuente: https://www.ft.com/content/16f2+

Traducción. Redacción Ciudadanos Por México