'No soy yo, es sólo mi cara': las modelos que encontraron sus retratos habían sido utilizadas en propaganda de IA | Inteligencia artificial (IA)

El joven bien arreglado, vestido con una impecable camisa azul y que habla con un suave acento estadounidense, parece un improbable partidario del líder de la junta militar del estado de Burkina Faso, en África occidental.

“Debemos apoyar… al presidente Ibrahim Traoré… ¡Patria o muerte venceremos!” dice en un vídeo que comenzó a circular a principios de 2023 en Telegram. Fue apenas unos meses después de que el dictador llegara al poder mediante un golpe militar.

Otros vídeos protagonizados por diferentes personas, con una apariencia similar de aspecto profesional y repitiendo exactamente el mismo guión delante de la bandera de Burkina Faso, surgieron casi al mismo tiempo.

Unos días después, en una cuenta verificada en X, el mismo joven, con la misma camisa azul, afirmó ser Archie, el director ejecutivo de una nueva plataforma de criptomonedas.

Estos vídeos son falsos. Fueron generados con inteligencia artificial (IA) desarrollada por una startup con sede en el este de Londres. La compañía Synthesia ha creado revuelo en una industria que compite por perfeccionar videos de IA realistas. Los inversores han invertido dinero en efectivo, catapultándola al estatus de “unicornio”, una etiqueta para una empresa privada valorada en más de mil millones de dólares.

La tecnología de Synthesia está dirigida a clientes que buscan crear material de marketing o presentaciones internas, y cualquier deepfake supone una infracción de sus términos de uso. Pero esto significa poco para los modelos cuyas imágenes están detrás de los “títeres” digitales que fueron utilizado en vídeos de propaganda como los que aparentemente apoyan al dictador de Burkina Faso. The Guardian localizó a cinco de ellos.

“Estoy en shock, no hay palabras en este momento. He estado en la industria (creativa) durante más de 20 años y nunca me había sentido tan violado y vulnerable”, dijo Mark Torres, director creativo radicado en Londres, que aparece con la camisa azul en los videos falsos.

“No quiero que nadie me vea así. El solo hecho de que mi imagen esté ahí fuera podría decir cualquier cosa: promover un régimen militar en un país que no sabía que existía. La gente pensará que estoy involucrado en el golpe”, añadió Torres después de que The Guardian le mostrara el vídeo por primera vez.

El disparar

En el verano de 2022, Connor Yeates recibió una llamada de su agente ofreciéndole la oportunidad de ser uno de los primeros modelos de IA para una nueva empresa.

Yeates nunca había oído hablar de la empresa, pero acababa de mudarse a Londres y dormía en el sofá de un amigo. La oferta (casi 4.000 libras esterlinas por un día de rodaje y el uso de las imágenes durante un período de tres años) parecía una “buena oportunidad”.

“He sido modelo desde la universidad y ese ha sido mi principal ingreso desde que terminé. Luego me mudé a Londres para empezar a hacer monólogos”, dijo Yeates, quien creció en Bath.

El rodaje tuvo lugar en el estudio de Synthesia en el este de Londres. Primero, lo llevaron a peinarse y maquillarse. Media hora después, entró en la sala de grabación donde le esperaba un pequeño equipo.

Se le pidió a Yeates que leyera líneas mientras miraba directamente a la cámara y vestía una variedad de disfraces: una bata de laboratorio, un chaleco de alta visibilidad y casco de construcción, y un traje corporativo.

“Hay un teleprompter frente a ti con líneas, y dices esto para que puedan captar las gesticulaciones y replicar los movimientos. Dirían que seas más entusiasta, sonríe, frunce el ceño y enojate”, dijo Yeates.

Todo duró tres horas. Varios días después, recibió un contrato y el enlace a su avatar de IA.

“Pagaron puntualmente. No tengo padres ricos y necesitaba el dinero”, dijo Yeates, quien no pensó mucho en ello después.

Al igual que la de Torres, la imagen de Yeates se utilizó en la propaganda del actual líder de Burkina Faso.

Un portavoz de Synthesia dijo que la compañía había prohibido las cuentas que crearon los videos en 2023 y que había fortalecido sus procesos de revisión de contenido y “contrató más moderadores de contenido y mejoró nuestras capacidades de moderación y sistemas automatizados para detectar y prevenir mejor el uso indebido de nuestra tecnología”. ”.

Pero ni Torres ni Yeates conocieron los vídeos hasta que The Guardian se puso en contacto con ellos hace unos meses.

El 'unicornio'

Synthesia fue fundada en 2017 por Victor Riparbelli, Steffen Tjerrild y dos académicos de Londres y Munich.

Un año después, lanzó una herramienta de doblaje que permitía a las productoras traducir el habla y sincronizar los labios de un actor automáticamente mediante inteligencia artificial.

Se mostró en un programa de la BBC en el que a un presentador de noticias que solo hablaba inglés se le hacía parecer como si mágicamente hablara mandarín, hindi y español.

Lo que le valió a la empresa su codiciado estatus de “unicornio” fue un giro hacia el producto de avatar digital de mercado masivo disponible en la actualidad. Esto permite a una empresa o a un individuo crear un vídeo dirigido por un presentador en minutos por tan solo £23 al mes. Hay docenas de personajes para elegir que ofrecen diferentes géneros, edades, etnias y apariencias. Una vez seleccionados, los títeres digitales pueden colocarse en casi cualquier entorno y recibir un guión, que luego pueden leer en más de 120 idiomas y acentos.

Synthesia ahora tiene una participación dominante en el mercado y cuenta con Ernst & Young (EY), Zoom, Xerox y Microsoft entre sus clientes.

Los avances del producto llevaron a la revista Time a incluir en septiembre a Riparbelli entre las 100 personas más influyentes en IA.

Pero la tecnología también se ha utilizado para crear videos vinculados a estados hostiles, incluidos Rusia, China y otros, para difundir información errónea y desinformación. Fuentes de inteligencia sugirieron a The Guardian que existía una alta probabilidad de que los vídeos de Burkina Faso que circularon en 2023 también hubieran sido creados por actores estatales rusos.

El impacto personal

Casi al mismo tiempo que los videos de Burkina Faso comenzaron a circular en línea, también aparecieron en YouTube y Facebook dos videos pro Venezuela que presentaban segmentos de noticias falsas presentados por avatares de Synthesia. En uno de ellos, un presentador rubio y con camisa blanca condenaba las “afirmaciones de los medios occidentales” sobre inestabilidad económica y pobreza, presentando en cambio un retrato muy engañoso de la situación financiera del país.

Dan Dewhirst, un actor radicado en Londres y modelo de Synthesia, cuya imagen se usó en el video, le dijo a The Guardian: “Innumerables personas se comunicaron conmigo al respecto… Pero probablemente hubo otras personas que lo vieron y no dijeron nada, o me juzgó silenciosamente por ello. Puede que haya perdido clientes. Pero no soy yo, es sólo mi cara. Pero pensarán que estoy de acuerdo.

“Estaba furioso. Fue realmente muy perjudicial para mi salud mental. (Causó) una cantidad abrumadora de ansiedad”, añadió.

El portavoz de Synthesia dijo que la compañía había estado en contacto con algunos de los actores cuyas imágenes se habían utilizado. “Lamentamos sinceramente el impacto personal o profesional negativo que estos incidentes históricos han tenido en las personas con las que ha hablado”, dijo.

Pero una vez que circulan, el daño de los deepfakes es difícil de deshacer.

Dewhirst dijo que ver su rostro utilizado para difundir propaganda era el peor de los casos, y agregó: “Nuestros cerebros a menudo sufren una catástrofe cuando nos preocupamos. Pero luego ver esa preocupación hecha realidad… fue horrible”.

La 'montaña rusa'

El año pasado, más de 100.000 actores y artistas sindicalizados en Estados Unidos se declararon en huelga para protestar contra el uso de la IA en las artes creativas. La huelga fue cancelada en noviembre pasado después de que los estudios acordaron salvaguardias en los contratos, como el consentimiento informado antes de la replicación digital y una compensación justa por cualquier uso de este tipo. Los artistas de videojuegos siguen en huelga por el mismo tema.

El mes pasado, se presentó en Estados Unidos un proyecto de ley bipartidista, titulado Ley NO FALSIFICACIONES, cuyo objetivo es responsabilizar a empresas e individuos por daños y perjuicios por infracciones relacionadas con réplicas digitales.

Sin embargo, prácticamente no existen mecanismos prácticos de reparación para los propios artistas, aparte del contenido sexual generado por IA.

“Estas empresas de inteligencia artificial están invitando a la gente a una montaña rusa realmente peligrosa”, dijo Kelsey Farish, abogada de medios y entretenimiento con sede en Londres, especializada en inteligencia artificial generativa y propiedad intelectual. “¿Y adivina qué? La gente sigue subiendo a esta montaña rusa y ahora la gente está empezando a resultar herida”.

Según el RGPD, las modelos pueden técnicamente solicitar que Synthesia elimine sus datos, incluidos su retrato e imagen. En la práctica esto es muy difícil.

Un ex empleado de Synthesia, que quería permanecer en el anonimato por temor a represalias, explicó que la IA no podía “desaprender” ni borrar lo que pudo haber aprendido del lenguaje corporal de la modelo. Para hacerlo sería necesario reemplazar todo el modelo de IA.

El portavoz de Synthesia dijo: “Muchos de los actores con los que trabajamos vuelven a colaborar con nosotros para nuevos rodajes… Al comienzo de nuestra colaboración, les explicamos nuestros términos de servicio y cómo funciona nuestra tecnología para que sepan cuáles son los problemas. plataforma puede hacer y las salvaguardias que tenemos implementadas”.

Dijo que la compañía no permitía “el uso de avatares de archivo para contenido político, incluido contenido que es objetivamente exacto pero que puede crear polarización”, y que sus políticas fueron diseñadas para evitar que sus avatares se usaran para “manipulación, prácticas engañosas, suplantaciones y falsas asociaciones”.

“Aunque nuestros procesos y sistemas pueden no ser perfectos, nuestros fundadores están comprometidos a mejorarlos continuamente”.

Cuando The Guardian probó la tecnología de Synthesia utilizando una variedad de scripts de desinformación, aunque bloqueó los intentos de usar uno de sus avatares, fue posible recrear el video de propaganda de Burkina Faso con un avatar creado personalmente y descargarlo, ninguno de los cuales debería estar permitido. según las políticas de Synthesia. Synthesia dijo que esto no era una violación de sus términos ya que respetaba el derecho a expresar una postura política personal, pero luego bloqueó la cuenta.

The Guardian también pudo crear y descargar clips de un avatar de solo audio que decía “heil Hitler” en varios idiomas, y otro clip de audio que decía “Kamala Harris manipuló las elecciones” con acento estadounidense.

Synthesia eliminó el servicio gratuito de audio de IA después de ser contactado por The Guardian y dijo que la tecnología detrás del producto era un servicio de terceros.

las secuelas

La experiencia de conocer su parecido se había utilizado en un vídeo de propaganda. ha dejado a Torres con un profundo sentimiento de traición: “Saber que esta empresa en la que confié mi imagen se saldrá con la suya me enoja mucho. Esto potencialmente podría costar vidas, costarme la vida al cruzar una frontera para inmigración”.

Torres fue invitado a otra sesión fotográfica con Synthesia este año, pero declinó. Su contrato finaliza en unos meses, cuando su avatar de Synthesia será eliminado. Pero, ¿qué pasa con su avatar en el vídeo de Burkina Faso? no está claro ni siquiera para él.

“Ahora me doy cuenta de por qué es tan peligroso mostrarles caras para que las usen. Es una pena que fuéramos parte de esto”, dijo.

Desde entonces, YouTube eliminó el video de propaganda que presenta a Dewhirst, pero sigue disponible en Facebook.

Torres y Yeates permanecen en la portada de Synthesia en un anuncio en vídeo de la empresa.