Ofcom advierte a las empresas de tecnología después de que los chatbots imitaran a Brianna Ghey y Molly Russell | seguridad en internet

Ofcom ha advertido a las empresas de tecnología que el contenido de chatbots que se hacen pasar por personas reales y ficticias podría infringir las nuevas leyes digitales del Reino Unido.

El regulador de comunicaciones emitió la guía después de que se supo que los usuarios de la plataforma Character.AI habían creado avatares que imitaban a las adolescentes británicas fallecidas Brianna Ghey y Molly Russell.

Bajo la presión de los activistas de seguridad digital para aclarar la situación, Ofcom subrayó que el contenido creado por chatbots creados por usuarios entraría dentro del alcance de la Ley de Seguridad en Línea.

Sin nombrar a la firma estadounidense de inteligencia artificial Character.AI, Ofcom dijo que un sitio o aplicación que permitiera a los usuarios crear sus propios chatbots para que otras personas interactúen con ellos estaría cubierto por la ley.

“Esto incluye servicios que proporcionan herramientas para que los usuarios creen chatbots que imiten las personas reales y ficticias, que pueden enviarse a una biblioteca de chatbots para que otros interactúen”, dijo Ofcom.

en un carta abiertaOfcom también dijo que cualquier sitio o aplicación de usuario a usuario, como una plataforma de redes sociales o una aplicación de mensajería, que permitiera a las personas compartir contenido generado por un chatbot en ese sitio con otros también estaría dentro del alcance. Las empresas que incumplan la ley se enfrentan a multas de 18 millones de libras esterlinas o el 10% de la facturación global de una empresa. En casos extremos, también se pueden bloquear sitios web o aplicaciones.

Ofcom dijo que había emitido la guía después de “incidentes preocupantes”. Destacó un caso reportado por primera vez por el Daily Telegraph donde los usuarios de Character.AI crearon bots para actuar como clones virtuales de Brianna, de 16 años, una niña transgénero que fue asesinada por dos adolescentes el año pasado, y Molly, quien se quitó la vida en 2017 después de ver contenido dañino en línea.

También señaló un caso en Estados Unidos donde un adolescente murió después de desarrollar una relación con un avatar de Character.AI basado en un personaje de Juego de Tronos.

Las nuevas reglas de seguridad en línea, que comenzarán a entrar en vigor el próximo año, requerirán que las redes sociales y otras plataformas que alojan contenido creado por usuarios protejan a los usuarios, particularmente a los niños, de material ilegal y otros materiales dañinos.

Las reglas requerirán que las plataformas más grandes creen sistemas para eliminar proactivamente material ilegal y otro material potencialmente dañino, al mismo tiempo que proporcionen herramientas claras de presentación de informes a los usuarios y realicen evaluaciones de riesgos, entre otras nuevas tareas.

El Fundación Molly Rose (MRF)una organización benéfica establecida por la familia de Molly, dijo que la guía envía una “señal clara” de que los chatbots podrían causar un daño significativo.

Sin embargo, MRF dijo que se necesitaba más claridad sobre si el contenido generado por bots podría ser tratado como ilegal según la ley, después de que el asesor del gobierno en legislación antiterrorista, Jonathan Hall KC, dijera este año que las respuestas de los chatbots de IA eran no cubierto adecuadamente por la legislación vigente. Ofcom publicará en breve una guía sobre cómo abordar el contenido ilegal en las plataformas, incluido el material de chatbot.

Ben Packer, socio del bufete de abogados Linklaters, dijo: “El hecho de que Ofcom haya tenido que aclarar que estos servicios pueden estar dentro de su alcance refleja la gran amplitud y complejidad de la Ley de Seguridad en Línea. También es un síntoma del hecho de que la ley comenzó su gestación varios años antes de la proliferación de herramientas GenAI y chatbots”.

Character.AI dijo que se tomaba en serio la seguridad en su plataforma y moderaba a los personajes de forma proactiva y en respuesta a los informes de los usuarios y que los chatbots de Ghey, Russell y Game of Thrones habían sido eliminados.