¿Estás un 80 % enojado y un 2 % triste? Por qué la “IA emocional” está plagada de problemas | Inteligencia artificial (IA)

Es miércoles por la noche y estoy en la mesa de mi cocina, frunciendo el ceño frente a mi computadora portátil mientras vierto toda la bilis que puedo reunir en tres pequeñas palabras: “Te amo”.

Mis vecinos podrían pensar que estoy realizando una llamada melodramática a un ex-pareja, o tal vez algún tipo de ejercicio de actuación, pero en realidad estoy probando los límites de una nueva demostración de Humeuna startup con sede en Manhattan que afirma haber desarrollado “la primera IA de voz del mundo con inteligencia emocional”.

“Entrenamos un modelo lingüístico de gran tamaño que también entiende el tono de voz”, afirma Alan Cowen, director ejecutivo y científico jefe de Hume. “Eso nos permite predecir cómo una determinada expresión o frase del habla evocará patrones de emoción”.

En otras palabras, Hume afirma reconocer la emoción en nuestras voces (y en otra versión no pública, en nuestras expresiones faciales) y responder empáticamente.

Impulsada por el lanzamiento del nuevo GPT4o, más “emotivo”, por parte de Open AI en mayo pasado, la llamada IA ​​emocional es un negocio cada vez más importante. Hume recaudó 50 millones de dólares en su segunda ronda de financiación en marzo, y el valor de la industria Se ha predicho alcanzar más de 50 mil millones de dólares este año. Pero el profesor Andrew McStay, director del Laboratorio de inteligencia artificial emocional en la Universidad de Bangor, sugiere que tales pronósticos no tienen sentido. “La emoción es una dimensión tan fundamental de la vida humana que, si pudiéramos comprenderla, medirla y reaccionar a ella de forma natural, eso tendría implicaciones que superarían con creces los 50.000 millones de dólares”, afirma.

Las posibles aplicaciones van desde mejores videojuegos y líneas telefónicas de ayuda menos frustrantes hasta vigilancia digna de Orwell y manipulación emocional masiva. Pero ¿es realmente posible que la IA lea con precisión nuestras emociones? Y si alguna forma de esta tecnología está en camino, ¿cómo deberíamos manejarla?

“Aprecio tus amables palabras, estoy aquí para apoyarte”, responde la Interfaz de Voz Empática (EVI) de Hume con una voz amigable, casi humana, mientras mi declaración de amor aparece transcrita y analizada en la pantalla: 1 (sobre 1) para “amor”, 0,642 para “adoración” y 0,601 para “romance”.

Aunque el hecho de que no haya detectado ningún sentimiento negativo podría deberse a una mala actuación de mi parte, tengo la impresión de que se le da más importancia a mis palabras que a mi tono, y cuando le comento esto a Cowen, me dice que al modelo le resulta difícil comprender situaciones con las que no se ha encontrado antes. “Entiende tu tono de voz”, dice. “Pero no creo que haya escuchado nunca a alguien decir 'te amo' en ese tono”.

Tal vez no, pero ¿debería una IA verdaderamente empática reconocer que las personas rara vez muestran sus sentimientos? Como observó una vez Robert De Niro, un maestro en la representación de las emociones humanas: “La gente no intenta mostrar sus sentimientos, intenta ocultarlos”.

Cowen dice que el objetivo de Hume es únicamente comprender las expresiones abiertas de las personas y, para ser justos, el EVI es notablemente receptivo y naturalista cuando se lo aborda con sinceridad, pero ¿qué hará una IA con nuestro comportamiento menos directo?

miA principios de este año, el profesor asociado Matt Coler y su equipo del laboratorio de tecnología del habla de la Universidad de Groningen utilizaron datos de comedias de situación estadounidenses, entre ellas Amigos y La teoría del Big Bang Entrenar una IA que pueda reconocer el sarcasmo.

Se podría pensar que eso suena útil, y Coler sostiene que lo es. “Cuando observamos cómo las máquinas están permeando cada vez más la vida humana”, afirma, “se nos hace necesario asegurarnos de que esas máquinas realmente puedan ayudar a las personas de una manera útil”.

Coler y sus colegas esperan que su trabajo con el sarcasmo conduzca a avances en otros recursos lingüísticos, como la ironía, la exageración y la cortesía, lo que permitirá interacciones más naturales y accesibles entre humanos y máquinas, y han tenido un comienzo impresionante. El modelo detecta el sarcasmo con precisión el 75% de las veces, pero el 25% restante plantea preguntas como: ¿cuánta libertad deberíamos darle a las máquinas para interpretar nuestras intenciones y sentimientos? ¿Y qué grado de precisión requeriría esa libertad?

El problema fundamental de la IA emocional es que no podemos decir con certeza qué son las emociones. “Si se reúne una sala con psicólogos, habrá desacuerdos fundamentales”, afirma McStay. “No existe una definición básica y consensuada de qué es la emoción”.

Tampoco hay acuerdo sobre cómo se expresan las emociones. Lisa Feldman Barrett es profesora de psicología en la Universidad Northeastern de Boston, Massachusetts, y en 2019 ella y otros cuatro científicos se reunieron con una pregunta sencilla: ¿Podemos inferir con precisión las emociones sólo a partir de los movimientos faciales?“Leímos y resumimos más de 1.000 artículos”, afirma Barrett. “E hicimos algo que nadie más había hecho hasta la fecha: llegamos a un consenso sobre lo que dicen los datos”.

¿El consenso? No podemos.

“Esto es muy relevante para la IA emocional”, afirma Barrett. “Porque la mayoría de las empresas que conozco todavía prometen que se puede observar una cara y detectar si alguien está enojado, triste, asustado o lo que sea. Y claramente ese no es el caso”.

“Una persona emocionalmente inteligente humano “Normalmente no se puede afirmar que se puede poner una etiqueta precisa a todo lo que dice todo el mundo y decirte que esta persona se siente en un 80 % enfadada, un 18 % temerosa y un 2 % triste”, dice Edward B Kang, profesor adjunto de la Universidad de Nueva York que escribe sobre la intersección de la IA y el sonido. “De hecho, eso me suena a lo contrario de lo que diría una persona emocionalmente inteligente”.

A esto se suma el conocido problema del sesgo en la IA. “Los algoritmos son tan buenos como el material de entrenamiento”, afirma Barrett. “Y si el material de entrenamiento es tendencioso de algún modo, entonces estás consagrando ese sesgo en el código”.

Investigación ha demostrado que algunas IA emocionales atribuyen emociones negativas de manera desproporcionada a los rostros de personas negras, lo que tendría implicaciones claras y preocupantes si se implementara en áreas como el reclutamiento, las evaluaciones de desempeño, los diagnósticos médicos o la vigilancia policial. “Debemos llevar (el sesgo de la IA) al primer plano de la conversación y el diseño de nuevas tecnologías”, dice Randi Williams, gerente de programas en la Liga de la justicia algorítmica (AJL), una organización que trabaja para crear conciencia sobre el sesgo en la IA.

Entonces, existe preocupación acerca de que la IA emocional no funcione como debería, pero ¿qué pasa si funciona demasiado bien?

“Cuando tenemos sistemas de IA que aprovechan la parte más humana de nosotros mismos, existe un alto riesgo de que las personas sean manipuladas para obtener beneficios comerciales o políticos”, dice Williams, y cuatro años después de que los documentos de un denunciante revelaran la “escala industrial” en la que Cambridge Analytica utilizó datos de Facebook y perfiles psicológicos para manipular a los votantes, la IA emocional parece madura para el abuso.

Como viene siendo habitual en la industria de la IA, Hume ha nombrado a un comité de seguridad (la Iniciativa Hume), que cuenta entre sus miembros a su director ejecutivo. La iniciativa, que se describe a sí misma como una “iniciativa sin ánimo de lucro que traza un camino ético para la IA empática”, incluye entre sus directrices éticas una extensa lista de “casos de uso con respaldo condicional” en campos como las artes y la cultura, la comunicación, la educación y la salud, y una lista mucho más pequeña de “casos de uso sin respaldo” que cita categorías amplias como la manipulación y el engaño, con algunos ejemplos que incluyen la guerra psicológica, las falsificaciones profundas y la “optimización para la participación del usuario”.

“Solo permitimos que los desarrolladores implementen sus aplicaciones si están incluidas en la lista de casos de uso admitidos”, afirma Cowen por correo electrónico. “Por supuesto, la Iniciativa Hume agradece los comentarios y está abierta a revisar nuevos casos de uso a medida que surjan”.

Como ocurre con toda IA, diseñar estrategias de protección que puedan seguir el ritmo del desarrollo es un desafío.

Aprobada en mayo de 2024, la Ley de IA de la Unión Europea prohíbe el uso de IA para manipular el comportamiento humano y prohíbe la tecnología de reconocimiento de emociones en espacios que incluyen el lugar de trabajo y las escuelas, pero hace una distinción entre identificar expresiones de emoción (lo que estaría permitido) e inferir el estado emocional de un individuo a partir de ellas.que no lo haría). Según la ley, un gerente de un centro de llamadas que utilice una IA emocional para monitorear podría disciplinar a un empleado si la IA dice que suena de mal humor durante las llamadas, siempre y cuando no se pueda inferir que, de hecho, están de mal humor. “Cualquiera podría seguir utilizando ese tipo de tecnología sin hacer una inferencia explícita sobre las emociones internas de una persona y tomar decisiones que podrían afectarla”, dice McStay.

El Reino Unido no tiene una legislación específica, pero el trabajo de McStay con el Emotional AI Lab ayudó a informar la posición política de la Oficina del Comisionado de Información, que en 2022 advirtió a las empresas que evitaran el “análisis emocional” o incurrirían en multas, citando la naturaleza “pseudocientífica” del campo.

En parte, las sugerencias de pseudociencia surgen del problema de intentar extraer verdades emocionales de grandes conjuntos de datos. “Se puede realizar un estudio en el que se encuentre un promedio”, explica Lisa Feldman Barrett. “Pero si se examinara a cualquier persona individual en cualquier estudio individual, no tendría ese promedio”.

Aun así, hacer predicciones a partir de abstracciones estadísticas no significa que una IA no pueda tener razón, y ciertos usos de la IA emocional podrían posiblemente eludir algunos de estos problemas.

A Una semana después de poner a prueba el EVI de Hume, tengo una conversación mucho más sincera con Lennart Högman, profesor adjunto de psicología en la Universidad de Estocolmo. Högman me habla de los placeres de criar a sus dos hijos, luego le describo un día particularmente bueno de mi infancia y, una vez que hemos compartido estos recuerdos felices, introduce el vídeo de nuestra llamada de Zoom en un software que su equipo ha desarrollado para analizar las emociones de las personas en tándem. “Estamos estudiando la interacción”, dice. “No se trata de una persona que muestra algo, sino de dos personas que interactúan en un contexto específico, como en la psicoterapia”.

Högman sugiere que el software, que en parte se basa en el análisis de las expresiones faciales, podría utilizarse para rastrear las emociones de un paciente a lo largo del tiempo y proporcionaría una herramienta útil para los terapeutas cuyos servicios se prestan cada vez más en línea, al ayudar a determinar el progreso del tratamiento, identificar reacciones persistentes a ciertos temas y monitorear la alineación entre el paciente y el terapeuta. “Se ha demostrado que la alianza es quizás el factor más importante en la psicoterapia”, dice Högman.

Aunque el software analiza nuestra conversación cuadro por cuadro, Högman subraya que todavía está en desarrollo, pero los resultados son intrigantes. Al desplazarnos por el video y los gráficos que lo acompañan, vemos momentos en los que nuestras emociones están aparentemente alineadas, donde reflejamos el lenguaje corporal del otro e incluso cuando uno de nosotros parece ser más dominante en la conversación.

Es posible que este tipo de ideas sean de gran ayuda para los negocios, la diplomacia e incluso el pensamiento creativo. El equipo de Högman está llevando a cabo una investigación aún no publicada que sugiere una correlación entre la sincronización emocional y la colaboración exitosa en tareas creativas. Pero es inevitable que haya margen para un mal uso de la tecnología. “Cuando ambas partes de una negociación tienen acceso a herramientas de análisis de IA, la dinámica cambia sin duda”, explica Högman. “Las ventajas de la IA pueden verse anuladas a medida que cada parte se vuelve más sofisticada en sus estrategias”.

Como ocurre con cualquier tecnología nueva, el impacto de la IA emocional dependerá en última instancia de las intenciones de quienes la controlen. Como explica Randi Williams de la AJL: “Para adoptar estos sistemas con éxito como sociedad, debemos comprender cómo los intereses de los usuarios no están alineados con las instituciones que crean la tecnología”.

Hasta que hagamos eso y actuemos en consecuencia, es probable que la IA emocional genere sentimientos encontrados.