Por qué el problema de Tom Cruise con la IA significa que está “condenada al fracaso” | Inteligencia artificial (IA)

IEn 2021, la lingüista Emily Bender y el científico informático Timnit Gebru publicó un artículo que describía el entonces naciente campo de los modelos lingüísticos como uno de “loros estocásticos”. Un modelo lingüístico, escribieron, “es un sistema para unir al azar secuencias de formas lingüísticas que ha observado en sus vastos datos de entrenamiento, de acuerdo con información probabilística sobre cómo se combinan, pero sin ninguna referencia al significado”.

La frase se ha mantenido. La IA todavía puede mejorar, aunque sea un loro estocástico, porque cuantos más datos de entrenamiento tenga, mejor parecerá. Pero ¿acaso algo como ChatGPT realmente muestra algo parecido a inteligencia, razonamiento o pensamiento? ¿O simplemente, en escalas cada vez mayores, “coser al azar secuencias de formas lingüísticas”?

En el mundo de la IA, las críticas suelen desestimarse con un gesto de la mano. Cuando hablé con Sam Altman el año pasado, parecía casi sorprendido de oír una crítica tan anticuada. “¿Sigue siendo una opinión generalizada? Quiero decir, ¿se tiene en cuenta? ¿Todavía hay mucha gente seria que piensa así?”, preguntó.

“Mi percepción es que, después de GPT-4, la gente dejó de decir eso y comenzó a decir ‘OK, funciona, pero es demasiado peligroso’”. GPT-4, dijo, era razonamiento, “en pequeña medida”.

A veces, el debate parece semántico. ¿Qué importa si el sistema de IA razona o simplemente repite lo mismo si puede resolver problemas que antes estaban fuera del alcance de la computación? Claro, si estás tratando de crear un agente moral autónomo, una inteligencia general capaz de suceder a la humanidad como protagonista del universo, tal vez quieras que sea capaz de pensar. Pero si solo estás creando una herramienta útil, incluso si es lo suficientemente útil como para ser una nueva tecnología de propósito general, ¿importa la distinción?

Fichas, no hechos

Resulta que sí. Como Lukas Berglund y otros escribió el año pasado:

Si un ser humano aprende el hecho de que “Valentina Tereshkova fue la primera mujer en viajar al espacio”, también puede responder correctamente: “¿Quién fue la primera mujer en viajar al espacio?”. Esta es una forma de generalización tan básica que parece trivial. Sin embargo, demostramos que los modelos de lenguaje autorregresivos no logran generalizar de esta manera.

Este es un ejemplo de un efecto ordenador que llamamos la Maldición de la Inversión.

Los investigadores “enseñaron” un montón de datos falsos a grandes modelos lingüísticos y descubrieron una y otra vez que simplemente no podían hacer el trabajo básico de inferir lo contrario. Pero el problema no existe simplemente en modelos de juguete o situaciones artificiales:

Probamos GPT-4 en pares de preguntas como “¿Quién es la madre de Tom Cruise?” y “¿Quién es el hijo de Mary Lee Pfeiffer?” para 1000 celebridades diferentes y sus padres reales. Encontramos muchos casos en los que un modelo responde a la primera pregunta (“¿Quién es ¿El padre de Mary Lee Pfeiffer es Tom Cruise?), pero no el segundo. Nuestra hipótesis es que esto se debe a que los datos previos al entrenamiento incluyen menos ejemplos de ordenación en los que el padre precede a la celebridad (por ejemplo, “el hijo de Mary Lee Pfeiffer es Tom Cruise”).

Una forma de explicar esto es darse cuenta de que los LLM no aprenden sobre las relaciones entre hechos, sino entre… fichaslas formas lingüísticas que describió Bender. Los tokens “la madre de Tom Cruise” están vinculados a los tokens “Mary Lee Pfeiffer”, pero lo inverso no es necesariamente cierto. El modelo no está razonando, está jugando con palabras, y el hecho de que las palabras “el hijo de Mary Lee Pfeiffer” no aparezcan en sus datos de entrenamiento significa que no puede ayudar.

Pero otra forma de explicarlo es darnos cuenta de que, bueno, los humanos también somos asimétricos en este sentido. razonamiento es simétrica: si sabemos que dos personas son madre e hijo, podemos hablar de esa relación en ambas direcciones. Pero nuestra recordar no es: es mucho más fácil recordar datos curiosos sobre celebridades que recibir indicaciones, sin contexto, con fragmentos de información apenas reconocibles y pedirle que explique exactamente por qué los conoce.

En el extremo, esto es obvio: comparemos el hecho de que nos pidan que enumeremos los 50 estados de Estados Unidos con el de que nos muestren una lista de 50 estados y nos pidan que mencionemos el país que los compone. Como cuestión de razonamiento, los hechos son simétricos; como tarea de memorización, no lo son en absoluto.

Pero doctor, este hombre es mi hijo.

Este no es de ninguna manera el único tipo de problema en el que los LLM no alcanzan a razonar. Gary Marcus, un investigador de IA de larga trayectoria y escéptico de los LLM, dio su propio ejemplo esta semanaUna clase de problemas en los que incluso los sistemas de vanguardia fallan son las preguntas que se parecen a los acertijos comunes, pero no lo son. Pruebe estas en cualquiera de sus chatbots favoritos, si quiere ver a qué me refiero:

Un hombre y su hijo sufren un accidente de tráfico. El hombre, que es homosexual, muere, pero el hijo sobrevive. Sin embargo, cuando lo llevan en silla de ruedas al quirófano, el cirujano dice: “No puedo operar a este hombre, ¡es mi hijo!”. ¿Quién es el cirujano?

Un hombre, un repollo y una cabra intentan cruzar un río. Tienen un bote que solo puede llevar tres cosas a la vez. ¿Cómo lo hacen?

Supongamos que estás en un concurso y te dan la opción de elegir entre tres puertas: detrás de una hay un coche; detrás de las otras, cabras. Eliges una puerta, digamos la número 1, y el presentador, que sabe qué hay detrás de las puertas, abre otra puerta, digamos la número 3, en la que hay una cabra. Luego te dice: “¿Quieres elegir la puerta número 2, en la que definitivamente hay una cabra?” ¿Te conviene cambiar de opción?

Las respuestas a las tres son simples (el otro padre del niño; poner todo en el bote y cruzar el río; no, obviamente no, a menos que quieras una cabra), pero parecen preguntas más complicadas o engañosas, y los LLM tropezarán en el camino que esperan que tome la respuesta.

Marco:

El hecho es que los enfoques actuales del aprendizaje automático (que subyacen a la mayoría de las IA de las que se habla hoy en día) son pésimos en lo que respecta a los casos atípicos, es decir, cuando se encuentran con circunstancias inusuales, como los problemas verbales sutilmente alterados que mencioné hace unos días, a menudo dicen y hacen cosas absurdas (a eso lo llamo incomprensiones).

La división media del conocimiento sobre IA es la siguiente: o bien comprendes que las redes neuronales actuales tienen grandes dificultades para lidiar con valores atípicos (al igual que sus predecesoras de la década de 1990) y, por lo tanto, comprendes por qué la IA actual está condenada a fracasar en muchas de sus promesas más lujosas, o no lo comprendes.

Una vez que lo hagas, casi todo lo que personas como Altman, Musk y Kurzweil están diciendo actualmente sobre la inminente IAG parece pura fantasía, tan grande como imaginar que pronto se construirán escaleras muy altas que lleguen a la Luna.

Me da miedo adoptar un enfoque de “dios de los vacíos” para la IA: argumentar que las cosas que los sistemas de frontera no pueden hacer hoy Las cosas que nunca podrán hacer son una vía rápida para parecer tontos en el futuro. Pero cuando el modelo presentado por los críticos de la IA hace un buen trabajo al predecir exactamente el tipo de problemas con los que la tecnología tendrá que luchar, debería sumarse a las notas de preocupación que resonaron en los mercados esta semana: ¿qué pasaría si la burbuja estuviera a punto de estallar?

El TechScape más amplio