Es útil que la última IA pueda “pensar”, pero necesitamos conocer su razonamiento | John Naughton

IHan pasado casi dos años desde que OpenAI lanzó ChatGPT en un mundo desprevenido, y el mundo, seguido de cerca por el mercado de valores, perdió la cabeza. Por todas partes, la gente se retorcía las manos preguntándose: Qué significará esto para (ingrese ocupación, industria, negocio, institución).

Dentro del mundo académico, por ejemplo, los profesores de humanidades se preguntaban cómo podrían en adelante calificar ensayos si los estudiantes usaran ChatGPT o tecnología similar para ayudar a escribirlos. La respuesta, por supuesto, es encontrar mejores formas de calificar, porque los estudiantes usarán estas herramientas por la sencilla razón de que sería una idiotez no hacerlo, del mismo modo que sería una tontería hacer presupuestos sin hojas de cálculo. Pero las universidades son bestias que se mueven lentamente y, mientras escribo, hay comités en muchas torres de marfil que intentan solemnemente formular “políticas sobre el uso de la IA”.

Sin embargo, mientras deliberan, los crueles aguafiestas en OpenAI han desatado otro enigma para el mundo académico: un nuevo tipo de modelo de lenguaje grande (LLM) que, supuestamente, puede hacer “razonamiento”. Lo han bautizado como OpenAI o1, pero como internamente se conocía como Strawberry nos quedaremos con eso. La empresa lo describe como el primero de “una nueva serie de modelos de IA diseñados para dedicar más tiempo a pensar antes de responder”. “Pueden razonar a través de tareas complejas y resolver problemas más difíciles que los modelos anteriores en ciencia, codificación y matemáticas”.

En cierto modo, Strawberry y sus próximos primos son una respuesta a las estrategias que los usuarios capacitados de LLM anteriores habían implementado para superar el hecho de que los modelos eran intrínsecamente “LLM de una sola vez” – solicitado con un solo ejemplo para generar respuestas o realizar tareas. El truco que usaron los investigadores mejorar el rendimiento del modelo se denominó estimulación de “cadena de pensamiento”. Esto obligó al modelo a responder a una secuencia cuidadosamente diseñada de indicaciones detalladas y, por tanto, a proporcionar respuestas más sofisticadas. Lo que OpenAI parece haber hecho con Strawberry es interiorizar este proceso.

Entonces, mientras que con modelos anteriores como GPT-4 o Claude, uno les daba un aviso y respondían rápidamente, con Strawberry un aviso generalmente produce un retraso mientras la máquina “pensaba” un poco. Esto implica un proceso interno de generación de una serie de respuestas posibles que luego se someten a algún tipo de evaluación, tras lo cual se elige la que se considera más plausible y se proporciona al usuario.

Como lo describe OpenAIStrawberry “aprende a perfeccionar su cadena de pensamiento y refinar las estrategias que utiliza. Aprende a reconocer y corregir sus errores. Aprende a dividir los pasos complicados en otros más simples. Aprende a probar un enfoque diferente cuando el actual no funciona. Este proceso mejora drásticamente la capacidad de razonamiento del modelo”.

Lo que esto significa es que en algún lugar dentro de la máquina hay un registro de la “cadena de pensamiento” que condujo al resultado final. En principio, esto parece un avance porque podría reducir la opacidad de los LLM (el hecho de que son, esencialmente, cajas negras). Y esto importa, porque la humanidad estaría loca si confiara su futuro a máquinas de toma de decisiones cuyos procesos internos son –por accidente o por diseño corporativo– inescrutables. Sin embargo, es frustrante que OpenAI se muestre reacio a permitir que los usuarios vean el interior de la caja. “Hemos decidido” dice“no mostrar las cadenas de pensamiento crudas a los usuarios. Reconocemos que esta decisión tiene desventajas. Nos esforzamos por compensarlo parcialmente enseñándole al modelo a reproducir cualquier idea útil de la cadena de pensamiento en la respuesta”. Traducción: La caja de Strawberry tiene un tono de negro ligeramente más claro.

El nuevo modelo ha llamado mucho la atención porque la idea de una máquina “razonadora” huele a progreso hacia máquinas más “inteligentes”. Pero, como siempre, todos estos términos cargados deben ser desinfectados entre comillas para que no antropomorficemos las máquinas. Todavía son sólo computadoras. Sin embargo, algunas personas se han asustado por algunas de las cosas inesperadas de las que Strawberry parece capaz de hacer.

De estos, el más interesante se proporcionó durante las pruebas internas del modelo por parte de OpenAI, cuando se exploraba su capacidad para piratear computadoras. Los investigadores le pidieron que pirateara un archivo protegido e informara sobre su contenido. Pero los diseñadores de la prueba cometieron un error: intentaron poner Strawberry en una caja virtual con el archivo protegido, pero no se dieron cuenta de que el archivo era inaccesible.

De acuerdo a su informehabiendo encontrado el problema, Strawberry inspeccionó la computadora utilizada en el experimento, descubrió un error en una parte mal configurada del sistema a la que no debería haber podido acceder, editó cómo funcionaban las cajas virtuales y creó una nueva caja con los archivos que necesitaba. En otras palabras, hizo lo que habría hecho cualquier hacker humano ingenioso: habiendo encontrado un problema (creado por un error humano), exploró su entorno de software para encontrar una solución y luego tomó las medidas necesarias para realizar la tarea. había sido fijado. Y dejó una huella que explicaba su razonamiento.

O, dicho de otro modo, utilizó su iniciativa. Como un humano. Podríamos usar más máquinas como esta.

lo que he estado leyendo

Retórica cuestionada
El peligro de la IA sobrehumana no es lo que piensas es un artículo fabuloso de Shannon Vallor en Noviembre revista sobre la siniestra barbarie de una industria tecnológica que habla de sus creaciones como “sobrehumanas”.

Adivina de nuevo
Benedict Evans ha escrito un artículo elegante, Hacer las preguntas equivocadasargumentando que no nos equivocamos tanto en nuestras predicciones sobre la tecnología como en las que hacemos predicciones sobre cosas equivocadas.

al borde
El aleccionador ensayo Substack del historiador Timothy Snyder sobre nuestras elecciones con respecto a Ucrania, Ser o no ser.