Nada tiene tanto éxito como el éxito, pero en Silicon Valley nada llama más la atención que un goteo constante que sale por la puerta.
La salida de la directora de tecnología de OpenAI, Mira Murati, anunciada el 25 de septiembre, ha hecho que en Silicon Valley se diga que no todo está bien en Altmanland, especialmente porque las fuentes dicen que se fue porque había renunciado a intentar reformar o frenar la empresa. dentro de. A Murati se unieron en su salida de la empresa de alto vuelo dos mentes científicas destacadas, el director de investigación Bob McGrew y el investigador Barret Zoph (quien ayudó a desarrollar ChatGPT). Todos se van sin ninguna oportunidad conocida de inmediato.
El drama es a la vez personal y filosófico, y llega al corazón de cómo se configurará la era de la inteligencia artificial.
Se remonta a noviembre, cuando una mezcla de Sam Altman supuestamente ardilla estilo de gestión y preguntas de seguridad sobre un proyecto ultrasecreto llamado Q* (posteriormente rebautizado como Strawberry y lanzado el mes pasado como o1) llevó a algunos miembros de la junta directiva a intentar destituir al cofundador. Lo consiguieron, pero sólo durante unos días. El rostro del movimiento de IA, de 39 años, pudo recuperar el control de su animada empresa, gracias en gran parte a Microsoft de Satya Nadella, que posee el 49 por ciento de OpenAI y no quería que Altman se fuera a ninguna parte.
La junta directiva se modificó para que fuera más favorable a Altman y varios directores que se oponían a él fueron obligados a dimitir. Un alto ejecutivo que desconfía de sus motivos, el cofundador y director científico de OpenAI, Ilya Sutskever, también acabaría por marcharse. El propio Sutskever estaba preocupado por el “aceleracionismo” de Altman: la idea de seguir adelante con el desarrollo de la IA a cualquier precio. Sutskever se fue en mayo, aunque lo cuenta una persona que lo conoce El reportero de Hollywood efectivamente había dejado de participar en la empresa después del fallido golpe de noviembre. (Sutskever más que aterrizó de pie, simplemente recaudó mil millones de dólares para una nueva empresa de seguridad de IA).
Sutskever y otro miembro del personal de alto nivel, Jan Leike, habían dirigido un equipo de “superalineación” encargado de pronosticar y evitar peligros. leike izquierda al mismo tiempo que Sutskever, y el equipo se disolvió. Como varios otros empleadosDesde entonces, Leike se ha unido a Anthropic, el rival de OpenAI que se considera más consciente de la seguridad.
Murati, McGrew y Zoph son las últimas fichas de dominó en caer. Murati también había estado preocupado por la seguridad, una forma abreviada de la industria de la idea de que los nuevos modelos de IA pueden plantear riesgos a corto plazo, como sesgos ocultos, y peligros a largo plazo, como los escenarios de Skynet, y por lo tanto deberían someterse a pruebas más rigurosas. (Esto se considera particularmente probable con el logro de la inteligencia artificial general, o AGI, la capacidad de una máquina para resolver problemas tan bien como la de un ser humano, que podría alcanzarse en tan solo 1 o 2 años).
Pero a diferencia de Sutskever, después del drama de noviembre, Murati decidió quedarse en la compañía en parte para tratar de frenar los esfuerzos aceleracionistas de Altman y del presidente Greg Brockman desde dentro, según una persona familiarizada con el funcionamiento de OpenAI que pidió no ser identificada porque no estaban autorizados a hablar sobre la situación.
No está claro qué llevó a Murati al límite, pero el lanzamiento de o1 el mes pasado puede haber contribuido a su decisión. El producto representa un nuevo enfoque que apunta no sólo a sintetizar información como lo hacen muchos grandes modelos de lenguaje actuales (“reescribir el discurso de Gettysburg como una canción de Taylor Swift”) sino también a razonar problemas matemáticos y de codificación como un ser humano. Quienes se preocupan por la seguridad de la IA han instado a que se realicen más pruebas y se establezcan barreras de seguridad antes de que dichos productos se lancen al público.
El llamativo lanzamiento del producto también se produce al mismo tiempo, y en cierto sentido en parte como resultado, de OpenAI. transición completa a una empresa con fines de lucrosin supervisión de una organización sin fines de lucro y con un director ejecutivo en Altman que tendrá capital como cualquier otro fundador. Ese cambio, que también conduce al aceleracionismo, también preocupó a muchos de los ejecutivos salientes, incluido Murati, dijo la persona.
Murad dicho en una publicación X que “este momento se siente bien” para alejarse.
La preocupación ha crecido tanto que algunos ex empleados están haciendo sonar la alarma en los espacios públicos más destacados. El mes pasado, William Saunders, un ex miembro del personal técnico de OpenAI, testificó ante el Comité Judicial del Senado que dejó la compañía porque vio que se avecinaba un desastre global si OpenAI seguía en su camino actual.
“La AGI provocaría cambios significativos en la sociedad, incluidos cambios radicales en la economía y el empleo. AGI también podría causar el riesgo de daños catastróficos a través de sistemas que realizan ciberataques de forma autónoma o ayudan en la creación de nuevas armas biológicas”, afirmó. dijo a los legisladores. “Nadie sabe cómo garantizar que los sistemas AGI sean seguros y estén controlados… OpenAI dirá que están mejorando. Yo y otros empleados que dimitieron dudamos que estén listos a tiempo”. Un portavoz de OpenAI no respondió a una solicitud de comentarios.
Fundada como una organización sin fines de lucro en 2015, “colaboraremos libremente con otros en muchas instituciones y esperamos trabajar con empresas para investigar e implementar nuevas tecnologías”, decía su declaración de misión, OpenAI lanzó una subsidiaria con fines de lucro en 2019. Pero ha hasta ahora todavía estaba controlado por la junta directiva de la fundación sin fines de lucro. La decisión de eliminar la supervisión de las organizaciones sin fines de lucro le da a la empresa más libertad (e incentivo) para acelerar el desarrollo de nuevos productos y, al mismo tiempo, hacerla potencialmente más atractiva para los inversores.
Y la inversión es crucial: una New York Times informe encontró que OpenAI podría perder 5 mil millones de dólares este año. (El costo de ambos chips y la energía necesaria para ejecutarlos son extremadamente altos). El miércoles, la empresa anunciado una nueva ronda de capital de partes como Microsoft y el fabricante de chips Nvidia por un total de unos 6.600 millones de dólares.
OpenAI también debe cerrar costosos acuerdos de licencia con editores como demandas desde Veces y otros inhiben la capacidad de la empresa para entrenar libremente sus modelos en el contenido de esos editores.
Las medidas de OpenAI están haciendo reflexionar a los organismos de control de la industria. “El cambio a una organización con fines de lucro solidificó lo que ya estaba claro: la mayor parte de lo que se hablaba sobre seguridad probablemente era sólo palabrería”, dijo Gary Marcus, un veterano experto en inteligencia artificial y autor del libro recién publicado. Domar Silicon Valley: cómo podemos garantizar que la IA funcione para nosotrosdice THR. “La empresa está interesada en ganar dinero y no tener controles ni contrapesos que garanticen su seguridad”.
OpenAI tiene un historial de lanzar productos antes de que la industria crea que están listos. El propio ChatGPT conmocionó a la industria tecnológica cuando salió a la venta en noviembre de 2022; Los rivales de Google que habían estado trabajando en un producto similar pensaron que ninguno de los últimos LLM estaba listo para el horario de máxima audiencia.
Queda por ver si OpenAI podría seguir innovando a este ritmo dada la fuga de cerebros de la semana pasada.
Tal vez para distraer la atención del drama y tranquilizar a los escépticos, Altman publicó una rara publicación en su blog personal la semana pasada en la que postula que la “superinteligencia” (la idea de gran alcance de que las máquinas pueden llegar a ser tan poderosas que pueden hacer todo mucho mejor que los humanos) podría suceder tan pronto como sea posible. como a principios de la década de 2030. “Los triunfos asombrosos (arreglar el clima, establecer una colonia espacial y el descubrimiento de toda la física) eventualmente se convertirán en algo común”, afirmó. escribió. Irónicamente, pudo haber sido exactamente esa conversación la que hizo que Sutskever y Murati se dirigieran hacia la puerta.
