El cambio de OpenAI a una empresa con fines de lucro puede llevarla a tomar atajos, dice un denunciante | AbiertoAI

El plan de OpenAI de convertirse en una empresa con fines de lucro podría alentar a la startup de inteligencia artificial a tomar atajos en materia de seguridad, advirtió un denunciante.

William Saunders, ex ingeniero de investigación de OpenAI, dijo a The Guardian que estaba preocupado por los informes de que el desarrollador de ChatGPT se está preparando para cambiar su estructura corporativa y ya no estará controlado por su junta sin fines de lucro.

Saunders, quien expresó sus preocupaciones en testimonio ante el senado de estados unidos este mes, dijo que también estaba preocupado por los informes de que el director ejecutivo de OpenAI, Sam Altman, podría tener una participación en el negocio reestructurado.

“Lo que más me preocupa es lo que esto significa para la gobernanza de las decisiones de seguridad en OpenAI”, dijo. “Si la junta directiva de la organización sin fines de lucro ya no tiene el control de estas decisiones y Sam Altman tiene una participación accionaria significativa, esto crea más incentivos para competir y tomar atajos”.

OpenAI se fundó como una entidad sin fines de lucro y su carta compromete a la startup a construir inteligencia artificial general (AGI), que describe como “sistemas que son generalmente más inteligentes que los humanos”, que beneficie a “toda la humanidad”. Sin embargo, el poder potencial de un sistema AGI ha alarmado a expertos y profesionales, incluido Saunders, en medio de temores de que la carrera competitiva para construir dicha tecnología pueda llevar a que se anulen las preocupaciones de seguridad.

Saunders dijo en testimonio escrito ante el Senado que dejó la empresa. porque “perdió la fe” que OpenAI tomaría decisiones responsables sobre AGI. Saunders era miembro del equipo de superalineación de OpenAI, un grupo ahora disuelto encargado de garantizar que los potentes sistemas de IA se adhieran a los valores y objetivos humanos.

Saunders ha dicho ahora que un cambio a una entidad con fines de lucro podría socavar los objetivos de la estructura vigente ahora, en el que OpenAI tiene una entidad con fines de lucro que limita los retornos para los inversores y empleados. Todas las ganancias generadas por encima de ese límite se devuelven a la organización sin fines de lucro para “el beneficio de la humanidad”.

Saunders dijo que una entidad puramente lucrativa no puede distribuir sus ganancias a la sociedad si, por ejemplo, desarrolló tecnología que dejó obsoletos un número significativo de empleos.

“Se suponía que OpenAI solo permitiría ganancias limitadas para inversores y empleados, y daría el resto a organizaciones sin fines de lucro”, dijo. “Entonces, si OpenAI creara una tecnología de inteligencia artificial que causara desempleo a gran escala, no se estarían quedando con las ganancias ellos mismos y retribuirían a la sociedad. Cambiar a una organización con fines de lucro sugiere que esto ya no es una prioridad”.

Se ha contactado a OpenAI para hacer comentarios. Sus estatutos establecen que la empresa está “comprometida a realizar la investigación necesaria para que AGI sea seguro” y recientemente hizo su comité de seguridad y protección una entidad independientelo que también implicó que Altman dimitiera como uno de sus miembros.

Según se informa, OpenAI está considerando reestructurarse como una corporación de beneficio público, que no tiene límite en sus ganancias pero está comprometida a generar un impacto positivo en la sociedad. Reuters también informó esta semana que la entidad sin fines de lucro tendría una participación en el nuevo negocio.

OpenAI se negó a comentar sobre los detalles de la reestructuración, pero dijo que la organización sin fines de lucro continuaría existiendo. En un comunicado emitido el jueves, el presidente de OpenAI, Bret Taylor, dijo que la junta había discutido darle a Altman una participación en el negocio, pero no se habían discutido cifras específicas. Se ha informado que a Altman se le puede dar una participación del 7% en OpenAI, que busca 6.500 millones de dólares de inversión en recaudación de fondos que podrían llevar a su valor a 150.000 millones de dólares.

“La junta ha discutido si sería beneficioso para la compañía y nuestra misión que Sam fuera compensado con acciones, pero no se han discutido cifras específicas ni se ha tomado ninguna decisión”, dijo.