Una startup británica de inteligencia artificial con vínculos gubernamentales está desarrollando tecnología para drones militares | Inteligencia artificial (IA)

Una empresa que ha trabajado estrechamente con el gobierno del Reino Unido en materia de seguridad de la inteligencia artificial, el NHS y la educación también está desarrollando IA para drones militares.

La consultora Faculty AI tiene “experiencia en el desarrollo y despliegue de modelos de IA en UAV”, o vehículos aéreos no tripulados, según una empresa asociada de la industria de defensa.

La facultad se ha convertido en una de las empresas más activas en la venta de servicios de inteligencia artificial en el Reino Unido. A diferencia de empresas como OpenAI, Deepmind o Anthropic, no desarrolla modelos por sí misma, sino que se centra en la reventa de modelos, especialmente de OpenAI, y asesora sobre su uso en el gobierno y la industria.

Los profesores ganaron especial prominencia en el Reino Unido después de trabajar en el análisis de datos para la campaña Vote Leave antes de la votación del Brexit. El exasesor de Boris Johnson, Dominic Cummings, entregó trabajo gubernamental a la facultad durante la pandemia e incluyó a su director ejecutivo, Marc Warner, en las reuniones del panel asesor científico del gobierno.

Desde entonces, la empresa, oficialmente llamada Faculty Science, ha llevado a cabo pruebas de modelos de IA para el Instituto de Seguridad de IA (AISI) del gobierno del Reino Unido, creado en 2023 durante el gobierno del ex primer ministro Rishi Sunak.

Los gobiernos de todo el mundo se apresuran a comprender las implicaciones de seguridad de la inteligencia artificial, después de que las rápidas mejoras en la IA generativa provocaron una ola de exageración en torno a sus posibilidades.

Las compañías de armas están interesadas en poner IA en drones, que van desde “compañeros leales” que podrían volar junto a aviones de combate, hasta municiones merodeadoras que ya son capaces de esperar a que aparezcan objetivos antes de dispararles.

Los últimos avances tecnológicos han planteado la posibilidad de que existan drones que puedan rastrear y matar sin que un humano “al tanto” tome la decisión final.

en un presione soltar Al anunciar una asociación con Faculty, con sede en Londres, la startup británica Hadean escribió que las dos compañías están trabajando juntas en “identificación de sujetos, seguimiento del movimiento de objetos y exploración del desarrollo, despliegue y operaciones de enjambres autónomos”.

Se entiende que el trabajo de la Facultad con Hadean no incluyó ataques con armas. Sin embargo, la Facultad no respondió a las preguntas sobre si estaba trabajando en drones capaces de aplicar fuerza letal, ni dio más detalles sobre su trabajo de defensa, citando acuerdos de confidencialidad.

Un portavoz de la Facultad dijo: “Ayudamos a desarrollar nuevos modelos de IA que ayudarán a nuestros socios de defensa a crear soluciones más seguras y sólidas”, y agregó que tiene “políticas éticas y procesos internos rigurosos” y sigue las pautas éticas sobre IA del Ministerio de Defensa.

El portavoz dijo que la facultad tiene una década de experiencia en seguridad de la IA, incluso en la lucha contra el abuso sexual infantil y el terrorismo.

Scott Trust, el propietario final de The Guardian, es un inversor en Mercuri VC, anteriormente GMG Ventures, que es un accionista minoritario de Faculty.

“Hemos trabajado en la seguridad de la IA durante una década y somos expertos líderes a nivel mundial en este campo”, afirmó el portavoz. “Es por eso que los gobiernos y los desarrolladores de modelos confían en nosotros para garantizar que la IA fronteriza sea segura, y los clientes de defensa para aplicar la IA de manera ética para ayudar a mantener seguros a los ciudadanos”.

Muchos expertos y políticos han pedido cautela antes de introducir más tecnologías autónomas en el ejército. En 2023, un comité de la Cámara de los Lores pidió al gobierno del Reino Unido que intentara establecer un tratado o acuerdo no vinculante para aclarar la aplicación del derecho internacional humanitario en lo que respecta a los drones letales. En septiembre, el Partido Verde pidió leyes que prohibieran completamente los sistemas de armas letales autónomas.

Los profesores continúan trabajando en estrecha colaboración con el AISI, lo que lo coloca en una posición en la que sus juicios podrían influir en la política del gobierno del Reino Unido.

En noviembre, el AISI contrató a la facultad para investigar cómo los grandes modelos de lenguaje “se utilizan para ayudar en comportamientos delictivos o indeseables”. La AISI dijo que el ganador del contrato, la Facultad, “será un importante colaborador estratégico del equipo de salvaguardias de AISI, contribuyendo directamente con información clave a los modelos de seguridad del sistema de AISI”.

La empresa trabaja directamente con OpenAI, la startup que inició la última ola de entusiasmo por la IA, para utilizar su modelo ChatGPT. Los expertos han expresado anteriormente su preocupación por un posible conflicto de trabajo en el trabajo que la Facultad ha realizado con AISI, según Politico, un sitio web de noticias. La facultad no detalló qué modelos de empresas había probado, aunque probó el modelo o1 de OpenAI antes de su lanzamiento.

El gobierno ha dicho anteriormente sobre el trabajo de la Facultad de AI para AISI: “Lo más importante es que no entren en conflicto por el desarrollo de su propio modelo”.

Natalie Bennett, parlamentaria del Partido Verde, dijo: “El Partido Verde ha expresado durante mucho tiempo su grave preocupación por la 'puerta giratoria' entre la industria y el gobierno, planteando cuestiones que van desde el personal de las compañías de gas adscrito para trabajar en política energética hasta los ex ministros de defensa que van a trabajar para empresas armamentísticas.

“Que una sola empresa haya aceptado una gran cantidad de contratos gubernamentales para trabajar en IA y al mismo tiempo trabaje con el Instituto de Seguridad de IA para probar grandes modelos de lenguaje es una preocupación seria; no tanto como 'cazador furtivo convertido en guardabosques' sino desempeñando ambos roles. al mismo tiempo.”

Bennett también destacó que el gobierno del Reino Unido “aún tiene que asumir un compromiso total” para garantizar que haya un ser humano al tanto de los sistemas de armas autónomos, como recomendó el Comité de los Lores.

La facultad, cuyo mayor accionista es un holding registrado en Guernsey, también ha tratado de cultivar vínculos estrechos con todo el gobierno del Reino Unido, obteniendo contratos por valor de al menos £26,6 millones, según revelaciones del gobierno. Entre ellos se incluyen contratos con el NHS, el Departamento de Salud y Atención Social, el Departamento de Educación y el Departamento de Cultura, Medios y Deportes.

Esos contratos representan una importante fuente de ingresos para una empresa que realizó ventas por valor de 32 millones de libras esterlinas en el año hasta el 31 de marzo. Perdí 4,4 millones de libras esterlinas durante ese período.

Albert Sánchez-Graells, profesor de derecho económico en la Universidad de Bristol, advirtió que el Reino Unido depende del “autocontrol y la responsabilidad de las empresas tecnológicas en el desarrollo de la IA”.

“Las empresas que apoyan el trabajo de AISI deben evitar conflictos de intereses organizacionales que surjan de su trabajo para otras partes del gobierno y negocios de IA más amplios basados ​​en el mercado”, dijo Sánchez-Graells.

“Las empresas con carteras tan amplias de actividades de IA como la Facultad tienen preguntas que responder sobre cómo garantizan que su asesoramiento a AISI sea independiente e imparcial, y cómo evitan aprovechar ese conocimiento en sus otras actividades”.

El Departamento de Ciencia, Innovación y Tecnología declinó hacer comentarios, diciendo que no entraría en detalles sobre contratos comerciales individuales.