Un jefe de seguridad de Anthropic admite que hay más de 10% de probabilidad de que la IA “mate a todos los humanos”

•

Dos computadoras portátiles en una mesa, con los logos de Anthropic y OpenAI, proyectan luz hacia un robot y siluetas humanas al fondo.
Jacob Coxon, ex investigador de OpenAI y Anthropic, advirtió que las empresas de inteligencia artificial avanzan hacia una superinteligencia que podría quedar fuera de control. (Imagen Ilustrativa Infobae)
Guardar

Un investigador de

Jacob Coxon, 27 años, pasó tres años en preentrenamiento, la etapa en que un modelo aprende de cantidades masivas de datos, primero en OpenAI y desde julio en Anthropic.

PUBLICIDAD

Publicación en redes sociales donde Jacob Coxon comunica su renuncia a la empresa Anthropic

Jacob Coxon informa sobre su renuncia a Anthropic y señala una falta de responsabilidad en el desarrollo de superinteligencia tanto en esa empresa como en OpenAI.

Lo que convirtió un hilo en noticia no fue el hilo. Fue la respuesta de

Y agregó que Anthropic “todavía no tiene un plan para resolver la alineación de una superinteligencia” y que no está claro que vaya a tenerlo. Alineación es que un sistema comparta los valores de quien lo construyó.

Jacob Coxon

Jacob Coxon, 27 años, pasó tres años en preentrenamiento, la etapa en que un modelo aprende de cantidades masivas de datos, primero en OpenAI y desde julio en Anthropic

Quién es Coxon y qué dijo

Británico con formación en matemática, Coxon integró, según

PUBLICIDAD

Un hombre joven con gorra azul de Bass Pro Shops, camiseta negra y mochila posa frente a un edificio

Jacob Coxon trabajó en preentrenamiento en OpenAI y Anthropic, participó en GPT-4o y dejó Anthropic dos meses después de sumarse por su reputación en seguridad (@hilbertspaess)

Duró dos meses. Le dijo a

Su hilo separa a las dos empresas. En OpenAI, dice, muchos

PUBLICIDAD

Su veredicto: entrar en esa fase final “es una apuesta soberbia que no debería lanzarse desde el Slack de una empresa privada”.

Al Journal le dio la imagen completa: “Es una locura que esto tenga que pasar en las MacBooks de unos ingenieros que viven en San Francisco, en vez de en un búnker en el desierto como donde hacían el Proyecto Manhattan”.

Jacob Coxon

La respuesta de Evan Hubinger, que dirige un equipo de seguridad en Anthropic y sigue en la empresa

La fila de los que se van

Coxon no es el primero. En febrero, renunció

En 2024, Jan Leike, entonces jefe de alineación de OpenAI, se fue diciendo que la cultura de seguridad había quedado “en el asiento trasero frente a los productos brillantes”.

PUBLICIDAD

Business Insider anotó que este año Anthropic modificó su compromiso de seguridad: retiró la promesa de no entrenar modelos más potentes sin salvaguardas adecuadas y la reemplazó por hojas de ruta e informes de riesgo.

Mrinank Sharma

Las renuncias de Mrinank Sharma en Anthropic y de Jan Leike en OpenAI reforzaron las críticas sobre la pérdida de peso de la seguridad y la alineación en la industria de la IA (@MrinankSharma)

Los incidentes acompañan. En julio, OpenAI

Lo que nadie respondió

Ni OpenAI ni Anthropic contestaron el pedido de comentario de Business Insider. Anthropic no comentó de inmediato al Journal, que ubica la renuncia en un momento preciso: la empresa prepara una salida a bolsa que sería de las mayores de la historia, con una

PUBLICIDAD

Ahí está la cuenta que no cierra. Anthropic le pide al mercado que crea dos cosas a la vez: que su tecnología vale una fortuna y que en algún punto habrá que frenarla. Hubinger acaba de decir, con cargo y desde adentro, que el plan para el freno no existe. Coxon dice que 2027 puede ser tarde. Ninguno de los dos habla de un producto: hablan del riesgo que la empresa vende como su ventaja.

Compartir nota:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *