REUTERS/Kylie Cooper
En las últimas semanas, la seguridad y la alineación en el desarrollo de inteligencia artificial volvieron al centro del debate tras dos episodios claves:
Ambos sucesos, junto con los avances internos en investigación, llevaron a OpenAI a anunciar, a través de una entrada en su blog y
PUBLICIDAD
Pausa en el desarrollo de modelos avanzados de IA por razones de seguridad
La decisión de
REUTERS/Anna Rose Layden
Según se detalla en el blog oficial de OpenAI, el desarrollo de modelos cada vez más sofisticados implica también un aumento de los riesgos asociados, lo que obliga a anticipar posibles escenarios problemáticos mediante la mejora constante de los sistemas de monitoreo y contención.
PUBLICIDAD
OpenAI explica que, ante la posibilidad de que uno de sus nuevos modelos, Astra, supere el umbral crítico de ciberseguridad establecido en su propio Marco de Preparación,
Esta medida incluyó el refuerzo y pruebas en los entornos de investigación, así como la ampliación de la cobertura de los sistemas de monitoreo. Además, la empresa mantiene en suspenso su mayor ejecución planificada de entrenamiento por refuerzo, priorizando entrenamientos y evaluaciones a menor escala para validar la seguridad y la alineación de los modelos antes de continuar con escalados mayores.
PUBLICIDAD
REUTERS/Dado Ruvic
El objetivo de estas pausas y revisiones es garantizar que los sistemas de IA se comporten según lo previsto, un proceso conocido como alineación, y que
La compañía considera que mantener alineados sistemas cada vez más capaces representa un desafío sectorial, y subraya que las señales observadas en el desarrollo de modelos futuros hacen necesaria una ampliación de su Marco de Preparación.
PUBLICIDAD
En palabras del propio blog de OpenAI,
REUTERS/Kim Kyung-Hoon
Seguridad y alineación: desafíos del avance acelerado en IA
El avance en las capacidades de los modelos de
PUBLICIDAD
OpenAI señala que la alineación ha sido históricamente el eje central de su investigación, pero que la creciente potencia de los sistemas exige pruebas más sólidas y sostenidas a lo largo de todo el proceso de entrenamiento.
La compañía afirma que es fundamental ser transparentes respecto a la evolución de su enfoque y detalla cambios ya implementados en sus procesos e infraestructura, así como trabajos aún en curso. Una de sus advertencias es clara: mantener alineados los sistemas avanzados será una tarea cada vez más compleja, que requerirá la colaboración de todo el sector y la extensión de los marcos de seguridad existentes.
PUBLICIDAD
REUTERS/Anna Rose Layden
Declaraciones de Sam Altman sobre la seguridad de la IA y las medidas adoptadas
El CEO de OpenAI,
Altman explicó que el progreso de los modelos de IA es “extremadamente rápido”, y reiteró que OpenAI siempre ha sostenido su compromiso de actuar si percibía que las capacidades tecnológicas avanzaban a un ritmo mayor que el de la seguridad y la alineación.
PUBLICIDAD
El directivo destacó también el valor que la organización otorga a la seguridad de la IA, señalando que “todo el campo tendrá que coordinarse en estándares de seguridad compartidos, pero actuaremos de manera unilateral en el ínterin”.
REUTERS/Dado Ruvic
En un mensaje dirigido tanto a la industria como al público general, Altman expresó que espera que “la confianza en la seguridad establezca cada vez más el ritmo del progreso de la IA”.
PUBLICIDAD
Además, manifestó optimismo sobre los trabajos de alineación que se están realizando y ratificó el compromiso de
Compartir nota:
Deja una respuesta