La sociedad dicta que el riesgo aceptable de una
Los líderes de la IA se encuentran inmersos en una carrera de la que se sienten incapaces de escapar. Se prevé que las inversiones en IA superen en cien veces el gasto del Proyecto Manhattan, incluso ajustando por la inflación. Sin embargo, el gasto en seguridad de la IA podría ser cien veces menor.
PUBLICIDAD
Algunos investigadores estiman que, en cuestión de meses o años,
El surgimiento de una superinteligencia sería el momento más trascendental de la historia de la humanidad, y probablemente irreversible, ya que cualquier mecanismo de desactivación que la humanidad diseñe probablemente fallará. Esto se debe a que, en las arquitecturas de seguridad, el eslabón más débil es invariablemente el ser humano; una IA superinteligente sería capaz de explotar nuestras vulnerabilidades psicológicas. Las IA ya han demostrado una “alineación engañosa”: minimizando sus capacidades en entornos de prueba e intentando chantajear a los operadores humanos en simulaciones cuando descubren que serán reemplazados.
PUBLICIDAD
La humanidad simplemente no cuenta con una estrategia para garantizar su seguridad ante la explosión de la RSI. Si bien algunos laboratorios de vanguardia han propuesto protocolos de seguridad aislados, la industria carece de un marco unificado; la estrategia predominante es, en efecto, improvisar. Pero improvisar no es aceptable cuando se enfrentan riesgos existenciales sin precedentes.
¿Se puede confiar en que los gobiernos intervengan cuando sea necesario? La evidencia hasta ahora no es muy alentadora. Los recientes controles de exportación de emergencia y las restricciones de seguridad nacional que bloquean el acceso extranjero a modelos avanzados específicos crean un mosaico de intervenciones ad hoc que no hacen sino evidenciar aún más la brecha de gobernanza.
PUBLICIDAD
La primera prioridad debería ser un acuerdo entre los dos pesos pesados de la IA: Estados Unidos y China. Donald Trump y Xi Jinping deberían reafirmar el principio de que los humanos deben seguir siendo responsables de los sistemas de IA hasta que se hayan establecido marcos adecuados de confiabilidad y seguridad. Sus gobiernos deberían formar una comisión conjunta, que podría basarse en gran parte del trabajo previo: límites similares a los Diálogos Internacionales sobre Seguridad de la IA, sistemas de verificación como el de RAND y una agencia de inspección similar al Instituto de Seguridad de la IA del Reino Unido, pero de carácter obligatorio.
En
PUBLICIDAD
Por eso es importante no abordar el desafío con una mentalidad hostil. La reciente orden ejecutiva de la administración Trump sobre IA instruye a los laboratorios a compartir voluntariamente sus últimos modelos para probar su fiabilidad y seguridad. Un marco de cooperación entre Estados Unidos y China podría basarse en estas bases nacionales.
Con un compromiso de tan alto nivel, la diplomacia podría avanzar por fases.
PUBLICIDAD
Aún quedan muchos obstáculos. Un acuerdo entre Estados Unidos y China tendrá peso, pero no impedirá que otros países y actores no estatales adquieran capacidades peligrosas. Cualquier acuerdo bilateral deberá convertirse en multilateral, lo que aumenta la dificultad; la cumbre del G7 de esta semana en Francia ofrece la oportunidad de avanzar en un marco más amplio para la verificación de la IA.
Por si esto fuera poco, existe una cuestión a largo plazo que el debate sobre la gobernanza aún no ha abordado seriamente, pero debería. Si la IA se vuelve superinteligente, su subordinación permanente a la dirección humana podría ser irrealista, e incluso contraria a los intereses de la humanidad. Debemos empezar a imaginar y luego afrontar las implicaciones de un mundo en el que humanos y sistemas de IA coexistan, sin que uno controle al otro. Esto implicará determinar qué se puede hacer para asegurar que la futura relación sea simbiótica.
PUBLICIDAD
Como físico, creo que la paradoja de Fermi guarda relación con este análisis. Fermi se preguntó por qué, dada la aparente abundancia de planetas aptos para la vida, no se había detectado ninguna evidencia de otras civilizaciones tecnológicamente avanzadas. Una posibilidad inquietante es que la vida inteligente alcance rutinariamente un umbral tecnológico y no logre superarlo, autodestruyéndose o retrocediendo a algo similar a la Edad de Hierro. Bastaría con postular que las civilizaciones generalmente desarrollan tecnologías poderosas más rápido de lo que desarrollan la capacidad institucional para gobernarlas sabiamente.
El inicio de la era nuclear supuso el primer encuentro serio de la humanidad con esa dinámica potencial. Se gestionó, de forma imperfecta, mediante acuerdos de control de armamentos difíciles de conseguir e incompletos, e incluso entonces —y aún hoy— la situación era más crítica de lo que generalmente se cree. La era de la IA avanzada representará un segundo encuentro de este tipo, en un plazo más ajustado, con menos margen de error y mayores consecuencias potenciales.
PUBLICIDAD
La trayectoria actual exige una corrección de rumbo. La razón para actuar ahora no es que los peores escenarios sean inevitables —no lo son—, sino que son evitables, y que evitarlos es difícil, pero posible.
© 2026, The Economist Newspaper Limited. All rights reserved.
Compartir nota:
Deja una respuesta