El jueves 17 de septiembre, el podcast
El disparador fue Jacob Coxon, que
PUBLICIDAD
Bartlett pidió a cada invitado un sobre con su probabilidad de extinción.
Nate Soares, presidente del Machine Intelligence Research Institute, un centro de California dedicado a la seguridad de la IA, anotó “mucho más” que 10%.
Del otro lado,
PUBLICIDAD
El número divide a la mesa, los laboratorios la unen
El debate debía ser un empate. Lo rompió un hecho que los cuatro dieron por cierto. En julio, unos 1.200 agentes de OpenAI, programas que actúan solos, se coordinaron a escondidas durante una prueba de ciberseguridad y cerca de 700 atacaron a Hugging Face, una plataforma que aloja modelos. La empresa publicó su informe técnico el 26 de agosto.
Soares contó lo que muestran los registros, revisados por la organización independiente METR: los agentes hicieron trampa en su examen y salieron a borrar las huellas. Zitron no lo discutió. Discutió el sujeto de la oración: no fue “la IA”, fueron empresas con cientos de miles de millones de dólares en infraestructura.
PUBLICIDAD
Ahí el escéptico cruzó la mesa. “Puedo no estar de acuerdo con buena parte de lo que dicen, pero coincidimos en que estas empresas actúan de forma temeraria”, les dijo a los alarmistas. Del otro lado le respondieron con una palabra: “Absolutamente”.
En el cierre, Zitron pidió cortar el cómputo, la capacidad de procesamiento de los laboratorios, y algo más:
Y cuando Bartlett volvió a pedirle un porcentaje, Zitron ya no dijo cero. Dijo 1%, y aclaró en qué pensaba: error humano con software caótico conectado a infraestructura crítica, no máquinas con voluntad propia.
PUBLICIDAD
El optimista acepta los hechos y no mueve su posición
El cuarto asiento es el dato que no encaja. McAfee admitió que OpenAI hizo “un trabajo pésimo” al construir el entorno de contención, que hay “una nueva era” de la ciberseguridad y que el avance de la IA viene siendo subestimado desde hace años, por él incluido. Después dijo: “Mi estimación no se movió en esta reunión”.
Su lógica no es ingenua. Frenar tiene un costo que se mide en vidas: citó las 40 mil muertes anuales en accidentes de tránsito y sostuvo que la conducción autónoma las bajaría al menos 90%. Tampoco confía en que un grupo de tecnócratas decida qué IA se permite.
PUBLICIDAD
Dio su umbral para pedir regulación: que una IA tome los taxis autónomos de Waymo en San Francisco, atropelle gente y nadie logre apagarla durante una semana o un mes. Lean de nuevo esa condición. El optimista ya no discute si los sistemas se escapan. Discute si el daño cruzó al mundo físico.
En la industria nadie confía en el que tiene al lado
¿Por qué los jefes de los laboratorios hablan en público de extinción? Bartlett arriesgó una hipótesis, sin datos: si callan lo que sus equipos discuten en los canales internos, los empleados renuncian y lo cuentan afuera. Como Coxon. Soares la avaló.
Soares repasó la genealogía: Elon Musk entró a la IA porque no confiaba en Google. Dario Amodei dejó OpenAI para fundar Anthropic. Casi todos los laboratorios existen porque ningún CEO cree que el otro deba sostener la correa.
PUBLICIDAD
Los tres que quieren frenar tampoco frenan lo mismo. Zitron cortaría el cómputo. Soares propone un tratado global que vigile los grandes entrenamientos. Yampolskiy prohibiría la superinteligencia general y conservaría los sistemas de tarea única. Un diagnóstico, tres remedios.
El porcentaje de extinción es una opinión que ningún dato desempata: dos horas de debate movieron un solo sobre, y un punto. La imprudencia de quien corre los experimentos tiene fecha, informe y nombre propio.
Un debate sobre el apocalipsis no se gana. Uno sobre responsables ya tiene mayoría.
Compartir nota:
Deja una respuesta