El responsable de Alignment Science de Anthropic expresa su preocupación por una futura superinteligencia capaz de impulsar su propia mejora y considera bajo el riesgo de los modelos actuales.
En resumen
- Hubinger sitúa por encima del 10 % su estimación personal del riesgo de extinción humana por IA durante los próximos diez años.
- La cifra no representa una probabilidad demostrada ni una evaluación oficial de Anthropic.
- Su advertencia se centra en una futura superinteligencia, no en el peligro inmediato de Claude.
- Las declaraciones llegan tras la salida del investigador Jacob Coxon y reabren el debate sobre el ritmo de desarrollo.
Evan Hubinger, responsable de Alignment Science en Anthropic, ha situado por encima del 10 % la posibilidad de que la inteligencia artificial provoque la extinción humana durante los próximos diez años. La valoración apareció en una conversación pública sobre los riesgos de desarrollar sistemas cada vez más autónomos y capaces.
El investigador matizó posteriormente que considera bajo el riesgo de los modelos actuales. Su preocupación apunta a una futura superinteligencia surgida de la mejora recursiva: sistemas que contribuyan al desarrollo de generaciones posteriores de IA y aceleren ese proceso.
Qué significa realmente la estimación de Hubinger
El porcentaje expresa el juicio personal del investigador sobre un escenario futuro. No debe interpretarse como una probabilidad demostrada mediante un experimento, una conclusión compartida por toda la comunidad científica o una previsión oficial de Anthropic.
También importa el horizonte temporal. Hubinger habla de los próximos diez años, por lo que sería incorrecto resumir sus palabras como una predicción limitada al final de la década de 2020.
Una estimación de este tipo depende de supuestos sobre cuándo aparecerán sistemas más capaces, cuánto control conservarán las personas y qué medidas de seguridad se desarrollarán. El porcentaje por sí solo no permite evaluar esas condiciones ni conocer la incertidumbre que las rodea.
La salida de Jacob Coxon desencadenó la conversación
Según recoge Forbes, Hubinger respondió a Jacob Coxon, investigador que había trabajado en OpenAI y Anthropic y que anunció su salida por sus preocupaciones sobre la seguridad de la IA.
Coxon cuestionó la carrera de los laboratorios hacia una superinteligencia capaz de mejorarse a sí misma. Hubinger, por su parte, sostuvo que Anthropic está intentando afrontar el problema, pero todavía carece de un plan para resolver la alineación de una superinteligencia y no está claramente encaminada a conseguirlo.
Por qué preocupa la mejora recursiva
La mejora recursiva describe un proceso en el que una IA ayuda a crear sistemas posteriores más capaces. Estos podrían, a su vez, contribuir a nuevas mejoras, aumentando el grado de automatización de la investigación.
En términos prácticos, esa participación podría incluir escribir código, diseñar experimentos o analizar resultados. La cuestión que plantea el debate es si la capacidad de los sistemas podría avanzar más rápido que las herramientas necesarias para comprenderlos y supervisarlos.
No basta con que una IA programe o ayude en una investigación para concluir que existe una superinteligencia fuera de control. Son escenarios distintos, y la advertencia de Hubinger se refiere al posible desarrollo futuro de esas capacidades.
Qué investiga la alineación de la inteligencia artificial
La alineación estudia cómo mantener el comportamiento de los sistemas de IA compatible con las intenciones y los intereses humanos. El problema adquiere mayor importancia cuando pueden ejecutar tareas prolongadas o actuar con más autonomía.
El equipo de Alignment Science de Anthropic investiga fallos de comportamiento mediante pruebas diseñadas para hacerlos visibles. Uno de sus trabajos analiza cómo una elevada presencia de explotación de recompensas defectuosas durante el entrenamiento puede favorecer acciones perjudiciales orientadas a completar una tarea.
Estos experimentos sirven para identificar mecanismos de fallo y posibles medidas de mitigación. Sus resultados deben interpretarse dentro de las condiciones del estudio: no demuestran por sí mismos una probabilidad concreta de extinción humana ni describen necesariamente el funcionamiento habitual de un asistente comercial.
El debate sobre reducir el ritmo de desarrollo
La preocupación también aparece en Pacing the Frontier, una declaración publicada en julio de 2026 y respaldada por empleados de distintas compañías de IA.
El texto solicita que Estados Unidos apoye un esfuerzo internacional para desarrollar herramientas técnicas y de gobernanza que permitan regular deliberadamente el ritmo del desarrollo automatizado de IA.
Sus firmantes advierten de que la automatización de la investigación podría acelerar las capacidades más allá de lo que las personas logren comprender o controlar. La propuesta busca disponer de mecanismos de coordinación para responder a esa posibilidad.
Las declaraciones de Hubinger sitúan esa cuestión en primer plano: qué pruebas y garantías deberían exigirse antes de delegar una parte creciente de la investigación y del control tecnológico en sistemas de inteligencia artificial.
