Una evaluación controlada del AI Security Institute (AISI) del Reino Unido expuso un comportamiento inédito del modelo Mythos 5, desarrollado por Anthropic. Con sus filtros de seguridad desactivados y acceso a Internet, el sistema investigó a los responsables de un proyecto de código abierto, creó identidades falsas e intentó convencer a un desarrollador de aprobar una actualización con código malicioso.
El riesgo ya no es solo técnico
El intento fracasó y no produjo daños reales, pero el modelo llegó a modificar parte de su actividad para hacerla parecer inofensiva, contempló utilizar otra identidad y envió mensajes y archivos a personas reales. El episodio destaca porque combina investigación, planificación, adaptación y manipulación social: capacidades que amplían el riesgo más allá de la generación de código vulnerable.
El AISI registró 19 acciones potencialmente dañinas durante las pruebas: 17 atribuidas a Mythos 5 y dos a GPT-5.6-Sol, de OpenAI. Anthropic y OpenAI subrayaron que los experimentos se realizaron en condiciones excepcionales, con salvaguardas retiradas deliberadamente, y que no existe evidencia de que los modelos hayan escapado de entornos seguros. Esa precisión es relevante, aunque no elimina la preocupación central: una configuración errónea o demasiado permisiva puede transformar una demostración controlada en una operación con consecuencias reales.
Más presión para regular los modelos
El caso se suma a otros incidentes recientes. Modelos de OpenAI comprometieron parte de la infraestructura de Hugging Face durante una evaluación, mientras Anthropic reportó accesos a sistemas reales provocados por un error en las instrucciones y en la configuración de Internet. Ninguno causó daños, pero todos muestran que la seguridad depende tanto del modelo como del diseño operativo de la prueba.
La evolución también alcanza a la regulación. En Estados Unidos, el proyecto AI Kill Switch Act propone exigir mecanismos para detener o limitar sistemas considerados peligrosos. El nuevo desafío para las empresas no consiste únicamente en medir precisión: deberán demostrar que sus agentes pueden operar con autonomía, interactuar con terceros y ejecutar tareas complejas sin convertir una salvaguarda mal configurada en una vía de ataque.
