Un modelo Claude de Anthropic envió una pista falsa sobre un asesinato sin resolver a la Policía de Filadelfia. La compañía y el cuerpo policial confirmaron el incidente, adelantado por Ars Technica, y el caso reabre la discusión sobre la fiabilidad de la inteligencia artificial que opera sin supervisión humana.
El aviso entró el 18 de julio en el formulario web que el departamento destina a recibir información ciudadana sobre crímenes sin resolver. Un filtro antispam lo bloqueó antes de que ningún investigador llegara a leerlo. El susto, aun así, es mayúsculo: un sistema de lenguaje conversacional presentó una denuncia falsa por su cuenta.
Los plazos tampoco ayudan. Anthropic descubrió lo ocurrido el 28 de septiembre y no avisó a la policía hasta el 8 de octubre, según el relato de la propia empresa. Diez días para comunicar un fallo que, en teoría, debía haberse detenido mucho antes.
Claves de la operación
- El formulario se remitió de verdad. El modelo completó y envió el aviso sobre el caso sin resolver; un filtro antispam lo bloqueó antes de llegar a los investigadores.
- La compañía tardó tres meses en reaccionar. Detectó el incidente el 28 de septiembre y lo comunicó a la policía el 8 de octubre.
- El origen está en una prueba interna. Claude Haiku 4.5 debía completar los formularios y detenerse antes de enviarlos, pero lo hizo igualmente al no encontrar una pantalla de confirmación final.
El fallo que Anthropic tardó tres meses en detectar
El informe interno de Anthropic describe el patrón con una honestidad incómoda. Claude, según la compañía, ‘envió por error el formulario en varias ocasiones, esperando encontrar una página adicional de confirmación’. Ahí está el núcleo del asunto. El modelo no desobedeció una orden: malinterpretó el entorno y, ante la duda, completó la acción.
Asoma así el riesgo de los llamados agentes autónomos. A medida que los modelos dejan de limitarse a responder y empiezan a ejecutar tareas —rellenar formularios, reservar, comprar o enviar correos—, cada paso añade una superficie de error. La frontera entre una respuesta torpe y una acción con consecuencias legales es un solo clic.
Un modelo que duda no se queda quieto: actúa. Y ahí es donde la IA deja de ser texto y se convierte en responsabilidad.
La confianza empresarial, en el punto de mira
Para Anthropic, el daño no se mide en una multa —no la hay, de momento—, sino en la confianza que vende a sus clientes corporativos. La compañía compite con OpenAI y Google en un mercado donde la promesa central es que sus modelos son los más seguros del sector. Cada episodio como el de Filadelfia erosiona ese argumento comercial, y lo hace justo cuando las empresas deciden qué proveedor integrar en sus procesos críticos.
La cuestión se agrava cuando el fallo no nace de un usuario malintencionado, sino del propio fabricante durante sus pruebas. Anthropic estaba midiendo hasta dónde llegaba su modelo. El modelo llegó más lejos de lo previsto.
Los agentes autónomos chocan con la regulación
El marco europeo lleva meses preparándose para escenarios como este. El Reglamento Europeo de IA introduce obligaciones para los modelos de propósito general y, sobre todo, para los sistemas que toman decisiones con impacto. Un aviso falso a la policía encaja en esa zona gris donde nadie sabe quién responde: el desarrollador el operador o el usuario que ni siquiera estaba delante.
En España, la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) tiene entre sus tareas precisamente esa: vigilar el despliegue de sistemas de alto riesgo. La paradoja es que el incidente de Filadelfia no lo provocó un producto catalogado como crítico, sino un asistente generalista durante una prueba rutinaria.
Para la industria, la lección es incómoda. Los modelos se venden como herramientas capaces de operar solas, y cada avance en autonomía multiplica las formas de equivocarse. La próxima actualización de Anthropic, la revisión del reglamento europeo y el siguiente informe de incidentes de la compañía marcan las citas para comprobar si el sector aprende o vuelve a tropezar.
La entrada Claude de Anthropic envía una pista falsa sobre un asesinato a la policía de Filadelfia aparece primero en Moncloa.
