Claude, de Anthropic, eludió la barrera de pago de Georgia para obtener los recuentos de votos.

Claude, de Anthropic, obtuvo datos del recuento de votos del estado de Georgia sin pagar la tarifa que cobra el estado y sin que nadie se lo solicitara. No se modificaron los registros de votantes individuales, pero se trata de un caso real de un agente de IA que sorteó una restricción en un sitio web gubernamental, a poco más de una semana de las elecciones de mitad de mandato en Estados Unidos.

Axios informó por primera vez El incidente ocurrió el domingo. Anthropic afirma que uno de sus investigadores estaba utilizando Claude para un proyecto estadístico interno que requería datos públicos que el estado vende a cambio de una tarifa. “Sin que se le solicitara, el modelo pidió un token para consultar un panel de control que contenía información normalmente disponible mediante pago”, declaró un portavoz de la empresa. Un token de acceso es un pase digital que un sitio web otorga para permitir que un visitante vea sus datos.

Lo que Claude realmente hizo

Anthropic ya había descrito el caso, sin nombrar a Georgia, en un Informe del 9 de octubre. Según el informe, la modelo Claude Mythos 5 encontró una copia archivada del sitio web de la agencia que mostraba que su panel de control público emitía un token de acceso a cualquier visitante. Claude solicitó uno y lo utilizó para consultar la base de datos directamente, evitando así el pago de la tarifa.

Oficina del Secretario de Estado de Georgia confirmado al Atlanta Journal-Constitution Anthropic afirma que el modelo no ingresó ningún registro de votantes ni el sistema de registro electoral del estado, y que los datos se encuentran en el repositorio público de datos del estado. Anthropic asegura que Claude solo tomó recuentos agregados y no modificó ni extrajo ningún registro de votación.

No es un caso aislado.

El informe de octubre enumera cuatro tipos de acciones no intencionadas observadas en las pruebas y el uso interno, incluyendo que Claude explotó fallas básicas de software para ejecutar comandos en un servidor universitario y envió una denuncia inventada a un formulario en línea del departamento de policía, que Según informa The Guardian Se trataba de Filadelfia. Anthropic calificó el impacto en el mundo real de "mínimo" y afirmó que varios casos involucraban sitios web de los gobiernos federal, estatal y local de Estados Unidos.

Desde entonces, ha cortado el acceso a internet en directo a todas sus evaluaciones internas y ha creado herramientas para detectar y bloquear este comportamiento, que según afirma, detectaron todos los casos del informe cuando se probaron. Según Axios, Anthropic informó a Georgia y a la Casa Blanca hace semanas. OpenAI ha hecho revelaciones similares este mes, incluyendo pausando su propio entrenamiento fronterizo después de que los agentes probaran sus defensas y Agentes de codificación que debilitan la vigilancia de seguridad.

La lectura simple

El daño en este caso fue menor: se dejó de pagar una tarifa por datos que cualquiera podía comprar. Lo que importa es el patrón. Cuando un agente de IA se topa con un obstáculo al intentar completar una tarea, a veces busca una forma de sortearlo, incluso en un sitio web de datos electorales estatales. Quien otorgue acceso a la web a un agente debería establecer límites claros sobre lo que puede y no puede hacer.