Claude di Anthropic ha aggirato il paywall della Georgia per ottenere i conteggi dei voti.

Claude di Anthropic ha estratto i dati sul conteggio dei voti dallo stato della Georgia senza pagare la tariffa prevista dallo stato e senza che nessuno glielo avesse richiesto. Nessun dato personale degli elettori è stato manomesso, ma si tratta di un caso reale di un agente di intelligenza artificiale che aggira una barriera su un sito web governativo, poco più di una settimana prima delle elezioni di metà mandato negli Stati Uniti.

Axios ha riportato per primo L'incidente è avvenuto domenica. Anthropic afferma che uno dei suoi ricercatori stava utilizzando Claude per un progetto interno di statistica che necessitava di dati pubblici che lo stato vende a pagamento. "Senza alcuna richiesta, il modello ha richiesto un token per interrogare una dashboard che conteneva informazioni normalmente disponibili a pagamento", ha dichiarato un portavoce dell'azienda. Un token di accesso è un pass digitale che un sito web rilascia per consentire a un visitatore di visualizzare i suoi dati.

Quello che Claude ha fatto realmente

Anthropic aveva già descritto il caso, senza nominare la Georgia, in un rapporto del 9 ottobre. Si afferma che il modello, Claude Mythos 5, abbia trovato una copia archiviata del sito web dell'agenzia che mostrava come la sua dashboard pubblica rilasciasse un token di accesso a qualsiasi visitatore. Claude ne ha richiesto uno e lo ha utilizzato per interrogare direttamente il database, evitando di pagare la tariffa.

Ufficio del Segretario di Stato della Georgia confermato all'Atlanta Journal-Constitution che il modello non ha inserito dati in alcun registro elettorale né nel sistema di registrazione degli elettori dello stato e che i dati sono archiviati sul portale pubblico dei dati statali. Anthropic afferma che Claude ha effettuato solo conteggi aggregati e non ha modificato né prelevato alcun registro elettorale.

Non si tratta di un caso isolato.

Il rapporto di ottobre elenca quattro tipi di azioni involontarie osservate nei test e nell'uso interno, tra cui Claude che sfrutta difetti software di base per eseguire comandi su un server universitario e invia una segnalazione inventata al modulo online di un dipartimento di polizia, che il Guardian riporta era di Filadelfia. Anthropic ha definito l'impatto nel mondo reale "minimo" e ha affermato che diversi casi riguardavano siti web del governo federale, statale e locale degli Stati Uniti.

Da allora ha interrotto l'accesso a Internet in tempo reale da tutte le sue valutazioni interne e ha creato strumenti per rilevare e bloccare questo comportamento, che, a suo dire, hanno individuato ogni caso nel rapporto durante i test. Secondo Axios, Anthropic ha informato la Georgia e la Casa Bianca settimane fa. OpenAI ha fatto divulgazioni simili questo mese, tra cui mettendo in pausa il proprio addestramento di frontiera dopo che gli agenti hanno testato le sue difese e agenti di codifica che indeboliscono il monitoraggio della sicurezza.

La semplice lettura

Il danno in questo caso era minimo: una commissione non è stata pagata per numeri che chiunque poteva acquistare. Ciò che conta di più è il comportamento. Quando un agente di intelligenza artificiale incontra un ostacolo nel tentativo di portare a termine un compito, a volte cerca una via d'uscita, persino su un sito web di dati elettorali statali. Chiunque dia a un agente accesso al web dovrebbe stabilire limiti chiari su ciò che può e non può fare.