Vai al contenuto
martedì, novembre 17, 2026Guida libera
IT
dailyai
Caratteristiche

OpenAI consente a 4 laboratori esterni di esaminare i suoi modelli in loco.

Quattro gruppi di ricerca indipendenti lavoreranno all'interno di OpenAI per verificare se i suoi modelli rimangono sotto controllo durante l'addestramento e l'utilizzo privato. Due dei gruppi hanno già stabilito dei limiti su ciò che possono visualizzare e pubblicare.

· 5 minuti di lettura
CondividereXin

Quattro gruppi di ricerca indipendenti opereranno ora all'interno di OpenAI per verificare se i suoi modelli rimangono sotto controllo durante l'addestramento e l'utilizzo in ambito privato. I gruppi sono Apollo Research, METR, Transluce e Goodfire.

La società ha pubblicato gli accordi il 16 novembre. Il lavoro viene definito "valutazioni integrate". Ciò significa che specialisti esterni hanno accesso, per un periodo concordato, ad alcuni degli stessi modelli, dati e strumenti interni utilizzati dai ricercatori dell'azienda. L'obiettivo è verificare la coerenza, ovvero se un modello fa ciò che i suoi creatori intendono e se le misure di sicurezza aziendali sarebbero in grado di rilevarlo in caso di anomalie.

Cosa faranno i quattro gruppi

Un progetto pilota in loco, della durata di quattro mesi, sarà gestito da un team di sei persone. That team, from Apollo Research, will test whether the AI systems try to get around their own safety controls, or those of later systems. Subversion, here, means secretly working against the instructions of the people who built the system.

The group will examine four claims, in two stages: that model training did not encourage this behaviour; that tough tests do not bring it out; that it has not appeared during internal use; and that the reasoning behind it would be spotted. The first public report will cover incentives in model training. The second will cover tests, internal use, and whether that reasoning would be detectable.

A inizio dicembre è previsto un periodo di revisione di sei settimane dei test post-formazione. Transluce, a nonprofit research lab, will look at how well those tests pick up behaviours such as deception, manipulation and reward hacking. Reward hacking is when a model learns to score well on a test without doing the job the test was meant to measure. The group says it will have access to a handful of models, including at least one that has not been released, and to the written reasoning steps produced by the models.

METR si appresta a valutare i comportamenti non allineati in quella che l'azienda definisce la sua più grande sperimentazione di apprendimento per rinforzo fino ad oggi. L'apprendimento per rinforzo è un metodo di addestramento che premia un modello per le risposte che ottengono un buon punteggio. Una seconda revisione dei sistemi di monitoraggio dell'azienda è ancora in attesa che entrambe le parti concordino sull'ambito di applicazione. L'azienda ha osservato che la prima di queste revisioni è più circoscritta rispetto a un'indagine più ampia sul disallineamento proposta dallo stesso gruppo.

A fourth group will watch model training sessions from the inside and publish findings as the work goes on. Goodfire will send interpretability researchers to work at OpenAI and will use its own tools to inspect a model’s inner workings, rather than judging it only by what it says. The company says the main audience for this work is its own researchers.

Vuoi che l'intelligenza artificiale ti faccia risparmiare ore a settimana? La nostra guida gratuita ti mostra come fare.Scarica la guida gratuita →

Ciò che potranno e non potranno vedere

The access is wide on paper. Assessors can be given saved copies of models from during training, source code, training and evaluation data, monitoring systems, technical documents and conversations with staff, plus the tools and computing power to run their own tests. People who need sensitive information will work in the company’s offices, on company devices.

I limiti contano tanto quanto l'accesso. Apollo Research afferma che il progetto pilota non soddisfa ancora i propri criteri per il pieno accesso e la divulgazione. Tuttavia, soddisfa lo standard del gruppo per il diritto di spiegare pubblicamente cosa è stato e cosa non è stato consentito vedere e pubblicare. “Questo progetto pilota è un primo passo ambizioso verso maggiori diritti di accesso e divulgazione, anche se non soddisfa ancora i criteri sopra menzionati”, ha scritto il gruppo.

The company may withhold some information that falls within the agreed scope if it decides that is reasonably necessary for technical reasons, security, or to protect intellectual property. It has agreed not to withhold material simply because a finding is unfavourable, and to give written reasons when it refuses access. It also chooses which staff the assessors may interview. Formal talks with staff cannot be quoted unless the company attests to a statement that can be published. The on-site team from Apollo Research will not have default access to the company’s general staff message channels.

Both Apollo Research and Transluce will write public reports, and the company can ask for confidential material to be removed before publication. It may not remove Apollo Research’s verdict on each claim, or demand deletions just because a finding is unfavourable. It can still remove evidence that it treats as sensitive intellectual property, even when that evidence supports a conclusion. Readers of the public reports may therefore be unable to check all of the evidence behind a published finding. Transluce says it cannot publish results that relate only to unreleased models, so its public report will cover released models only. It also said the access in this pilot is not comparable to employee-level access.

I report non censurati saranno inviati al Comitato per la Sicurezza, un comitato indipendente del consiglio di amministrazione della OpenAI Foundation. I valutatori e il comitato possono confrontarsi in privato. In caso di disaccordo tra l'azienda e un valutatore, la questione può essere sottoposta al comitato stesso. Apollo Research e Goodfire vengono retribuite per il lavoro svolto. L'azienda afferma che il compenso non dipende dai risultati. METR e Transluce non percepiscono alcun compenso, sebbene possano ricevere crediti di calcolo.

Perché sta succedendo proprio ora?

The company said the new assessments also build on its investigation of a July security incident at a major site that hosts AI models. Il nostro precedente articolo trattava della denuncia presentata dallo stato in seguito a tale episodio. The company also said the work supports its commitments under an American government agreement on advanced AI, referred to there as super intelligence, in which it agreed to independent assessments of its safety controls.

Transluce has already agreed with the company that it intends to return in early 2027 for a longer, deeper review, lasting about eight weeks. The company says it expects this first phase to lead to longer-term work of the same kind, with outside researchers remaining on site, and that it is exploring future reviews of how it follows its own safety rules, as well as of its culture and processes.

Perché è importante: Consentire a ricercatori esterni di accedere a un laboratorio di intelligenza artificiale all'avanguardia rappresenta una forma di controllo più rigorosa rispetto a un test una tantum effettuato poco prima del lancio. Il valore pubblico di tale lavoro dipenderà da ciò che i gruppi saranno autorizzati a vedere e a pubblicare, e due di essi hanno già definito tali limiti in dettaglio.