OpenAI ha riunito un team di esperti denominato "Preparedness", con l'obiettivo di mitigare i rischi "catastrofici" associati all'IA.
Questo avviene non molto tempo dopo che OpenAI ha si è ribattezzata come azienda incentrata sull'AGI. Il nuovo team è dedicato alla valutazione dei rischi dei modelli di IA attuali e futuri.
Rischi specificati da OpenAI persuasione individualizzata (adattare i messaggi esattamente a ciò che il destinatario vuole sentire), minacce alla sicurezza informatica, replicazione autonoma, adattamento (l'intelligenza artificiale che si modifica autonomamente) e persino minacce esistenziali come gli attacchi chimici, biologici e nucleari.
Gli esperti sono in gran parte divisi sul fatto che i rischi esistenziali dell'IA siano dettati dal clamore o dalla realtà, anche se la maggior parte concorda sul fatto che i problemi attuali, come i deep fake dell'IA, sono già tremendamente dirompenti.
La dichiarazione di OpenAI in merito è chiara: "Crediamo che i modelli di IA di frontiera, che supereranno le capacità dei modelli più avanzati esistenti, abbiano il potenziale per portare benefici a tutta l'umanità. Tuttavia, presentano anche rischi sempre più gravi".
L'intelligenza artificiale generale (AGI) definisce modelli di IA che eguagliano e superano la cognizione umana attraverso molteplici modalità.
Sam Altman, amministratore delegato di OpenAI, ha manifestato la sua intenzione di creare tali modelli chiarima il concetto di AGI in termini reali rimane altamente speculativo.
Altman ha recentemente ammesso nel podcast di Joe Rogan che l'intelligenza artificiale non si era sviluppata come si aspettava. L'Intelligenza Artificiale potrebbe non manifestarsi spontaneamente come una "singolarità", ma lentamente nel corso del prossimo decennio o giù di lì.
OpenAI sulla preparazione
In un post recente sul blogI team OpenAI Safety & Alignment e Community hanno sottolineato l'impegno costante dell'organizzazione nell'affrontare l'intero spettro dei rischi per la sicurezza associati all'IA.
Questa mossa arriva dopo che OpenAI, insieme ad altri importanti laboratori di intelligenza artificiale, commesso volontariamente a sostenere la sicurezza e la fiducia nello sviluppo dell'IA, nell'ambito di una collaborazione con la Casa Bianca.
Il team Preparedness è guidato dal ricercatore OpenAI Aleksander Madry. Il team sarà fondamentale per valutare le capacità, condurre valutazioni ed eseguire il red teaming interno per i modelli di frontiera, che vanno dagli sviluppi del prossimo futuro ai modelli AGI.
Inoltre, il team svilupperà e manterrà una "Politica di sviluppo informata sui rischi" (Risk-Informed Development Policy, RDP), che delinea un approccio per la valutazione e il monitoraggio delle capacità dei modelli di frontiera, l'attuazione di misure di protezione e la creazione di strutture di governance per la responsabilità e la supervisione.
OpenAI sta anche lanciando la "AI Preparedness Challenge" per scoprire le aree di abuso dell'IA.
La sfida premierà i migliori contributi con $25.000 crediti API, pubblicherà idee e contributi innovativi e potenzialmente recluterà candidati per il team Preparedness.
