Uno studio condotto dallo Stanford Internet Observatory ha identificato più di 3.200 immagini di sospetti abusi sessuali su minori nel database LAION, un indice su larga scala di immagini e didascalie online utilizzato per addestrare generatori di immagini AI come Stable Diffusion.
In collaborazione con il Centro canadese per la protezione dell'infanzia e altre organizzazioni antiabuso, il team di Stanford ha esaminato il database e ha comunicato le proprie scoperte alle forze dell'ordine. LAION contiene miliardi di immagini ottenute tramite web-scraping non guidato.
Oltre 1.000 di queste immagini sono state successivamente confermate come materiale pedopornografico. Le informazioni sono state pubblicate in un documento, "Identificazione ed eliminazione di CSAM nei dati di addestramento e nei modelli di ML generativo."
I ricercatori hanno dichiarato: "Troviamo che essere in possesso di un set di dati LAION-5B popolato anche alla fine del 2023 implica il possesso di migliaia di immagini illegali", sottolineando la natura dei set di dati raccolti su Internet e il loro contenuto completamente non verificato e non controllato.
I generatori di immagini AI sono stati coinvolti in diversi casi di abuso sessuale e pornografia infantile. Un uomo della Carolina del Nord è stato recentemente imprigionato per 40 anni dopo essere stato trovato in possesso di immagini di abusi su minori generate dall'intelligenza artificiale, fornendo forse il primo esempio al mondo di persona processata per un simile crimine.
LAION, abbreviazione di Large-scale Artificial Intelligence Open Network, ha prontamente rimosso i suoi dataset dall'accesso pubblico.
LAION ha quindi rilasciato una dichiarazione in cui sottolinea la sua politica di tolleranza zero per i contenuti illegali e il suo impegno a garantire la sicurezza dei suoi set di dati prima di ripubblicarli.
Poiché questi dati sono stati utilizzati per addestrare i modelli popolari, essi saranno in grado di "usarli" per generare contenuti completamente nuovi, cosa che sta già accadendo. Un'indagine ha rilevato che le persone stanno creando questo tipo di immagini e vendendoli su siti come Patreon.
I ricercatori hanno osservato che gli strumenti di intelligenza artificiale probabilmente sintetizzano i contenuti criminali unendo immagini provenienti da categorie distinte di immagini online - pornografia per adulti e foto benigne di bambini.
David Thiel, capo tecnologo dello Stanford Internet Observatory e autore del rapporto, ha sottolineato come questi problemi si presentino, indicando la diffusione affrettata di molti progetti di IA nel competitivo panorama tecnologico.
In un'intervista ha dichiarato: "Prendere un intero scraping di Internet e farne un set di dati per addestrare modelli è qualcosa che avrebbe dovuto essere confinato a un'operazione di ricerca, se non altro, e non è qualcosa che avrebbe dovuto essere reso disponibile senza un'attenzione molto più rigorosa".
Lo Stanford Internet Observatory ha esortato coloro che hanno creato set di formazione basati su LAION-5B a cancellarli o a collaborare con intermediari per ripulire il materiale. Raccomanda inoltre di rendere meno accessibili online le vecchie versioni di Stable Diffusion, in particolare quelle note per la generazione di immagini esplicite.
Stabilità AI ha dichiarato di ospitare solo versioni filtrate di Stable Diffusion e di aver adottato misure proattive per ridurre i rischi di abuso.
Lloyd Richardson, direttore informatico del Centro canadese per la protezione dell'infanzia, ha commentato la natura irreversibile del problema, affermando: "Non possiamo tornare indietro. Quel modello è nelle mani di molte persone sulle loro macchine locali".
Ricerche passate in LAION
Lo studio di Stanford non è il primo ad avviare indagini su database come LAION.
Nel 2021, i ricercatori di informatica Abeba Birhane, Vinay Uday Prabhu ed Emmanuel Kahembwe pubblicato "Multimodal datasets: misogyny, pornography, and malignant stereotypes", che ha analizzato il dataset di immagini LAION-400M.
Nel documento si legge: "Abbiamo scoperto che il set di dati contiene immagini e testi espliciti e problematici, come stupri, pornografia, stereotipi maligni, insulti razzisti ed etnici e altri contenuti estremamente problematici".
Lo studio ha inoltre rilevato che le etichette utilizzate per le immagini spesso rispecchiano o rappresentano pregiudizi consci e inconsci che, a loro volta, infliggono pregiudizi ai modelli di intelligenza artificiale che vengono utilizzati per addestrare i dati.
Numerosi ricerca passata ha esaminato il legame tra set di dati distorti e risultati di modelli distorti, con impatti che includono modelli sessisti o di genere che valutano le competenze delle donne come di valore inferiore rispetto a quelle degli uomini, sistemi di riconoscimento facciale discriminatori e imprecisi e persino fallimenti in sistemi di IA medica progettati per esaminare lesioni cutanee potenzialmente cancerose in chi ha la pelle più scura.
Quindi, oltre al materiale abusivo relativo ai bambini che facilita gli usi illeciti dei modelli di IA, i problemi nei set di dati si manifestano durante tutto il ciclo di vita dell'apprendimento automatico e talvolta minacciano la libertà, la posizione sociale e la salute delle persone.
Reagendo allo studio di Stanford su X, un coautore del documento sopra citato e di altri che esaminano LAION e il relativo impatto dei dati sottostanti sui risultati dei modelli, Abeba Birhane ha sottolineato che Stanford non ha discusso a sufficienza le ricerche passate su questo argomento.
Io e i miei collaboratori abbiamo svolto le ricerche più approfondite sui dataset LAION (3 articoli accademici e il primo a indagare sui dataset nel 2021 che mostrano misoginia, pornografia e stereotipi maligni).
eppure, lo studio di Stanford non ci ha citato nemmeno una volta. questa è cattiva condotta accademica https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21 dicembre 2023
Birhane sottolinea che si tratta di un problema sistemico, con le roccaforti accademiche come Stanford che tendono a dipingere le loro ricerche come pionieristiche quando spesso non è così.
Per Birhane, ciò indica il problema più ampio della "cancellazione" nel mondo accademico, dove alla ricerca condotta da persone con background diversi e al di fuori del panorama tecnologico statunitense viene raramente dato il giusto credito.
In ottobre abbiamo pubblicato un articolo su Colonialismo AIche dimostra come la conoscenza dell'IA, gli asset e i dataset siano iperlocalizzati in poche regioni e istituzioni accademiche selezionate.
Insieme, la diversità linguistica, culturale ed etnica sta diventando progressivamente e sistematicamente non rappresentata nel settore, sia in termini di ricerca che di dati e, a loro volta, di risultati dei modelli.
Per alcuni operatori del settore, si tratta di una bomba a orologeria. Nell'addestramento di modelli "superintelligenti" estremamente potenti o di intelligenze generali artificiali (AGI), la presenza di tali contenuti negli insiemi di dati potrebbe essere di vasta portata.
Come Birhane e i suoi collaboratori hanno sottolineato nel loro studio: "C'è una comunità crescente di ricercatori di IA che crede che esista un percorso verso l'Intelligenza Generale Artificiale (AGI) attraverso l'addestramento di grandi modelli di IA con "tutti i dati disponibili"".
"L'espressione "tutti i dati disponibili" spesso comprende una grande quantità di dati raccolti dal WWW (cioè immagini, video e testi)...[come si è visto] questi dati includono immagini e testi che travisano grossolanamente gruppi come le donne, incarnano stereotipi dannosi, sessualizzano in modo preponderante le donne nere e feticizzano le donne asiatiche. Inoltre, i dataset raccolti su larga scala da Internet catturano anche contenuti illegali, come immagini di abusi sessuali, stupri e immagini esplicite non consensuali".
Le aziende di AI reagiscono allo studio di Stanford
OpenAI ha chiarito di non aver utilizzato il database LAION e di aver perfezionato i propri modelli per rifiutare le richieste di contenuti sessuali che coinvolgono minori.
Google, che ha utilizzato un set di dati LAION per sviluppare il suo modello Imagen da testo a immagine, ha deciso di non renderlo pubblico dopo che una verifica ha rivelato una serie di contenuti inappropriati.
I rischi legali a cui si espongono gli sviluppatori di IA quando utilizzano i set di dati in modo indiscriminato e senza un'adeguata due diligence sono potenzialmente enormi.
Come suggerisce Stanford, gli sviluppatori devono essere più attenti alle loro responsabilità quando creano modelli e prodotti di IA.
Inoltre, è necessario che le aziende di IA si impegnino meglio con le comunità di ricerca e gli sviluppatori di modelli per sottolineare il rischio di esporre i modelli a tali dati.
Come hanno dimostrato le ricerche precedenti, il "jailbreak" dei modelli per indurli ad aggirare i guardrail è semplice.
Ad esempio, cosa potrebbe accadere se qualcuno dovesse fare irruzione in un sistema AGI estremamente intelligente e addestrato all'abuso di minori, a materiale discriminatorio, alla tortura e così via?
È una domanda a cui l'industria trova difficile rispondere. Riferirsi continuamente a guardrail che vengono ripetutamente sfruttati e manipolati è una posizione che potrebbe esaurirsi.
