I en studie som genomfördes av Stanford Internet Observatory identifierades mer än 3.200 bilder på misstänkta sexuella övergrepp mot barn i LAION-databasen, ett storskaligt index över bilder och bildtexter på nätet som används för att träna AI-bildgeneratorer som Stable Diffusion.
I samarbete med Canadian Centre for Child Protection och andra organisationer som arbetar mot övergrepp har Stanfordteamet granskat databasen och rapporterat sina resultat till polisen. LAION innehåller miljarder bilder som erhållits genom ostyrd webbskrapning.
Över 1.000 av dessa bilder bekräftades senare vara material med sexuella övergrepp på barn. Informationen publicerades i ett dokument, "Identifiering och eliminering av CSAM i generativa ML-träningsdata och modeller."
Forskarna uppgav: "Vi finner att innehav av en LAION-5B-dataset som befolkas till och med i slutet av 2023 innebär innehav av tusentals olagliga bilder", vilket understryker karaktären av internetskrapade dataset och deras helt obekräftade och okontrollerade innehåll.
AI-bildgeneratorer har varit inblandade i ett antal fall av sexuella övergrepp mot barn och pornografi. En man från North Carolina blev nyligen fängslad i 40 år efter att ha befunnits inneha AI-genererade bilder på övergrepp mot barn, vilket kanske är det första exemplet i världen på att någon ställs inför rätta för ett sådant brott.
LAION, en förkortning för Large-scale Artificial Intelligence Open Network, tog omedelbart bort sina dataset från offentlig tillgång.
LAION utfärdade sedan ett uttalande som betonade sin nolltoleranspolicy för olagligt innehåll och sitt åtagande att säkerställa säkerheten för sina dataset innan de publicerades på nytt.
Eftersom dessa data användes för att träna populära modeller kommer de att kunna "använda" dem för att generera helt nytt innehåll, vilket redan sker. En undersökning visade att människor skapar dessa typer av bilder och sälja dem på webbplatser som Patreon.
Forskarna noterade att AI-verktyg sannolikt också syntetiserar brottsligt innehåll genom att slå samman bilder från separata kategorier av onlinebilder - vuxenpornografi och godartade foton av barn.
David Thiel, chefsteknolog vid Stanford Internet Observatory och rapportens författare, betonade hur dessa frågor uppstår och pekade på den hastiga implementeringen av många AI-projekt i det konkurrensutsatta tekniklandskapet.
Han sa i en intervju: "Att ta en hel internetbaserad skrapning och använda den datauppsättningen för att träna modeller är något som borde ha begränsats till en forskningsverksamhet, om något, och det är inte något som borde ha varit öppet tillgängligt utan mycket mer noggrann uppmärksamhet."
Stanford Internet Observatory har uppmanat dem som bygger träningsuppsättningar baserade på LAION-5B att antingen ta bort dem eller samarbeta med mellanhänder för att rensa materialet. Det rekommenderas också att göra äldre versioner av Stable Diffusion, särskilt de som är kända för att generera uttryckliga bilder, mindre tillgängliga online.
Stabilitet AI uppgav att de endast är värd för filtrerade versioner av Stable Diffusion och har vidtagit proaktiva åtgärder för att minska riskerna för missbruk.
Lloyd Richardson, IT-direktör på Canadian Centre for Child Protection, kommenterade problemets oåterkalleliga natur och sa: "Vi kan inte ta tillbaka det. Den modellen finns i händerna på många människor på deras lokala maskiner."
Tidigare forskning i LAION
Stanfords studie är inte den första som inleder undersökningar av databaser som LAION.
År 2021 presenterade datavetenskapliga forskare Abeba Birhane, Vinay Uday Prabhu och Emmanuel Kahembwe publicerade "Multimodal dataset: misogyny, pornography, and malignant stereotypes", som analyserade bilddatasetet LAION-400M.
I deras rapport står det: "Vi fann att datasetet innehåller besvärande och explicita bilder och textpar av våldtäkt, pornografi, skadliga stereotyper, rasistiska och etniska skällsord och annat extremt problematiskt innehåll."
Studien visade också att de etiketter som användes för bilder ofta speglade eller representerade medvetna och omedvetna fördomar, vilket i sin tur påverkar de AI-modeller som data används för att träna.
Många tidigare forskning har undersökt sambandet mellan förvrängda dataset och förvrängda modellresultat, med effekter som sexistiska eller könsförvrängda modeller som värderar kvinnors färdigheter lägre än mäns, diskriminerande och felaktiga system för ansiktsigenkänning och till och med fel i medicinska AI-system som är utformade för att undersöka potentiellt cancerframkallande hudskador hos personer med mörkare hud.
Förutom att barnpornografiskt material underlättar olaglig användning av AI-modeller, uppstår problem i dataset under hela livscykeln för maskininlärning, vilket i slutändan kan hota människors frihet, sociala ställning och hälsa.
Abeba Birhane reagerade på Stanford-studien om X, en medförfattare till ovanstående papper och andra som undersöker LAION och de relaterade effekterna av underliggande data på modellutgångar, och påpekade att Stanford inte tillräckligt hade diskuterat tidigare forskning i detta ämne.
jag och mina medarbetare har gjort den mest omfattande forskningen av LAION-datauppsättningarna (3 akademiska artiklar och den första som undersökte datauppsättningen 2021 som visar kvinnohat, pornografi och maligna stereotyper)
ändå har Stanford-studien inte citerat oss en enda gång. detta är akademiskt tjänstefel https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21 december 2023
Birhane betonar att detta är en systemfråga, där akademiska högborgar som Stanford tenderar att framställa sin forskning som banbrytande, trots att så ofta inte är fallet.
För Birhane är detta en indikation på det bredare problemet med "utplåning" inom den akademiska världen, där forskning som bedrivs av personer med olika bakgrund och utanför det amerikanska tekniklandskapet sällan får rättvis uppskattning.
I oktober publicerade vi en artikel om AI kolonialismsom visar hur AI-kunskap, tillgångar och dataset är hyperlokaliserade i ett fåtal utvalda regioner och akademiska institutioner.
I kombination med detta blir språklig, kulturell och etnisk mångfald gradvis och systematiskt orepresenterad i branschen, både när det gäller forskning, data och i sin tur modellresultat.
För vissa i branschen är detta en tickande bomb. Vid träning av extremt kraftfulla "superintelligenta" modeller eller artificiell allmän intelligens (AGI) kan förekomsten av sådant innehåll i dataset få långtgående konsekvenser.
Som Birhane och medforskare påpekade i sin studie: "Det finns en växande grupp AI-forskare som tror att det finns en väg till artificiell allmän intelligens (AGI) via träning av stora AI-modeller med "all tillgänglig data"."
"Uttrycket "all tillgänglig data" omfattar ofta en stor mängd data som samlats in från webben (dvs. bilder, videor och text) ... [som synes] innehåller denna data bilder och text som grovt missrepresenterar grupper som kvinnor, förkroppsligar skadliga stereotyper, överväldigande sexualiserar svarta kvinnor och fetischerar asiatiska kvinnor. Dessutom fångar storskaliga internetinsamlade dataset även olagligt innehåll, såsom bilder av sexuella övergrepp, våldtäkt och explicita bilder utan samtycke."
AI-företag reagerar på Stanford-studien
OpenAI klargjorde att man inte använde LAION-databasen och att man har finjusterat sina modeller för att neka förfrågningar om sexuellt innehåll som involverar minderåriga.
Google, som använde ett LAION-dataset för att utveckla sin text-till-bild Imagen-modell, beslutade att inte offentliggöra det efter att en granskning avslöjade en rad olämpligt innehåll.
De juridiska risker som AI-utvecklare utsätter sig för när de använder datamängder urskillningslöst och utan vederbörlig due diligence är potentiellt enorma.
Som Stanford antyder måste utvecklare vara mer försiktiga med sitt ansvar när de skapar AI-modeller och produkter.
Utöver detta finns det ett stort behov av att AI-företagen samarbetar bättre med forskargrupper och modellutvecklare för att betona risken med att exponera modeller för sådana data.
Som tidigare forskning har visat är det enkelt att "jailbreaka" modeller för att locka dem att kringgå skyddsräcken.
Vad skulle till exempel hända om någon lyckades ta sig in i ett extremt intelligent AGI-system som är utbildat i barnmisshandel, diskriminerande material, tortyr och så vidare?
Det är en fråga som branschen tycker är besvärlig att besvara. Att ständigt hänvisa till skyddsvallar som upprepade gånger utnyttjas och manipuleras är en hållning som kan bli sliten.
