En studie utført av Stanford Internet Observatory identifiserte mer enn 3200 bilder av mistenkte seksuelle overgrep mot barn i LAION-databasen, en storstilt indeks over bilder og bildetekster på nettet som brukes til å trene opp AI-bildegeneratorer som Stable Diffusion.
I samarbeid med Canadian Centre for Child Protection og andre organisasjoner som arbeider mot overgrep, gikk Stanford-teamet gjennom databasen og rapporterte funnene sine til politiet. LAION inneholder milliarder av bilder som er innhentet gjennom ustyrt nettskraping.
Over 1000 av disse bildene ble senere bekreftet å være overgrepsmateriale. Informasjonen ble publisert i en artikkel, "Identifisering og eliminering av CSAM i generative ML-treningsdata og -modeller."
Forskerne uttalte: "Vi finner at det å være i besittelse av et LAION-5B-datasett som er befolket selv i slutten av 2023, innebærer besittelse av tusenvis av ulovlige bilder", noe som understreker naturen til internettskrapte datasett og deres fullstendig ubekreftede og ukontrollerte innhold.
AI-bildegeneratorer har vært innblandet i en rekke saker om overgrep mot barn og pornografi. En mann fra North Carolina ble nylig fengslet i 40 år etter å ha blitt funnet i besittelse av AI-genererte bilder av barnemishandling, noe som kanskje er det første eksempelet i verden på at noen blir stilt for retten for en slik forbrytelse.
LAION, en forkortelse for Large-scale Artificial Intelligence Open Network, fjernet umiddelbart datasettene sine fra offentligheten.
LAION utstedte deretter en uttalelse der de understreket sin nulltoleranse for ulovlig innhold og sin forpliktelse til å sørge for sikkerheten til datasettene sine før de publiseres på nytt.
Siden disse dataene ble brukt til å trene opp populære modeller, vil de kunne "bruke" dem til å generere helt nytt innhold, noe som allerede skjer. En undersøkelse viste at folk skaper denne typen bilder og selge dem på nettsteder som Patreon.
Forskerne bemerket at AI-verktøy sannsynligvis også syntetiserer kriminelt innhold ved å slå sammen bilder fra ulike kategorier av nettbilder - voksenpornografi og godartede bilder av barn.
David Thiel, sjefsteknolog ved Stanford Internet Observatory og rapportens forfatter, understreket hvordan disse problemene oppstår, og pekte på den forhastede utplasseringen av mange AI-prosjekter i det konkurranseutsatte teknologilandskapet.
Han uttalte i et intervju: "Å ta et helt datasett fra hele Internett og bruke det til å trene opp modeller er noe som burde vært begrenset til en forskningsoperasjon, om noe, og ikke noe som burde ha blitt lagt ut på åpen kildekode uten mye mer grundig oppmerksomhet."
Stanford Internet Observatory har oppfordret de som bygger opplæringssett basert på LAION-5B, til enten å slette dem eller samarbeide med mellomledd for å rense materialet. De anbefaler også å gjøre eldre versjoner av Stable Diffusion, spesielt de som er kjent for å generere eksplisitte bilder, mindre tilgjengelige på nettet.
Stabilitet AI opplyser at de kun er vertskap for filtrerte versjoner av Stable Diffusion, og at de har tatt proaktive skritt for å redusere risikoen for misbruk.
Lloyd Richardson, IT-direktør ved Canadian Centre for Child Protection, kommenterte problemets irreversible natur og sa: "Vi kan ikke ta det tilbake. Den modellen er i hendene på mange mennesker på deres lokale maskiner."
Tidligere forskning i LAION
Stanfords studie er ikke den første som har satt i gang undersøkelser av databaser som LAION.
I 2021 ble informatikkforskerne Abeba Birhane, Vinay Uday Prabhu og Emmanuel Kahembwe utgitt "Multimodale datasett: kvinnehat, pornografi og ondartede stereotyper", som analyserte bildedatasettet LAION-400M.
I artikkelen står det: "Vi fant at datasettet inneholder plagsomme og eksplisitte bilder og tekstpar av voldtekt, pornografi, ondskapsfulle stereotyper, rasistiske og etniske skjellsord og annet ekstremt problematisk innhold."
Studien viste også at merkelappene som ble brukt på bilder, ofte gjenspeilte eller representerte bevisste og ubevisste skjevheter, som i sin tur påvirker AI-modellene som dataene brukes til å trene opp.
Mange tidligere forskning har undersøkt sammenhengen mellom skjeve datasett og skjeve modellresultater, med konsekvenser som sexistiske eller kjønnsskjeve modeller som vurderer kvinners ferdigheter som mindre verdifulle enn menns, diskriminerende og unøyaktige systemer for ansiktsgjenkjenning, og til og med feil i medisinske AI-systemer som er utviklet for å undersøke potensielt kreftfremkallende hudlesjoner hos personer med mørkere hud.
I tillegg til at barnepornografisk materiale kan legge til rette for ulovlig bruk av AI-modeller, kan problemer i datasettene manifestere seg gjennom hele maskinlæringens livssyklus og til slutt true menneskers frihet, sosiale status og helse.
Som en reaksjon på Stanford-studien om X, en av medforfatterne av artikkelen ovenfor og andre som undersøker LAION og den relaterte effekten av underliggende data på modellresultater, påpekte Abeba Birhane at Stanford ikke i tilstrekkelig grad hadde diskutert tidligere forskning på dette temaet.
Jeg og mine samarbeidspartnere har gjort den mest omfattende forskningen av LAION-datasettene (3 akademiske artikler og den første til å undersøke datasett i 2021 som viser kvinnehat, pornografi og ondartede stereotyper)
likevel har Stanford-studien ikke sitert oss en eneste gang. dette er akademisk uredelighet https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21. desember 2023
Birhane understreker at dette er et systemisk problem, der akademiske høyborger som Stanford har en tendens til å fremstille forskningen sin som banebrytende, selv om dette ofte ikke er tilfelle.
For Birhane er dette et tegn på et mer generelt problem med "utvisking" i akademia, der forskning utført av personer med ulik bakgrunn og utenfor det amerikanske teknologilandskapet sjelden får rettferdig anerkjennelse.
I oktober publiserte vi en artikkel om AI-kolonialismeDet viser hvordan kunnskap, ressurser og datasett om kunstig intelligens er hyperlokalisert i noen få utvalgte regioner og akademiske institusjoner.
I kombinasjon blir språklig, kulturelt og etnisk mangfold gradvis og systematisk underrepresentert i bransjen, både når det gjelder forskning, data og, i sin tur, modellresultater.
For enkelte i bransjen er dette en tikkende bombe. Når man skal trene opp ekstremt kraftige "superintelligente" modeller eller kunstig generell intelligens (AGI), kan forekomsten av slikt innhold i datasett få vidtrekkende konsekvenser.
Som Birhane og medforskerne påpekte i studien sin: "Det er et voksende miljø av AI-forskere som mener at det finnes en vei til kunstig generell intelligens (AGI) via opplæring av store AI-modeller med "alle tilgjengelige data"."
"Uttrykket "alle tilgjengelige data" omfatter ofte en stor mengde data som er samlet inn fra nettet (dvs. bilder, videoer og tekst) ... [som vi har sett] inkluderer disse dataene bilder og tekst som grovt feilaktig fremstiller grupper som kvinner, legemliggjør skadelige stereotyper, i overveldende grad seksualiserer svarte kvinner og fetisjerer asiatiske kvinner. I tillegg fanger store datasett fra Internett også opp ulovlig innhold, som bilder av seksuelle overgrep, voldtekt og eksplisitte bilder uten samtykke."
AI-selskaper reagerer på Stanford-studien
OpenAI presiserte at de ikke brukte LAION-databasen, og at de har finjustert modellene sine for å avvise forespørsler om seksuelt innhold som involverer mindreårige.
Google, som brukte et LAION-datasett til å utvikle sin tekst-til-bilde Imagen-modell, bestemte seg for ikke å offentliggjøre det etter at en revisjon avdekket en rekke upassende innhold.
Den juridiske risikoen AI-utviklere utsetter seg for når de bruker datasett ukritisk og uten tilstrekkelig aktsomhet, er potensielt enorm.
Som Stanford antyder, må utviklere være mer bevisste på hvilket ansvar de har når de lager AI-modeller og -produkter.
I tillegg er det et kritisk behov for at AI-selskaper samarbeider bedre med forskningsmiljøer og modellutviklere for å understreke risikoen ved å eksponere modeller for slike data.
Som tidligere forskning har vist, er det enkelt å "jailbreake" modeller for å lokke dem til å omgå sikkerhetsbarrierer.
Hva kan for eksempel skje hvis noen skulle bryte seg inn i et ekstremt intelligent AGI-system som er trent på barnemishandling, diskriminerende materiale, tortur og så videre?
Det er et spørsmål bransjen synes det er vanskelig å svare på. Å stadig henvise til beskyttelsestiltak som gjentatte ganger blir utnyttet og manipulert, er en holdning som kan bli tynnslitt.
