En undersøgelse udført af Stanford Internet Observatory identificerede mere end 3.200 billeder af formodet seksuelt misbrug af børn i LAION-databasen, et stort indeks over onlinebilleder og billedtekster, der bruges til at træne AI-billedgeneratorer som Stable Diffusion.
I samarbejde med Canadian Centre for Child Protection og andre organisationer, der bekæmper misbrug, gennemgik Stanford-teamet databasen og rapporterede deres resultater til de retshåndhævende myndigheder. LAION indeholder milliarder af billeder, der er indsamlet gennem ustyret web-scraping.
Over 1.000 af disse billeder blev efterfølgende bekræftet som materiale med seksuelt misbrug af børn. Oplysningerne blev offentliggjort i en artikel, "Identificering og eliminering af CSAM i generative ML-træningsdata og -modeller."
Forskerne sagde: "Vi finder, at hvis man er i besiddelse af et LAION-5B-datasæt, der er befolket selv i slutningen af 2023, indebærer det, at man er i besiddelse af tusindvis af ulovlige billeder", hvilket understreger karakteren af internet-scrapede datasæt og deres fuldstændig ubekræftede og ukontrollerede indhold.
AI-billedgeneratorer er blevet inddraget i en række sager om sexmisbrug af børn og pornografi. En mand fra North Carolina blev for nylig Fængslet i 40 år efter at være fundet i besiddelse af AI-genererede billeder af børnemishandling, hvilket måske er det første eksempel i verden på, at nogen er blevet retsforfulgt for en sådan forbrydelse.
LAION, en forkortelse for Large-scale Artificial Intelligence Open Network, fjernede straks sine datasæt fra den offentlige adgang.
LAION udsendte derefter en erklæring, hvor de understregede deres nultolerancepolitik over for ulovligt indhold og deres forpligtelse til at sikre datasættenes sikkerhed, før de genudgives.
Da disse data blev brugt til at træne populære modeller, vil de kunne "bruge" dem til at generere helt nyt indhold, hvilket allerede sker. En undersøgelse viste, at folk skaber disse typer billeder og sælge dem på sider som Patreon.
Forskerne bemærkede, at AI-værktøjer sandsynligvis også syntetiserer kriminelt indhold ved at fusionere billeder fra separate kategorier af onlinebilleder - voksenpornografi og godartede billeder af børn.
David Thiel, chefteknolog ved Stanford Internet Observatory og rapportens forfatter, understregede, hvordan disse problemer opstår, og pegede på den forhastede udrulning af mange AI-projekter i det konkurrenceprægede teknologilandskab.
Han sagde i et interview: "At tage et helt internet og bruge det datasæt til at træne modeller er noget, der om noget burde have været begrænset til en forskningsoperation, og det er ikke noget, der burde have været open source uden meget mere grundig opmærksomhed."
Stanford Internet Observatory har opfordret dem, der bygger træningssæt baseret på LAION-5B, til enten at slette dem eller samarbejde med mellemmænd om at rense materialet. Det anbefales også at gøre ældre versioner af Stable Diffusion, især dem, der er kendt for at generere eksplicitte billeder, mindre tilgængelige online.
Stabilitet AI erklærede, at de kun hoster filtrerede versioner af Stable Diffusion og har taget proaktive skridt for at mindske risikoen for misbrug.
Lloyd Richardson, IT-direktør hos Canadian Centre for Child Protection, kommenterede problemets irreversible karakter og sagde: "Vi kan ikke tage det tilbage. Den model er i hænderne på mange mennesker på deres lokale maskiner."
Tidligere forskning i LAION
Stanfords undersøgelse er ikke den første, der iværksætter undersøgelser af databaser som LAION.
I 2021 blev datalogiforskerne Abeba Birhane, Vinay Uday Prabhu og Emmanuel Kahembwe udgivet "Multimodale datasæt: kvindehad, pornografi og ondartede stereotyper", som analyserede LAION-400M-billeddatasættet.
I deres artikel står der: "Vi fandt ud af, at datasættet indeholder problematiske og eksplicitte billeder og tekstpar af voldtægt, pornografi, ondsindede stereotyper, racistiske og etniske fornærmelser og andet ekstremt problematisk indhold."
Undersøgelsen viste også, at de etiketter, der blev brugt til billeder, ofte afspejlede eller repræsenterede bevidst og ubevidst bias, som igen påfører de AI-modeller, som data bruges til at træne, bias.
Talrige Tidligere forskning har undersøgt sammenhængen mellem forudindtagede datasæt og forudindtagede modeloutput, med konsekvenser som sexistiske eller kønsbaserede modeller, der vurderer kvinders færdigheder som mindre værdifulde end mænds, diskriminerende og unøjagtige ansigtsgenkendelsessystemer og endda fejl i medicinske AI-systemer, der er designet til at undersøge potentielt kræftfremkaldende hudlæsioner hos personer med mørkere hud.
Så ud over misbrug af børnerelateret materiale, der letter ulovlig brug af AI-modeller, manifesterer problemer i datasæt sig i hele maskinlæringens livscyklus for til sidst at true folks frihed, sociale status og helbred.
Som reaktion på Stanford-undersøgelsen om X, en medforfatter til ovenstående artikel og andre, der undersøger LAION og de relaterede virkninger af underliggende data på modeloutput, påpegede Abeba Birhane, at Stanford ikke i tilstrækkelig grad havde diskuteret tidligere forskning om dette emne.
Jeg og mine samarbejdspartnere har udført den mest omfattende forskning i LAION-datasættene (3 akademiske artikler og den første til at undersøge datasæt i 2021, der viser kvindehad, pornografi og ondartede stereotyper).
Alligevel har Stanford-studiet ikke citeret os en eneste gang. Det er akademisk uredelighed. https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21. december 2023
Birhane understreger, at dette er et systemisk problem, hvor akademiske højborge som Stanford har en tendens til at fremstille deres forskning som banebrydende, selv om det ofte ikke er tilfældet.
For Birhane er det et udtryk for et bredere problem med "udslettelse" i den akademiske verden, hvor forskning udført af personer med forskellige baggrunde og uden for det amerikanske teknologilandskab sjældent får den rette anerkendelse.
I oktober udgav vi en artikel om AI-kolonialismeDet viser, hvordan AI-viden, -aktiver og -datasæt er hyperlokaliseret i nogle få udvalgte regioner og akademiske institutioner.
I kombination bliver sproglig, kulturel og etnisk mangfoldighed gradvist og systematisk underrepræsenteret i industrien, både hvad angår forskning, data og modeloutput.
For nogle i branchen er det en tikkende bombe. Når man træner ekstremt kraftfulde 'superintelligente' modeller eller kunstig generel intelligens (AGI), kan tilstedeværelsen af sådant indhold i datasæt have vidtrækkende konsekvenser.
Som Birhane og hans medforskere påpegede i deres undersøgelse: "Der er et voksende samfund af AI-forskere, der mener, at der findes en vej til kunstig generel intelligens (AGI) via træning af store AI-modeller med "alle tilgængelige data"."
"Udtrykket "alle tilgængelige data" omfatter ofte en stor mængde data indsamlet fra WWW (dvs. billeder, videoer og tekst) ... [som set] omfatter disse data billeder og tekst, der groft misrepræsenterer grupper som kvinder, legemliggør skadelige stereotyper, i overvældende grad seksualiserer sorte kvinder og feticherer asiatiske kvinder. Derudover fanger store internetindsamlede datasæt også ulovligt indhold, såsom billeder af seksuelt misbrug, voldtægt og eksplicitte billeder uden samtykke."
AI-virksomheder reagerer på Stanford-studiet
OpenAI præciserede, at de ikke brugte LAION-databasen, og at de har finjusteret deres modeller til at afvise anmodninger om seksuelt indhold, der involverer mindreårige.
Google, som brugte et LAION-datasæt til at udvikle sin tekst-til-billede Imagen-model, besluttede ikke at offentliggøre det, efter at en revision afslørede en række upassende indhold.
De juridiske risici, som AI-udviklere udsætter sig selv for, når de bruger datasæt vilkårligt og uden ordentlig due diligence, er potentielt enorme.
Som Stanford foreslår, skal udviklere være mere opmærksomme på deres ansvar, når de skaber AI-modeller og -produkter.
Derudover er der et kritisk behov for, at AI-virksomheder i højere grad samarbejder med forskningsmiljøer og modeludviklere for at understrege risikoen ved at udsætte modeller for sådanne data.
Som tidligere forskning har vist, er det ligetil at "jailbreake" modeller for at lokke dem til at omgå sikkerhedsforanstaltninger.
Hvad ville der for eksempel ske, hvis nogen jailbreakede et ekstremt intelligent AGI-system, der var trænet i børnemishandling, diskriminerende materiale, tortur og så videre?
Det er et spørgsmål, som branchen har svært ved at svare på. Konstant at henvise til værn, der gentagne gange bliver udnyttet og manipuleret, er en holdning, der kan blive trættende.
