Een onderzoek uitgevoerd door het Stanford Internet Observatory identificeerde meer dan 3.200 afbeeldingen van vermoedelijk seksueel kindermisbruik in de LAION-database, een grootschalige index van online afbeeldingen en bijschriften die wordt gebruikt om AI-beeldgeneratoren zoals Stable Diffusion te trainen.
In samenwerking met het Canadese centrum voor kinderbescherming en andere antimisbruikorganisaties bekeek het Stanford-team de database en rapporteerde het zijn bevindingen aan de wetshandhavingsinstanties. LAION bevat miljarden afbeeldingen die zijn verkregen door ongericht webscrapen.
Van meer dan 1.000 van deze afbeeldingen werd vervolgens bevestigd dat het om kinderpornomateriaal ging. De informatie werd gepubliceerd in een artikel, "CSAM identificeren en elimineren in generatieve ML-trainingsgegevens en modellen."
De onderzoekers verklaarden: "We vinden dat het in bezit hebben van een LAION-5B dataset die zelfs eind 2023 nog bevolkt was, het bezit van duizenden illegale afbeeldingen impliceert," wat de aard van op internet geschraapte datasets en hun volledig ongecontroleerde en ongecontroleerde inhoud onderstreept.
AI-beeldgeneratoren zijn betrokken bij een aantal kindermisbruik- en pornografiezaken. Een man uit North Carolina werd onlangs 40 jaar gevangen nadat hij in het bezit was bevonden van door AI gegenereerde beelden van kindermisbruik. Dit is misschien wel het eerste voorbeeld ter wereld van iemand die voor zo'n misdaad wordt berecht.
LAION, een afkorting voor Large-scale Artificial Intelligence Open Network, verwijderde prompt zijn datasets van publieke toegang.
LAION gaf vervolgens een verklaring uit waarin het zijn nultolerantiebeleid voor illegale inhoud benadrukte en zijn inzet om de veiligheid van zijn datasets te garanderen voordat deze opnieuw worden gepubliceerd.
Omdat deze gegevens werden gebruikt om populaire modellen te trainen, kunnen ze deze gegevens 'gebruiken' om geheel nieuwe inhoud te genereren, wat nu al gebeurt. Uit een onderzoek bleek dat mensen dit soort afbeeldingen maken en ze verkopen op sites als Patreon.
Onderzoekers merkten op dat AI-tools waarschijnlijk ook criminele inhoud samenstellen door afbeeldingen van verschillende categorieën online afbeeldingen - pornografie voor volwassenen en onschuldige foto's van kinderen - samen te voegen.
David Thiel, de hoofdtechnoloog van het Stanford Internet Observatory en auteur van het rapport, benadrukte hoe deze problemen ontstaan door te wijzen op de overhaaste implementatie van veel AI-projecten in het concurrerende technologielandschap.
Hij verklaarde in een interview: "Een hele internet-brede scrape nemen en die dataset gebruiken om modellen te trainen is iets dat beperkt had moeten blijven tot een onderzoeksoperatie en is niet iets dat open-sourced had moeten worden zonder veel meer rigoureuze aandacht."
Het Stanford Internet Observatory heeft degenen die trainingssets maken op basis van LAION-5B aangespoord om deze te verwijderen of samen te werken met tussenpersonen om het materiaal op te schonen. Het beveelt ook aan om oudere versies van Stable Diffusion, met name die bekend staan om het genereren van expliciete beelden, minder toegankelijk te maken op het internet.
Stabiliteit AI verklaarden dat ze alleen gefilterde versies van Stable Diffusion hosten en proactieve stappen hebben ondernomen om het risico op misbruik te beperken.
Lloyd Richardson, de IT-directeur van het Canadese Centrum voor Kinderbescherming, gaf commentaar op de onomkeerbare aard van het probleem en zei: "We kunnen dat niet terugnemen. Dat model is in handen van veel mensen op hun lokale machines."
Eerder onderzoek in LAION
Het onderzoek van Stanford is niet het eerste onderzoek naar databases zoals LAION.
In 2021 hebben computerwetenschappers Abeba Birhane, Vinay Uday Prabhu en Emmanuel Kahembwe gepubliceerd "Multimodale datasets: vrouwenhaat, pornografie en kwaadaardige stereotypen", waarin de LAION-400M beelddataset werd geanalyseerd.
In hun artikel staat: "We ontdekten dat de dataset lastige en expliciete afbeeldingen en tekstparen bevat van verkrachting, pornografie, kwaadaardige stereotypen, racistische en etnische leuzen en andere extreem problematische inhoud."
Uit dit onderzoek bleek ook dat de labels die werden gebruikt voor afbeeldingen vaak bewuste en onbewuste vooroordelen weerspiegelden of vertegenwoordigden, die op hun beurt vooroordelen veroorzaken in de AI-modellen die worden gebruikt om de gegevens te trainen.
Talrijke eerder onderzoek heeft het verband onderzocht tussen bevooroordeelde datasets en bevooroordeelde modeluitvoer, met gevolgen als seksistische of seksebepaalde modellen die de vaardigheden van vrouwen lager inschatten dan die van mannen, discriminerende en onnauwkeurige gezichtsherkenningssystemen en zelfs fouten in medische AI-systemen die zijn ontworpen om mogelijk kankerverwekkende huidlaesies te onderzoeken bij mensen met een donkere huid.
Dus naast het misbruik van kindergerelateerd materiaal dat illegaal gebruik van AI-modellen mogelijk maakt, manifesteren problemen in datasets zich gedurende de gehele levenscyclus van machinaal leren om uiteindelijk soms de vrijheid, sociale status en gezondheid van mensen te bedreigen.
In een reactie op de Stanford-studie over X, een medeauteur van de bovenstaande paper en anderen die LAION en de gerelateerde effecten van onderliggende gegevens op modeloutputs onderzoeken, wees Abeba Birhane erop dat Stanford eerder onderzoek over dit onderwerp niet voldoende had besproken.
ik en mijn medewerkers hebben het meest uitgebreide onderzoek gedaan van de LAION-datasets (3 academische papers & de eerste die dataset in 2021 onderzocht die vrouwenhaat, pornografie en kwaadaardige stereotypen laat zien)
Toch heeft de Stanford-studie ons niet één keer geciteerd. Dit is academisch wangedrag. https://t.co/pzhL8b3wBt
- Abeba Birhane (@Abebab) 21 december 2023
Birhane benadrukt dat dit een systematisch probleem is, waarbij academische bolwerken zoals Stanford de neiging hebben om hun onderzoek als baanbrekend af te schilderen terwijl dit vaak niet het geval is.
Voor Birhane wijst dit op het bredere probleem van 'uitwissing' in de academische wereld, waar onderzoek van mensen met verschillende achtergronden en buiten het Amerikaanse technologielandschap zelden een eerlijke erkenning krijgt.
In oktober publiceerden we een artikel over AI-kolonialismeen laat zien hoe AI-kennis, -activa en -datasets zijn gehyperlokaliseerd in een select aantal regio's en academische instellingen.
In combinatie hiermee worden taalkundige, culturele en etnische diversiteit steeds minder vertegenwoordigd in de industrie, zowel in termen van onderzoek, gegevens en, op hun beurt, modeloutputs.
Voor sommigen in de sector is dit een tikkende tijdbom. Bij het trainen van extreem krachtige 'superintelligente' modellen of kunstmatige algemene intelligentie (AGI) kan de aanwezigheid van dergelijke inhoud in datasets verstrekkend zijn.
Zoals Birhane en zijn medeonderzoekers in hun studie aangeven: "Er is een groeiende gemeenschap van AI-onderzoekers die geloven dat er een pad bestaat naar Kunstmatige Algemene Intelligentie (AGI) via het trainen van grote AI-modellen met 'alle beschikbare gegevens'."
"De uitdrukking "alle beschikbare gegevens" omvat vaak een grote hoeveelheid gegevens die verzameld zijn via het WWW (d.w.z. afbeeldingen, video's en tekst)... Deze gegevens bevatten afbeeldingen en tekst die een grove verkeerde voorstelling geven van groepen zoals vrouwen, schadelijke stereotypen belichamen, zwarte vrouwen overweldigend seksualiseren en Aziatische vrouwen fetisjeren. Daarnaast bevatten op grote schaal via internet verzamelde datasets ook illegale inhoud, zoals beelden van seksueel misbruik, verkrachting en niet-consensuele expliciete beelden."
AI-bedrijven reageren op het Stanford-onderzoek
OpenAI verduidelijkte dat het geen gebruik maakte van de LAION-database en heeft zijn modellen verfijnd om verzoeken te weigeren voor seksuele inhoud waarbij minderjarigen betrokken zijn.
Google, dat een LAION-dataset gebruikte om zijn tekst-naar-beeld Imagen-model te ontwikkelen, besloot deze niet openbaar te maken nadat een audit een reeks ongepaste inhoud aan het licht bracht.
De juridische risico's waaraan AI-ontwikkelaars zich blootstellen wanneer ze lukraak en zonder de juiste zorgvuldigheid datasets gebruiken, zijn potentieel enorm.
Zoals Stanford suggereert, moeten ontwikkelaars beter op hun verantwoordelijkheden letten bij het maken van AI-modellen en -producten.
Daarnaast is het van cruciaal belang dat AI-bedrijven beter samenwerken met onderzoeksgemeenschappen en modelontwikkelaars om de risico's van het blootstellen van modellen aan dergelijke gegevens te benadrukken.
Zoals eerder onderzoek heeft aangetoond, is het 'jailbreaken' van modellen om ze over te halen de vangrails te omzeilen eenvoudig.
Wat zou er bijvoorbeeld kunnen gebeuren als iemand een extreem intelligent AGI-systeem dat getraind is op kindermishandeling, discriminerend materiaal, marteling, enzovoort, uit de gevangenis haalt?
Het is een vraag die de industrie moeilijk kan beantwoorden. Voortdurend verwijzen naar vangrails die herhaaldelijk worden uitgebuit en gemanipuleerd is een houding die zou kunnen slijten.
