De flesta kan vittna om att internet är en stundtals fientlig miljö, men tänk om du varje dag utsattes för det allra värsta som internet har att erbjuda?
Innehållsmoderatorer har till uppgift att gå igenom text, bilder och video och manuellt flagga skadligt innehåll, från rasistiska tillmälen och hatpropaganda till diskussioner om eller skildringar av mord och självmord.
De skadliga psykologiska effekterna av jobbet är väldokumenterade, både anekdotiskt i form av öppna brev från personer inom branschen och i akademiska studier.
Den växande generativa AI-industrin har lett till en ökad efterfrågan på innehållsmoderatorer, och än en gång börjar berättelser från det utmanande jobbet att komma upp till ytan.
Dataanställda i Kenya talar ut om moderering av AI-innehåll
I Kenya har flera tidigare innehållsmoderatorer för OpenAI:s ChatGPT lämnat in en petition till den kenyanska regeringen med krav på en utredning av vad de beskriver som "exploaterande förhållanden".
Den exploaterande affärsverksamheten i fråga kretsar kring OpenAI:s kontrakterade tjänster av Sama, ett företag för dataanmärkningstjänster baserat i Kalifornien.
Som enligt framställningen"Under hela kontraktstiden för utbildningen av ChatGPT fick vi inget psykosocialt stöd. På grund av exponeringen för denna typ av arbete, att utbilda ChatGPT, har vi utvecklat allvarliga psykiska sjukdomar, inklusive PTSD, paranoia, depression, ångest, sömnlöshet, sexuell dysfunktion, för att nämna några."
TIME, som också undersökte Samas relation med Meta i Kenya på ett liknande projekt, granskade dokument som tyder på att OpenAI tecknade 3 kontrakt med Sama till ett värde av cirka $200.000. Kontrakten omfattade märkning av textbeskrivningar av sexuella övergrepp, hatpropaganda och våld.
Cirka 36 medarbetare i 3 team arbetade med projektet, ett team med fokus på varje ämne. Alla medarbetare intervjuad av TIME uppgav att uppgiften påverkade deras mentala hälsa.
Mophat Okinyi, en före detta moderator, avslöjade hur arbetet har påverkat honom psykiskt. "Det har verkligen skadat min mentala hälsa," sade Okinyi. Han minns att han läste upp till 700 textpassager om dagen, många med grafiskt sexuellt våld, vilket ledde till paranoia och isolering. Han förlorade så småningom sin fru, som sa att han var en "förändrad man".
TIME rapporterade att en anställd tvingades läsa en grafisk beskrivning av bestialitet i närvaro av ett barn, och beskrev det som "tortyr". Han fortsatte med att säga: "Du kommer att läsa ett antal sådana uttalanden under hela veckan. När det blir fredag är du störd av att tänka igenom den bilden."
Framställningen från Kenya uppmärksammar det fruktansvärda innehåll som entreprenörerna var tvungna att granska, som ofta innehöll scener av våld, självskada, mord, våldtäkt, nekrofili, barnmisshandel, bestialitet och incest. Enligt en talesperson för Sama tjänade arbetarna mellan $1,46 och $3,74 per timme för jobbet.
Låga löner för AI-relaterade datatjänster är väldokumenterade på sociala medier, där en Redditor talar om sina erfarenhet av utbildning Bard"20$/timme är inte tillräckligt för den hemska behandling vi får, så jag ska krama ur varenda cent ur det här ******* jobbet."
$20/timme är långt ifrån de under $5/timme som betalas i Kenya. SSka AI-företag vara så snabba att köra i botten när arbetet i sig är affärskritiskt och innehållet riskfyllt?
Fingerborgsblomma, en ideell juridisk icke-statlig organisation som stöder kenyanska arbetares fall mot Meta och OpenAI, beskriver detta som uppenbar exploatering av låglönearbete.
Nu ber fyra före detta datalaboratörer det kenyanska parlamentet att sätta stopp för denna exploatering - och stoppa den skumma outsourcingen av företag som Sama, som lockar unga afrikaner med utsikter till teknikjobb, bara för att kasta bort dem när de vågar söka ett bättre avtal.
- Foxglove (@Foxglovelegal) 12 juli 2023
Cori Crider, chef för Fingerborgsblomma"Outsourcingen av dessa arbetstagare är en taktik från teknikföretagens sida för att distansera sig från de fruktansvärda arbetsvillkor som innehållsmoderatorer utsätts för."
Dessa medarbetare modererade innehåll som handlade om sexuella övergrepp mot barn, incest, bestialitet, våldtäkt, sexhandel och sexslaveri.
De fick inget egentligt psykiatriskt stöd - och de arbetade för en spottstyver. Läs @_KarenHao's fullständiga rapport: https://t.co/q8ion4vuNx
- Foxglove (@Foxglovelegal) 25 juli 2023
Varför behövs moderatorer för mänskligt innehåll?
Att träna AI-modeller kräver betydande mänskliga insatser för att bygga upp och förbereda dataset.
När OpenAI och andra AI-utvecklare bygger sina dataset samlar de vanligtvis in data från den verkliga världen, genererar syntetiska data och skrapar data från internet, inklusive bilder och text från webbplatser, anslagstavlor, forum och så vidare.
När data har samlats in måste de förbehandlas, bland annat genom att ta bort skadligt, hatiskt och diskriminerande innehåll. Dessutom finjusterar mänskliga team iterationer av AI-modeller genom att mata in potentiellt riskfyllda eller skadliga uppmaningar och analysera svaren.
Dessa processer gör det möjligt för forskare att "anpassa" AI:n till etiska och sociala värden och få en ren, neutral AI som inte är mottaglig för flyktigt beteende. Det är i alla fall idealet för proprietära offentliga modeller som ChatGPT och Bard.
AI-anpassning är en mycket ofullständig vetenskap som inte kan uppnås utan flera lager av mänsklig input.
Även om andra AI-verktyg kan förfiltrera data och ta bort mer uppenbara fall av hatiskt eller giftigt innehåll, är deras noggrannhet långt ifrån säkerställd, och vissa kommer oundvikligen att slinka igenom nätet. Uppgiften kompliceras ytterligare av den mänskliga uppfinningsrikedomen som ständigt uppfinner sätt att kringgå AI:s innehållsfiltrering, till exempel genom att ersätta ord med emojis, en teknik som regelbundet används för att kringgå filter på sociala medier.
I just det här scenariot bekräftade OpenAI för TIME att Sama-anställda i Kenya hjälpte till att bygga ett verktyg för att upptäcka skadligt innehåll, som så småningom byggdes in i ChatGPT.
OpenAI svarar på framställningen
I mitten av juli svarade OpenAI på frågorna om de psykologiska effekterna av arbetet med innehållsmoderering.
I ett uttalande till ITWeb Afrika"Vi inser att det här är ett utmanande arbete för våra forskare och annoteringsarbetare i Kenya och runt om i världen - deras ansträngningar för att säkerställa säkerheten för AI-system har varit oerhört värdefulla." säger en talesman för OpenAI.
Talespersonen fortsatte: "Vårt uppdrag är att bygga säkra och fördelaktiga AGI (artificiell allmän intelligens), och mänsklig dataanmärkning är en av de många strömmarna i vårt arbete för att samla in mänsklig feedback och vägleda modellerna mot säkrare beteende i den verkliga världen. Vi anser att detta arbete måste utföras på ett humant och frivilligt sätt, och det är därför vi fastställer och delar med oss av våra egna etiska och hälsomässiga standarder för våra dataantecknare."
Martha Dark, chef för Foxglove, säger: "ChatGPT är världsberömt som en symbol för AI:s potential. Men som Facebook före det bygger dess framgång på en armé av dolda och underbetalda människor som gör det grymma arbetet med att sikta igenom giftigt innehåll för att göra tjänsten säker. Moderatorer i Kenya bildar den första innehållsmoderatorernas fackförening på kontinenten för att slå tillbaka. Denna parlamentariska framställning är den senaste demonstrationen av kraften hos organiserade teknikarbetare. Foxglove stöder denna rörelse - och hoppas att kenyanska parlamentsledamöter kommer att göra brådskande reformer av outsourcingmodellen som gör det möjligt för företag som Sama att möjliggöra exploatering av utländska teknikjättar."
Mercy Mutemi, managing partner på den kenyanska advokatbyrån Nzili & Sumbi Advocates, tillade: "Kenyanerna har fått nog av att vara big tech-företagens kassako, där enorma vinster tas ut och sedan skickas utomlands, medan de unga afrikanska arbetarna som skapat dem blir arbetslösa och trasiga. Jag uppmanar lagstiftarna att lyssna på dessa modiga före detta ChatGPT-datalaboratörer och omedelbart undersöka arbetsförhållandena på Kenyas innehållsmodereringskontor."
I det separata fallet med Meta, en Kenyansk domstol avgjorde att Meta var ansvarigt för arbetarna, inte Sama, vilket var ett viktigt beslut som kan förändra karaktären på outsourcing av teknik.
Innehållsmodereringens mörka historia
Innehållsmoderering har en dyster historia som går tillbaka till internets tidiga dagar.
Det moderna internet är starkt censurerat, och skadligt innehåll av olika slag är i stort sett bannlyst från vanliga webbplatser. Men människor försöker fortfarande, och bördan att skydda nätgemenskaper faller ofta på människors axlar.
Den stora volymen av potentiellt stötande innehåll är häpnadsväckande. Som rapporterats av Forbes år 2020Facebooks AI för innehållsanalys och moderering flaggade över 3 miljoner innehåll dagligen som eventuellt bröt mot deras gemenskapsstandarder.
Facebook anställde då cirka 15.000 innehållsmoderatorer som går igenom tusentals innehåll varje dag. Mark Zuckerberg medgav att ungefär 1 av 10 innehållsstycken undkommer nätet och går live på Facebook eller Instagram.
Trots framsteg inom automatiserad innehållsfiltrering är en 2021 års studie Mary's University, Texas, och University of Texas i Austin uppskattade att det finns cirka 100.000 innehållsmoderatorer som arbetar över hela världen.
Författarna konstaterar att mänsklig tolkning ofta är nödvändig på grund av höga krav på noggrannhet, uppgiftens subjektiva karaktär och komplexa, ständigt föränderliga modereringspolicyer.
Akademisk litteratur dokumenterar att moderatorer utvecklar former av posttraumatiskt stressyndrom (PTSD), stress, depression och ångest, bland andra psykiatriska komplikationer. Betalda innehållsmoderatorer brottas med störande innehåll samtidigt som de upprätthåller strikta kvoter för acceptabel arbetsprestation och betalas ofta låga löner.
Vissa innehållsmoderatorer utsätts för extremt upprörande innehåll när de arbetar med det som har blivit känt som "terrorkön" - modereringskön som innehåller det mest upprörande innehållet, inklusive mord, självmord och tortyr.
I The Verge's 2019 års redovisning av innehållsmoderering för Google och YouTubeen moderator som arbetar med Alphabet i Austin, Texas, sa: "Om jag sa att det inte påverkade mig skulle det vara en fullständig lögn." "Det du ser varje dag ... det formar dig", fortsatte han. "I början såg du alla säga: 'Hej, hur mår du?'" "Alla var vänliga. De gick runt och checkade in. Nu är det ingen som ens vill prata med de andra."
En annan sa: "Varje dag ser man någon halshugga någon eller någon skjuta sin flickvän. Efter det känner man att wow, den här världen är verkligen galen. Det får dig att må dåligt. Du känner att det inte finns något värt att leva för. Varför gör vi så här mot varandra?"
Medan AI-filter för innehåll förbättras, vilket minskar bördan för mänskliga modereringsteam, är mänsklig tillsyn fortfarande avgörande för att fånga innehåll som vänder bort blicken.
När det gäller att bygga upp AI-träningsdataset är det i slutändan oundvikligt att människor i viss utsträckning exponeras för skadligt innehåll.
Om kenyanska domstolar dömer till innehållsmoderatorernas fördel och andra outsourcade entreprenörer följer deras exempel, kommer AI-bolagen inte att ha något annat val än att betala ut skälig ersättning för denna ansträngande uppgift.
När allt kommer omkring beror prestandan hos deras modeller på det.
