OpenAI har gått ganske stille i dørene nok en gang, og GPT-4os mye omtalte stemmechat-funksjoner rulles ut langt saktere enn noen hadde forventet.
Men det har vært rykter om nye prosjekter på gang, blant annet SearchGPTsom kombinerer generativ AI og nettsurfing, og det mer mystiske "Project Strawberry".
Strawberrys opprinnelse strekker seg tilbake til november 2023, da en modell (eller rettere sagt en treningsteknikk) ved navn Q* dukket opp i lekkasjer fra Reuters.
Det ble til og med spekulert i at Q* var potensielt farlig og spilte en viss rolle i ansettelsen og avskjedigelsen av administrerende direktør Sam Altman i fjor.
Q* var tenkt å kombinere en avansert resonneringsmodell med en AI-agent som kunne utforske Internett.
Til tross for dramatiske overskrifter som "OpenAI sitter på en apokalyptisk kraftfull modell", var legitimiteten svært omstridt på den tiden.
I mai og juni i år kom det frem flere detaljer om Q*-prosjektet, og det ble omdøpt til Project Strawberry eller bare Strawberry. Ifølge ReutersStrawberry innebærer en spesialisert metode for å trene opp AI-modeller til å utforske internett på egen hånd og utføre "dyp forskning".
Q-en refererer sannsynligvis til Q-læring, en veletablert teknikk for forsterkningslæring (RL). Når det gjelder stjernen (*), er det mer usikkerhet. Reuters sier at den ligner på en metode som er utviklet ved Stanford, kalt "Self-Taught Reasoner" eller "STaR". Andre sier at den er relatert til en søkealgoritme ved navn A*.
Kilder nevnte at OpenAI ønsker at modellen skal utføre forskning ved å surfe autonomt på nettet, assistert av en "computer-using agent" (CUA) - som også er en nøkkelkomponent i SearchGPT.
Ifølge disse kildene ønsker OpenAI at Strawberry skal utføre "long-horizon tasks" (LHT), som innebærer kompleks planlegging og utførelse over lengre perioder.
Stanford-professor Noah Goodman, en av STaRs skapere, fortalte Reuters om teknologien, "Jeg synes det er både spennende og skremmende ... hvis utviklingen fortsetter i den retningen, har vi alvorlige ting å tenke på som mennesker."
På spørsmål om Strawberry ga en talsperson for OpenAI en generell uttalelse om selskapets mål for utvikling av kunstig intelligens:
"Vi ønsker at AI-modellene våre skal se og forstå verden mer som vi gjør. Kontinuerlig forskning på nye AI-funksjoner er en vanlig praksis i bransjen, med en felles tro på at disse systemene vil bli bedre til å resonnere over tid."
Sosiale medier rører i gryten
Ikke lenge etter Reuters-rapporten, i begynnelsen av august, la Altman ut et bilde av jordbær ledsaget av bildeteksten "i love summer in the garden", noe som satte fart i spekulasjonene om Strawberry-prosjektet igjen.
jeg elsker sommeren i hagen pic.twitter.com/Ter5Z5nFMc
- Sam Altman (@sama) 7. august 2024
Deretter begynte brukeren iruletheworldmo, en slags AI-fokusert meme/satire-konto (med et profilbilde av Theodore Twombly, spilt av Joaquin Phoenix, fra AI-filmen Her, som har blitt assosiert med Altman), å legge ut jordbærrelatert innhold, noe som antydet et potensielt "nivå to"-gjennombrudd innen AI.
Brukeren skrev: "velkommen til nivå to. hvordan føler du deg? fikk jeg deg til å føle deg?" Altman, administrerende direktør i OpenAI, svarte med "fantastisk, tbh".
Denne utvekslingen satte i gang en kjedereaksjon av innlegg med jordbærtema og massespekulasjoner på X og Reddit.
Velkommen til nivå to.
Hvordan føler du deg?
fikk jeg deg til å føle?
- 🍓🍓🍓🍓 (@iruletheworldmo) 7. august 2024
Jordbær tar en ny vending
Helt nylig, Den avslørte informasjonen at OpenAI forbereder seg på å lansere en versjon av Strawberry som en del av en chatbot og muligens integrere den i ChatGPT så snart som i høst.
OpenAI skal også ha demonstrert Strawberrys evner for amerikanske sikkerhetsmyndigheter.
Interessant nok utvikler OpenAI ifølge The Information to forskjellige versjoner av Strawberry:
- Denne mindre, forenklede versjonen er beregnet for integrering i chat-baserte applikasjoner som ChatGPT. Målet er å forbedre resonneringsevnen i scenarier der brukerne trenger mer gjennomtenkte, detaljerte svar i stedet for raske svar.
- Denne større og kraftigere versjonen brukes til å generere "syntetiske" treningsdata av høy kvalitet for OpenAIs neste flaggskip av en språkmodell, med kodenavnet "Orion".
Syntetiske data generert av Strawberry kan redusere avhengigheten av tekst og bilder fra Internett for opplæring.
Det kan potensielt føre til mer nøyaktige og pålitelige AI-modeller, og løse vedvarende problemer som AI-"hallusinasjoner" eller modellkollaps.
Merkelig nok stemmer disse karakteristikkene av Strawberry ikke så godt overens med de tidligere beskrivelsene av Q*.
Kanskje kan vi tenke oss at Strawberry, den autonome agenten, surfer på nettet på egen hånd og bruker sin "dype forskning" til å syntetisere data.
Kanskje det er mer beregningseffektivt og nyttig for modelltrening enn å bare skrape selve rådataene?
AI vet ikke hvor mange R-er det er i jordbær
Det er her historien tar en bisarr og ironisk vending.
Strawberry kan være oppkalt etter et ord som dagens AI-modeller, inkludert noen av de mest avanserte, ofte sliter med å stave riktig.
Spør en kunstig intelligens hvor mange "r-er" det er i "jordbær", og det er en sjanse for at den svarer "to" i stedet for det korrekte "tre".
- Rob DenBleyker (@RobDenBleyker) 26. august 2024
Høres latterlig ut, ikke sant? Jeg trodde ikke på det selv før jeg prøvde det med Claude.
Da dette først ble kjent, hevdet noen at dette var et slags "påskeegg" eller en spøk i OpenAIs systemer.
Men siden Claude reagerer på samme måte som ChatGPT, virker det usannsynlig, med mindre AI-selskaper samarbeider om nisje-jordbærvitser bak kulissene.
Forklaringen bak dette er elegant i sin enkelhet.
Språkmodeller er, til tross for navnet, mattebaserte systemer. De forstår ikke ord "på ordentlig". Tekst oversettes til kode, og dermed risikerer man å miste kontekst og mening på ordnivå.
Hvorfor jordbær utløser denne mangelen på en pålitelig måte, er det mer mystiske spørsmålet.
Uansett er det uklart om OpenAI valgte navnet "Strawberry" som et lekent nikk til denne vanlige AI-knutepunktet, eller om det var en ren tilfeldighet. Det virker som noe Altman kunne gjort, enten Strawberry er ekte eller ikke.
Hva som skjer videre i denne bisarre, men bærinteressante (...) jordbærhistorien, er det ingen som vet. For å være ærlig har jeg på dette stadiet en følelse av at ingen av de spekulative "bevisene" vi har fra de store nyhetsmediene, er helt representative for hva som foregår i OpenAI.
Vi må vente på SearchGPT og/eller GPT-5 for å se hvor mye OpenAIs produkter utvikler seg på bakgrunn av Strawberry og andre prosjekter.
