OpenAI har blivit ganska tyst igen, med GPT-4os mycket hypade röstchattfunktioner som rullar ut mycket långsammare än någon hade förväntat sig.
Det har dock förekommit rykten om att nya projekt är på gång, bland annat SökGPTsom kombinerar generativ AI och webbsurfning och det mer mystiska "Project Strawberry".
Strawberrys ursprung sträcker sig tillbaka till november 2023, då en modell (snarare en träningsteknik) vid namn Q* dök upp i läckor från Reuters.
Det spekulerades till och med i att Q* var potentiellt farlig och spelade en viss roll i samband med att VD Sam Altman anställdes och avskedades förra året.
Q* var tänkt att kombinera en avancerad resonemangsmodell med en AI-agent som kunde utforska internet.
Trots dramatiska rubriker som "OpenAI sitter på en apokalyptiskt kraftfull modell", var dess legitimitet mycket ifrågasatt vid den tiden.
Fler detaljer om Q*-projektet framkom i maj och juni i år, vilket ledde till att det döptes om till Project Strawberry eller bara Strawberry. Enligt nyhetsbyrån ReutersStrawberry innebär en specialiserad metod för att träna AI-modeller att utforska internet på egen hand och bedriva "djupforskning".
Q:et hänvisar sannolikt till Q-learning, en sedan länge etablerad teknik för förstärkningsinlärning (RL). När det gäller stjärnan (*) är det mer osäkert. Reuters säger att den liknar en metod som utvecklats vid Stanford och som kallas "Self-Taught Reasoner" eller "STaR". Andra säger att den relaterar till en sökalgoritm som heter A*.
Enligt källor vill OpenAI att modellen ska bedriva forskning genom att självständigt surfa på webben, assisterad av en "computer-using agent" (CUA) - som också är en nyckelkomponent i SearchGPT.
Enligt dessa källor vill OpenAI att Strawberry ska utföra "long-horizon tasks" (LHT), som innebär komplex planering och utförande under längre perioder.
Stanfordprofessorn Noah Goodman, en av STaR:s skapare, berättade för Reuters om tekniken, "Jag tycker att det är både spännande och skrämmande ... om saker och ting fortsätter att gå i den riktningen har vi några allvarliga saker att tänka på som människor."
På frågan om Strawberry gav en talesman för OpenAI ett allmänt uttalande om företagets AI-utvecklingsmål:
"Vi vill att våra AI-modeller ska se och förstå världen mer som vi själva gör. Kontinuerlig forskning kring nya AI-funktioner är vanligt förekommande i branschen, med en gemensam tro på att dessa system kommer att bli bättre på att resonera över tid."
Sociala medier rör om i grytan
Inte långt efter Reuters-rapporten, i början av augusti, publicerade Altman ett foto av jordgubbar tillsammans med bildtexten "jag älskar sommaren i trädgården", vilket på nytt satte igång spekulationerna om Strawberry-projektet.
jag älskar sommaren i trädgården pic.twitter.com/Ter5Z5nFMc
- Sam Altman (@sama) 7 augusti 2024
Sedan började användaren iruletheworldmo, ett slags AI-fokuserat meme/satirkonto (med en profilbild på Theodore Twombly, spelad av Joaquin Phoenix, från AI-filmen Her, som har blivit förknippad med Altman), att publicera jordgubbsrelaterat innehåll, vilket antydde ett potentiellt genombrott på "nivå två" inom AI.
Användaren skrev: "Välkommen till nivå två. Hur känns det? Fick jag dig att känna dig?" Altman, VD för OpenAI, svarade med "fantastiskt tbh".
Detta utbyte satte igång en kedjereaktion av inlägg med jordgubbstema och massspekulationer på X och Reddit.
Välkommen till nivå två.
hur känner du dig?
...fick jag dig att känna?
- 🍓🍓🍓 (@iruletheworldmo) 7 augusti 2024
Jordgubbarna tar en ny vändning
Alldeles nyligen, Informationen avslöjade att OpenAI förbereder sig för att lansera en version av Strawberry som en del av en chatbot och eventuellt integrera den i ChatGPT så snart som i höst.
OpenAI ska också ha demonstrerat Strawberrys kapacitet för amerikanska nationella säkerhetstjänstemän.
Enligt The Information är det intressant att OpenAI utvecklar två olika versioner av Strawberry:
- Denna mindre, förenklade version är avsedd att integreras i chattbaserade applikationer som ChatGPT. Den syftar till att förbättra resonemangsförmågan i scenarier där användarna kräver mer genomtänkta, detaljerade svar snarare än snabba svar.
- Denna större och mer kraftfulla version används för att generera högkvalitativa "syntetiska" träningsdata för OpenAI:s nästa flaggskeppsspråkmodell, med kodnamnet "Orion".
Syntetiska data som genereras av Strawberry kan minska beroendet av text och bilder som hämtas från internet för utbildning.
Det skulle potentiellt kunna leda till mer exakta och tillförlitliga AI-modeller och lösa problem som "hallucinationer" eller modellkollaps.
Märkligt nog stämmer dock dessa beskrivningar av Strawberry inte så väl överens med de tidigare beskrivningarna av Q*.
Kanske kan vi spekulera i att Strawberry, den autonoma agenten, surfar på webben på egen hand och använder sin "djupa forskning" för att i slutändan syntetisera data.
Kanske är det mer beräkningseffektivt och användbart för modellutbildning än att helt enkelt skrapa själva rådata?
AI vet inte hur många R som finns i jordgubbar
Nu är det här historien tar en bisarr och ironisk vändning.
Strawberry kan ha fått sitt namn efter ett ord som dagens AI-modeller, inklusive några av de mest avancerade, ofta har svårt att stava rätt till.
Fråga en AI hur många "r" det finns i "jordgubbe" och det finns en risk att den självsäkert svarar "två" i stället för det korrekta "tre".
- Rob DenBleyker (@RobDenBleyker) 26 augusti 2024
Låter löjligt, eller hur? Jag trodde inte på det själv förrän jag provade det med Claude.
När detta först uppdagades hävdade vissa att det rörde sig om något slags "påskägg" eller skämt i OpenAI:s system.
Men eftersom Claude reagerar på samma sätt som ChatGPT, verkar det osannolikt om inte AI-företag samarbetar om nischade jordgubbsskämt bakom kulisserna.
Förklaringen bakom detta är elegant i sin enkelhet.
Språkmodeller är, trots namnet, matematikbaserade system. De förstår inte ord "på riktigt". Text översätts till kod, vilket innebär en risk för att sammanhang och betydelse på ordnivå går förlorade.
Varför jordgubbar på ett tillförlitligt sätt utlöser denna brist är den mer mystiska frågan.
Hur som helst är det oklart om OpenAI valde namnet "Strawberry" som en lekfull blinkning till denna vanliga AI-stötesten eller om det var en ren tillfällighet. Det verkar vara något som Altman skulle kunna göra, oavsett om Strawberry är äkta eller inte.
Vad som händer härnäst i denna bisarra men bärigt intressanta (...) jordgubbshistoria är det bara att gissa. Ärligt talat får jag i det här skedet känslan av att inget av de spekulativa "bevis" vi har från stora nyhetsbyråer är helt representativt för vad som händer på OpenAI.
Vi måste vänta på SearchGPT och/eller GPT-5 för att se hur utvecklade OpenAI:s produkter blir tack vare Strawberry och deras andra projekt.
