OpenAI er blevet ret stille igen, og GPT-4os meget hypede stemmechatfunktioner rulles langt langsommere ud, end nogen havde forventet.
Men der har været forlydender om nye projekter i støbeskeen, bl.a. Søg i GPT, som kombinerer generativ AI og webbrowsing, og det mere mystiske "Project Strawberry".
Strawberrys oprindelse strækker sig tilbage til november 2023, hvor en model (nærmere bestemt en træningsteknik) ved navn Q* dukkede op i lækager fra Reuters.
Der blev endda spekuleret i, at Q* var potentielt farlig og spillede en vis rolle i CEO Sam Altmans ansættelse og fyring sidste år.
Q* skulle kombinere en avanceret ræsonneringsmodel med en AI-agent, der var i stand til at udforske internettet.
På trods af dramatiske overskrifter som "OpenAI sidder på en apokalyptisk stærk model", var dens legitimitet meget omstridt på det tidspunkt.
Flere detaljer om Q*-projektet kom frem i maj og juni i år, hvor det blev omdøbt til Project Strawberry eller bare Strawberry. Det skriver Reuters.Strawberry involverer en specialiseret metode til at træne AI-modeller til at udforske internettet autonomt og udføre 'dyb forskning'.
Q'et henviser sandsynligvis til Q-learning, en veletableret teknik til forstærkningslæring (RL). Hvad angår stjernen (*), er der mere usikkerhed. Reuters siger, at den ligner en metode, der er udviklet på Stanford, og som kaldes "Self-Taught Reasoner" eller "STaR". Andre siger, at den er relateret til en søgealgoritme ved navn A*.
Kilder nævnte, at OpenAI ønsker, at modellen skal udføre forskning ved selvstændigt at surfe på nettet, assisteret af en "computer-using agent" (CUA) - som også er en nøglekomponent i SearchGPT.
Ifølge disse kilder vil OpenAI have Strawberry til at udføre "long-horizon tasks" (LHT), som involverer kompleks planlægning og udførelse over længere perioder.
Stanford-professor Noah Goodman, en af STaR's skabere, fortalte Reuters om teknologien, "Jeg synes, det er både spændende og skræmmende ... hvis tingene fortsætter i den retning, har vi nogle alvorlige ting at tænke over som mennesker."
Da han blev spurgt om Strawberry, kom en talsmand for OpenAI med en generel udtalelse om virksomhedens mål for AI-udvikling:
"Vi ønsker, at vores AI-modeller skal se og forstå verden mere, som vi gør. Kontinuerlig forskning i nye AI-kapaciteter er en almindelig praksis i branchen med en fælles tro på, at disse systemer vil blive bedre til at ræsonnere over tid."
Sociale medier skaber røre i gryden
Ikke længe efter Reuters-rapporten, i begyndelsen af august, postede Altman et foto af jordbær ledsaget af billedteksten "jeg elsker sommer i haven", hvilket satte gang i spekulationerne om Strawberry-projektet.
Jeg elsker sommer i haven pic.twitter.com/Ter5Z5nFMc
- Sam Altman (@sama) 7. august 2024
Derefter begyndte brugeren iruletheworldmo, en slags AI-fokuseret meme/satire-konto (med et profilbillede af Theodore Twombly, spillet af Joaquin Phoenix, fra AI-temafilmen Her, som er blevet forbundet med Altman), at poste jordbærrelateret indhold og antyde et potentielt "niveau to"-gennembrud inden for AI.
Brugeren skrev: "Velkommen til niveau to. Hvordan har du det? Fik jeg dig til at føle?" Altman, CEO for OpenAI, svarede med "fantastisk tbh".
Denne udveksling satte gang i en kædereaktion af indlæg med jordbærtema og massespekulationer på tværs af X og Reddit.
Velkommen til niveau to.
Hvordan har du det?
fik jeg dig til at føle?
- 🍓🍓🍓 (@iruletheworldmo) 7. august 2024
Jordbær tager endnu en drejning
For nylig, De afslørede oplysninger at OpenAI gør sig klar til at lancere en version af Strawberry som en del af en chatbot og muligvis integrere den i ChatGPT så snart som dette efterår.
OpenAI har angiveligt også demonstreret Strawberrys evner for amerikanske sikkerhedsfolk.
Interessant nok er OpenAI ifølge The Information i gang med at udvikle to forskellige versioner af Strawberry:
- Denne mindre, forenklede version er beregnet til integration i chatbaserede applikationer som ChatGPT. Den har til formål at forbedre evnen til at ræsonnere i scenarier, hvor brugerne har brug for mere gennemtænkte, detaljerede svar i stedet for hurtige svar.
- Denne større og mere kraftfulde version bruges til at generere "syntetiske" træningsdata af høj kvalitet til OpenAI's næste flagskibssprogmodel med kodenavnet "Orion".
Syntetiske data genereret af Strawberry kan reducere afhængigheden af internet-scraped tekst og billeder til træning.
Det kan potentielt føre til mere nøjagtige og pålidelige AI-modeller og løse vedvarende problemer som AI-"hallucinationer" eller modelkollaps.
Men mærkeligt nok stemmer disse beskrivelser af Strawberry ikke så godt overens med de tidligere beskrivelser af Q*.
Måske kunne vi forestille os, at Strawberry, den autonome agent, surfer selvstændigt på nettet og bruger sin "dybe forskning" til i sidste ende at syntetisere data.
Måske er det mere beregningseffektivt og nyttigt til modeltræning end blot at skrabe selve rådataene?
AI ved ikke, hvor mange R'er der er i jordbær
Det er her, historien tager en bizar og ironisk drejning.
Strawberry er måske opkaldt efter et ord, som de nuværende AI-modeller, herunder nogle af de mest avancerede, ofte har svært ved at stave korrekt til.
Spørg en AI, hvor mange r'er der er i "jordbær", og der er en chance for, at den selvsikkert vil svare "to" i stedet for det korrekte "tre".
- Rob DenBleyker (@RobDenBleyker) 26. august 2024
Det lyder latterligt, ikke? Jeg troede ikke selv på det, før jeg prøvede det med Claude.
Da det først kom frem, hævdede nogle, at det var et slags "påskeæg" eller en joke i OpenAI's systemer.
Men da Claude reagerer på samme måde som ChatGPT, virker det usandsynligt, medmindre AI-virksomhederne samarbejder om nichejordbærjokes bag kulisserne.
Forklaringen bag dette er elegant i sin enkelhed.
Sprogmodeller er, på trods af navnet, matematikbaserede systemer. De forstår ikke ord "rigtigt". Tekst oversættes til kode, og dermed er der risiko for tab af kontekst og betydning på ordniveau.
Hvorfor jordbær pålideligt udløser denne mangel, er det mere mystiske spørgsmål.
Under alle omstændigheder er det uklart, om OpenAI valgte navnet "Strawberry" som en sjov hentydning til denne almindelige AI-snublesten eller som en ren tilfældighed. Det virker som noget, Altman kunne finde på at gøre, uanset om Strawberry er ægte eller ej.
Hvad det næste bliver i denne bizarre, men meget interessante (...) jordbærhistorie, kan man kun gisne om. For at være ærlig har jeg på nuværende tidspunkt en fornemmelse af, at ingen af de spekulative "beviser", vi har fra de store nyhedsmedier, er helt repræsentative for, hvad der foregår hos OpenAI.
Vi må vente på SearchGPT og/eller GPT-5 for at se, hvor udviklede OpenAI's produkter bliver på baggrund af Strawberry og deres andre projekter.
