OpenAI is weer eens behoorlijk stil, met GPT-4o's veelgehypte voicechatfuncties die veel langzamer worden uitgerold dan iemand had verwacht.
Maar er zijn geruchten over nieuwe projecten in de maak, waaronder ZoekGPT, dat generatieve AI en surfen op het web combineert, en het mysterieuzere "Project Strawberry".
De oorsprong van Strawberry gaat terug tot november 2023, toen een model (meer een trainingstechniek) met de naam Q* opdook in lekken van Reuters.
Er werd zelfs gespeculeerd dat Q* potentieel gevaarlijk was en een rol speelde bij het ontslag van CEO Sam Altman vorig jaar.
Er werd gedacht dat Q* een geavanceerd redeneermodel zou combineren met een AI-agent die het internet zou kunnen verkennen.
Ondanks de dramatische krantenkoppen 'OpenAI zit op een apocalyptisch krachtig model', werd de legitimiteit van OpenAI destijds sterk betwist.
Meer details over het Q*-project doken op in mei en juni van dit jaar, waardoor het werd omgedoopt tot Project Strawberry of gewoon Strawberry. Volgens ReutersStrawberry omvat een gespecialiseerde methode om AI-modellen te trainen om het internet autonoom te verkennen en 'diepgaand onderzoek' uit te voeren.
De Q verwijst waarschijnlijk naar Q-learning, een reeds lang bestaande techniek voor reinforcement learning (RL). Wat de ster (*) betreft, is er meer onzekerheid. Volgens Reuters is het vergelijkbaar met een methode die is ontwikkeld op Stanford en "Self-Taught Reasoner" of "STaR" wordt genoemd. Anderen zeggen dat het te maken heeft met een zoekalgoritme met de naam A*.
Bronnen vermeldden dat OpenAI wil dat het model onderzoek doet door autonoom op het web te browsen, bijgestaan door een "computer-using agent" (CUA) - wat ook een belangrijk onderdeel is van SearchGPT.
Volgens deze bronnen wil OpenAI dat Strawberry "long-horizon tasks" (LHT) uitvoert, waarbij complexe planning en uitvoering over langere perioden plaatsvinden.
Stanford professor Noah Goodman, een van de bedenkers van STaR, vertelde Reuters over de technologie, "Ik denk dat dat zowel opwindend als angstaanjagend is... als het die kant op blijft gaan, hebben we als mensen serieuze dingen om over na te denken."
Toen er naar Strawberry werd gevraagd, gaf een woordvoerder van OpenAI een algemene verklaring over de AI-ontwikkelingsdoelen van het bedrijf:
"We willen dat onze AI-modellen de wereld meer zien en begrijpen zoals wij dat doen. Voortdurend onderzoek naar nieuwe AI-mogelijkheden is een gangbare praktijk in de industrie, met een gedeeld geloof dat deze systemen in de loop van de tijd beter zullen gaan redeneren."
Sociale media roeren de pan
Niet lang na het bericht van Reuters, begin augustus, plaatste Altman een foto van aardbeien met het bijschrift "ik hou van de zomer in de tuin", waardoor de speculaties over het Strawberry-project weer oplaaiden.
ik hou van de zomer in de tuin pic.twitter.com/Ter5Z5nFMc
- Sam Altman (@sama) 7 augustus 2024
Toen begon de gebruiker iruletheworldmo, een soort AI-gericht meme/satire-account (met een profielfoto van Theodore Twombly, gespeeld door Joaquin Phoenix, uit de AI-themafilm Her, die geassocieerd wordt met Altman), aardbei-gerelateerde inhoud te posten, hintend op een mogelijke 'niveau twee' doorbraak in AI.
De gebruiker postte: "welkom op niveau twee. hoe voel je je? heb ik je laten voelen?" Altman, CEO van OpenAI, reageerde met "amazing tbh".
Deze uitwisseling veroorzaakte een kettingreactie van berichten met aardbeienthema's en massale speculatie op X en Reddit.
welkom op niveau twee.
hoe voel je je?
heb ik je laten voelen?
- (@iruletheworldmo) 7 augustus 2024
Aardbei neemt een andere wending
Onlangs nog, De onthulde informatie dat OpenAI zich voorbereidt op de lancering van een versie van Strawberry als onderdeel van een chatbot en deze mogelijk dit najaar al integreert in ChatGPT.
OpenAI zou ook de capaciteiten van Strawberry hebben gedemonstreerd aan ambtenaren van de Amerikaanse nationale veiligheidsdienst.
Volgens The Information ontwikkelt OpenAI twee verschillende versies van Strawberry:
- Deze kleinere, vereenvoudigde versie is bedoeld voor integratie in chatgebaseerde toepassingen zoals ChatGPT. Het doel is om de redeneermogelijkheden te verbeteren in scenario's waar gebruikers meer doordachte, gedetailleerde antwoorden nodig hebben in plaats van snelle antwoorden.
- Deze grotere, krachtigere versie wordt gebruikt om hoogwaardige "synthetische" trainingsgegevens te genereren voor OpenAI's volgende vlaggenschip, het taalmodel met de codenaam "Orion".
Synthetische gegevens gegenereerd door Strawberry kunnen de afhankelijkheid van op internet gescrapte tekst en afbeeldingen voor training verminderen.
Dat zou kunnen leiden tot nauwkeurigere en betrouwbaardere AI-modellen, waarmee hardnekkige problemen zoals AI-"hallucinaties" of ineenstorting van het model.
Vreemd genoeg komen deze karakteriseringen van Strawberry niet zo goed overeen met de eerdere beschrijvingen van Q*.
Misschien kunnen we speculeren dat Strawberry, de autonome agent, autonoom op het web surft en zijn 'diepe onderzoek' gebruikt om uiteindelijk gegevens te synthetiseren.
Misschien is dat rekenkundig efficiënter en nuttiger voor modeltraining dan gewoon de ruwe gegevens zelf schrapen?
AI weet niet hoeveel R's er in aardbei zitten
Hier neemt het verhaal een bizarre en ironische wending.
Strawberry zou vernoemd kunnen zijn naar een woord waarmee de huidige AI-modellen, waaronder enkele van de meest geavanceerde, vaak moeite hebben om correct te spellen.
Vraag een AI hoeveel 'r's er in 'aardbei' zitten en er is een kans dat het zelfverzekerd 'twee' antwoordt in plaats van het juiste 'drie'.
- Rob DenBleyker (@RobDenBleyker) 26 augustus 2024
Klinkt belachelijk, toch? Ik geloofde het zelf ook niet totdat ik het met Claude probeerde.
Toen dit voor het eerst aan het licht kwam, beweerden sommigen dat dit een soort 'easter egg' of grap was binnen de systemen van OpenAI.
Maar aangezien Claude hetzelfde reageert als ChatGPT, lijkt dat onwaarschijnlijk, tenzij AI-bedrijven achter de schermen samenspannen over niche-aardbeiengrappen.
De verklaring hierachter is elegant in zijn eenvoud.
Taalmodellen zijn, ondanks de naam, op wiskunde gebaseerde systemen. Ze begrijpen woorden niet 'echt'. Tekst wordt vertaald naar code, waardoor het risico bestaat dat context en betekenis op woordniveau verloren gaan.
Waarom aardbei deze tekortkoming veroorzaakt, is de meest raadselachtige vraag.
In ieder geval blijft het onduidelijk of OpenAI de naam "Strawberry" heeft gekozen als een speelse knipoog naar dit veelvoorkomende AI struikelblok of puur toeval. Het lijkt iets wat Altman zou kunnen doen, of Strawberry nu echt is of niet.
Wat er verder gaat gebeuren in dit bizarre maar besseninteressante (...) aardbeienverhaal is voor iedereen een raadsel. Om eerlijk te zijn, krijg ik in dit stadium het gevoel dat geen van de speculatieve 'bewijzen' die we hebben van de grote nieuwsverkooppunten helemaal representatief is voor wat er gaande is bij OpenAI.
We zullen moeten wachten op SearchGPT en/of GPT-5 om te zien hoe de producten van OpenAI zich ontwikkelen dankzij Strawberry en hun andere projecten.
