Google zal Gemini, zijn nieuwe LLM, naar verwachting in december uitbrengen en er wordt verwacht dat het GPT-4 met enige afstand zal overtreffen.
Gemini is een basismodel dat vanaf de grond is opgebouwd door Google's DeepMind en Brain AI-teams. Het is het eerste echte multimodale model, wat betekent dat het tekst, afbeeldingen en video kan verwerken. GPT-4 haalt op dat gebied slechts 2 uit 3.
Veel van de hype rond de prestaties van Gemini is gebaseerd op een rapport van Semi Analysis waarin brutaalweg wordt beweerd dat "Gemini GPT-4 met 5X verslaat".
Het 5x prestatiecijfer is een verwijzing naar de rekenkracht die is gebruikt om Gemini te trainen. Deze is naar schatting ongeveer 5 keer zo groot als de rekenkracht die werd gebruikt om GPT-4 te trainen. Rekenkracht is een interessante benchmark, maar meer FLOPS betekent niet automatisch een beter model.
Bij gebrek aan officiële prestatiecijfers tweette Sam Altman al snel een sarcastisch commentaar over de beweringen.
ongelofelijk dat google die semianalyse gast hun interne marketing/recruiting grafiek liet publiceren lol
- Sam Altman (@sama) 29 augustus 2023
Elon Musk reageerde op zijn tweet met de vraag: "Zijn de cijfers verkeerd?", maar kreeg geen antwoord van Altman.
Gemini heeft meer dan 430 miljard parameters, vergeleken met de topschatting van 200 miljard die GPT-4 heeft. Het zou veel rekenkracht hebben gekost om een model van die grootte te trainen, en Google heeft er genoeg van.
Het rapport van Semi Analysis gebruikte "GPU-rijk" en "GPU-arm" om Google te vergelijken met AI-startups die aanzienlijk minder rekenkracht tot hun beschikking hebben.
Het is een eerlijke vergelijking, ook al is het gebruik van "GPU" als het over Google gaat een beetje een verkeerde benaming. Het echte voordeel dat Google heeft bij het trainen van zijn modellen zijn zijn eigen Tensor Processing Units of TPU's.
Terwijl iedereen zich in allerlei bochten wringt om de GPU's van Nvidia te kopen, loopt Google met zijn TPU-chips ver voorop in de wedloop om modellen te trainen. Gemini werd getraind op Google's TPUv5-chips die tegelijkertijd met 16.384 chips kunnen werken.
Gemini en AlphaGo
Een deel van de geheime saus in Gemini komt van hoe Google de mogelijkheden van AlphaGo heeft geïntegreerd. AlphaGo is het door DeepMind ontwikkelde programma dat de wereldkampioen in het spel Go versloeg.
De strategische besluitvorming en het dynamische contextbegrip die tot die overwinning hebben geleid, zullen Gemini naar verwachting een groot voordeel geven ten opzichte van het redeneervermogen van GPT-4.
AlphaGo werd beter in Go door tegen zichzelf te spelen. Gemini zou hetzelfde zelf kunnen doen om te leren van zijn eigen interacties, en niet alleen van gebruikersinteractie.
Gegevens zijn het echte verschil
Het belangrijkste voordeel dat Google heeft, is waarschijnlijk de enorme hoeveelheid gegevens die het bedrijf tot zijn beschikking heeft om Gemini te trainen.
OpenAI greep wat het maar kon aan internetgegevens, maar vecht nu tegen de onvermijdelijke rechtszaken en ziet zijn GPTBot steeds vaker geblokkeerd.
Google heeft waarschijnlijk zijn aandeel gehad in het schrapen van 'riskante' gegevens, maar het bedrijf bezit enorme hoeveelheden bedrijfseigen gegevens. Het is niet duidelijk wat er in Gemini's trainingsdataset zat, maar het zou gemakkelijk gegevens van YouTube, Google Books, Google Scholar en zijn enorme zoekindex kunnen bevatten.
Hopelijk hoeven we niet tot december te wachten op echte benchmarkvergelijkingen om te zien of Gemini echt beter is dan GPT-4. Zou OpenAI net lang genoeg kunnen wachten met het uitbrengen van GPT-5 om Gemini na de lancering af te troeven?
