Es wird erwartet, dass Google Gemini, sein neues LLM, im Dezember herausbringt, und es wird erwartet, dass es GPT-4 bei weitem übertrifft.
Gemini ist ein grundlegendes Modell, das von Grund auf von den Google-Teams DeepMind und Brain AI entwickelt wurde. Es ist das erste wirklich multimodale Modell, das heißt, es kann Text, Bilder und Videos verarbeiten. GPT-4 erreicht in diesem Punkt nur 2 von 3 Punkten.
Ein großer Teil des Hypes um die Leistung von Gemini beruht auf einer Bericht von Semi Analysis die kühn behauptet, dass "Gemini GPT-4 um das Fünffache übertrifft".
Die 5-fache Leistung bezieht sich auf die für das Training von Gemini verwendete Rechenleistung. Sie ist schätzungsweise 5 Mal höher als die für das Training von GPT-4 verwendete Leistung. Die Rechenleistung ist ein interessanter Maßstab, aber mehr FLOPS bedeuten nicht automatisch ein besseres Modell.
Da es keine offiziellen Leistungszahlen gibt, twitterte Sam Altman einen sarkastischen Kommentar zu den Behauptungen.
Unglaublich, dass Google diesen Semianalyse-Typen dazu gebracht hat, sein internes Marketing/Recruiting-Diagramm zu veröffentlichen lol
- Sam Altman (@sama) 29. August 2023
Elon Musk antwortete auf seinen Tweet mit der Frage: "Sind die Zahlen falsch?", erhielt aber keine Antwort von Altman.
Gemini hat über 430 Milliarden Parameter, verglichen mit den geschätzten 200 Milliarden, die GPT-4 hat. Um ein Modell dieser Größe zu trainieren, wäre eine Menge Rechenleistung erforderlich, und davon hat Google reichlich.
Der Semi Analysis-Bericht verwendet "GPU-rich" und "GPU-poor", um Google mit KI-Startups zu vergleichen, die deutlich weniger Rechenleistung zur Verfügung haben.
Der Vergleich ist durchaus gerechtfertigt, auch wenn die Bezeichnung "GPU" im Zusammenhang mit Google ein wenig irreführend ist. Der eigentliche Vorteil, den Google beim Training seiner Modelle hat, sind seine proprietären Tensor Processing Units oder TPUs.
Während sich alle anderen darum reißen, Nvidias Grafikprozessoren zu kaufen, liegt Google mit seinen TPU-Chips im Rennen um das Modelltraining weit vorne. Gemini wurde auf Googles TPUv5-Chips trainiert, die gleichzeitig mit 16.384 Chips arbeiten können.
Zwillinge und AlphaGo
Ein Teil der geheimen Soße in Gemini kommt daher, wie Google die Fähigkeiten von AlphaGo integriert hat. AlphaGo ist das von DeepMind entwickelte Programm, das den Weltmeister im Spiel Go geschlagen hat.
Die strategische Entscheidungsfindung und das dynamische Verständnis von Zusammenhängen, die zu diesem Sieg geführt haben, dürften Gemini einen großen Vorteil gegenüber der Argumentationsfähigkeit von GPT-4 verschaffen.
AlphaGo wurde in Go besser, indem es gegen sich selbst spielte. Gemini könnte ein ähnliches Selbstspiel anwenden, um aus seinen eigenen Interaktionen zu lernen, und nicht nur aus der Interaktion mit dem Nutzer.
Daten sind der wahre Unterschied
Der wahrscheinlich größte Vorteil, den Google hat, ist die schiere Menge an Daten, die ihm für das Training von Gemini zur Verfügung steht.
OpenAI schnappte sich alle Internetdaten, die es finden konnte, kämpft jetzt aber gegen die Unvermeidliche Rechtsstreitigkeiten und sieht seine GPTBot zunehmend blockiert.
Google hat wahrscheinlich seinen Teil dazu beigetragen, Daten auszuspionieren, aber das Unternehmen besitzt auch riesige Mengen geschützter Daten. Es ist nicht klar, was in den Gemini-Trainingsdatensatz eingeflossen ist, aber er könnte leicht Daten von YouTube, Google Books, Google Scholar und seinem umfangreichen Suchindex enthalten.
Hoffentlich müssen wir nicht bis Dezember warten, um einige echte Benchmarking-Vergleiche zu erhalten, um zu sehen, ob Gemini wirklich besser ist als GPT-4. Könnte es sein, dass OpenAI die Veröffentlichung von GPT-5 nur so lange hinauszögert, um Gemini nach seiner Einführung zu übertrumpfen?
