Googles video, der viste den nye model Geminis evner, var intet mindre end fantastisk. Desværre lever sandheden om, hvor god Gemini er, og hvad den kan, ikke op til markedsføringshypen.
Da vi første gang så demovideoen, hvor Gemini interagerede i realtid med oplægsholderen, blev vi blæst bagover. Vi var så begejstrede, at vi overså nogle vigtige ansvarsfraskrivelser i begyndelsen og accepterede videoen for pålydende.
Teksten i de første par sekunder af videoen siger: "Vi har optaget optagelser for at teste den på en lang række udfordringer ved at vise den en række billeder og bede den om at ræsonnere over, hvad den ser."
Hvad der virkelig skete bag kulisserne, er årsagen til kritik, som Google fik, og de etiske spørgsmål, det rejser.
Gemini så ikke en live-video af oplægsholderen, der tegnede en and eller flyttede rundt på kopper. Og Gemini reagerede heller ikke på de stemmemeddelelser, du hørte. Videoen var en stiliseret markedsføringspræsentation af en enklere sandhed.
I virkeligheden blev Gemini præsenteret for stillbilleder og tekstprompter, der var mere detaljerede end de spørgsmål, du hører præsentatoren stille.
En talsmand for Google bekræftede, at de ord, du hører i videoen, er "ægte uddrag af de faktiske beskeder, der bruges til at producere det følgende Gemini-output".
Så detaljerede tekstprompter, stillbilleder og tekstsvar. Det, Google faktisk demonstrerede, var funktionalitet, som GPT-4 har haft i flere måneder.
Googles blogindlæg viser de stillbilleder og tekstprompter, der faktisk blev brugt.
I eksemplet med bilen spørger oplægsholderen: "Baseret på deres design, hvilken af disse ville køre hurtigst?"
Spørgsmålet, der blev brugt, var: "Hvilken af disse biler er mest aerodynamisk? Den til venstre eller den til højre? Forklar hvorfor ved hjælp af specifikke visuelle detaljer."
Og når man genskaber eksperimentet på Bard, som Gemini nu styrer, er det ikke altid, det lykkes.
Jeg ville virkelig gerne have troet, at Gemini kunne følge bolden, når de tre kopper blev flyttet rundt, men det er desværre heller ikke sandt.
Googles blogindlæg viser, at det var nødvendigt med en masse opfordringer og forklaringer til kopblandingsdemoen.
Det er stadig imponerende, at en AI-model kan gøre dette, men det er ikke det, vi blev solgt i videoen.
Er det alt, Google?
Vi spekulerer bare her, men demoen viste sandsynligvis resultater, som Google fik ved hjælp af Gemini Ultra, som stadig ikke er blevet udgivet.
Så når Gemini Ultra til sidst udkommer, ser det ud til, at den vil være i stand til at gøre det, som GPT-4 har gjort i månedsvis. Konsekvenserne er ikke store.
Er vi ved at ramme et loft, hvad angår AI-kapaciteter? For hvis de bedste AI-hjerner arbejder hos Google, må de da være drivkraften bag banebrydende innovation.
Eller var Google ikke bare langsom til at komme ind i kapløbet, men kæmpede også for at holde trit med resten? De benchmarktal, som Google stolt fremviste, viser, at deres endnu ikke frigivne model slår GPT-4 marginalt i nogle tests. Hvordan vil den klare sig mod GPT-5?
Eller måske har Googles marketingafdeling lavet en fejlvurdering med deres video, men Gemini Ultra vil stadig være bedre, end vi tror. Google siger, at Gemini virkelig er multimodal, og at den forstår video, hvilket virkelig vil være en nyhed for LLM'er.
Vi har endnu ikke set en LLM demonstrere videoforståelse, men når vi gør det, vil det være værd at glæde sig over. Bliver det Gemini Ultra eller GPT-5, der viser os det først?
