Google har opprettholdt en eksklusiv Discord-chat for sin AI-chatbot Bard - et sted der Googles ingeniører, produktsjefer og designere åpent kan diskutere og evaluere AI-verktøyets ytelse og verdi.
Interne samtaler har vist at Googles forskere ikke er fullt ut investert i effektiviteten eller nytten av Bard, som fortsatt er et perifert valg sammenlignet med andre AI-chatboter som ChatGPT.
Fra juli til oktober, Bloomberg fikk innsikt i diskusjonsdetaljene på Googles Bard Discord-server fra to deltakere i fellesskapet. Diskusjonene avslørte en intern debatt om Bards effektivitet og bruksområder.
Dominik Rabiej, Senior Product Manager for Bard, uttrykte forsiktig skepsis i en melding på Discord i juli.
"Min tommelfingerregel er at jeg ikke skal stole på LLM-resultater med mindre jeg kan verifisere dem på uavhengig vis", sa han, og satte dermed søkelyset på den vedvarende usikkerheten rundt Bards evner.
En annen fremtredende leder, Cathy Pearl, Bards User Experience Lead, uttrykte også tvetydighet når det gjaldt Bards nytteverdi i den virkelige verden.
Siden introduksjonen i mars som en utfordrer til OpenAIs ChatGPT, har Bard gjennomgått en rekke funksjonsoppdateringer, som for eksempel fotoanalyse og flerspråklig svargenerering. Selv om det er imponerende, vakte det ikke på langt nær like mye oppsikt som OpenAIs lansering av "GPT-4V", som legger til bildegjenkjenning i GPT-4-modellen.
I forrige måned koblet Google Bard ambisiøst til flere av sine Workspace-verktøy som Gmail, Maps, Docs og YouTube, og startet integrasjoner fra 19. september. Ifølge Discord-chatter har det dukket opp flere problemer etter hvert som Bard flettes ytterligere sammen med Googles tilbud.
Det har kommet klager på at AI-verktøyet genererer ubegrunnede fakta og gir potensielt farlige råd, noe som har fått Google til å introdusere en søkeknapp på Bard samme dag som de kunngjorde apputvidelser.
Denne funksjonen gjør det mulig for brukere å validere Bards AI-genererte svar opp mot Googles søkeresultater for å forbedre faktagrunnlaget.
Det har også oppstått kontroverser rundt dem som hjalp til med å lære opp Bard - tusenvis av lavtlønnede underleverandører. Google er ikke alene her - dette er typisk for AI-industrien, som er avhengig av omfattende tredjepartsassistanse fra datomerkingsselskaper.
Generativ kunstig intelligens har utfordret Googles dominans innen søk med verktøy fra OpenAI og ulike oppstartsbedrifter, noe som potensielt kan undergrave søk og dermed annonseinntektene.
Discord-gruppen har også vært preget av brukerdiskusjoner om ulike sensitive Google-relaterte temaer. Et medlem ble angivelig utvist fra gruppen etter å ha tatt opp etiske bekymringer angående Prosjekt Nimbus, en kontrakt på $1,2 milliarder kroner for Google og Amazon om å levere AI-verktøy til Israels militær.
Til tross for de mange ulike synspunktene på ressurskostnader og Bards nøyaktighet, bekreftet produktsjef Warkentin at de har arbeidet målrettet for å "redusere hallusinasjoner og øke faktakunnskapen", og at det har skjedd merkbare forbedringer siden Bards lansering.
Men Rabiej minnet brukerne om at Bard, i likhet med alle LLM-er, mangler en genuin forståelse av tekstene den behandler, og understreket dens generative natur.
Bard er kanskje ikke Googles flaggskip innen AI så lenge, med diskusjoner om et nytt multimodalt kalt Prosjekt Gemini brygging. Det har imidlertid vært lite konkret å diskutere om det ennå.
