To tidligere Google-forskere har grunnlagt et nytt, spennende AI-forskningslaboratorium for å bygge ensembler av mindre AI-modeller som jobber sammen.
Forskningslaboratoriet Sakana, oppkalt etter det japanske ordet for "fisk", ser for seg å skape flere kompakte AI-modeller som samarbeider harmonisk, i likhet med hvordan naturlige systemer kun reagerer på lokal informasjon, men likevel fungerer som en del av en helhet.
Eksempler på dette er fiskestimer, fugleflokker og insektsflokker, som beveger seg uavhengig av hverandre, men som holder sammen.
Duoen David Ha og Llion Jones mener at en "sverm" av modeller kan oppnå mer enn den vanlige tilnærmingen, som går ut på å samle all modellopplæringen i en enkelt kolossal modell.
Ha utdyper filosofien slik: "Maurene beveger seg rundt og danner dynamisk en bro av seg selv, som kanskje ikke er den sterkeste broen, men de kan gjøre det med en gang og tilpasse seg omgivelsene."
"Jeg tror denne typen tilpasning er et av de mest kraftfulle konseptene vi ser i naturlige algoritmer", understreket han.
Både Ha og Jones regnes som markante forskere på feltet, og Jones var en av de første til å foreslå transformatorarkitekturer i artikkelen "Oppmerksomhet er alt du trenger."
I mellomtiden har Ha tidligere ledet forskningen ved Stability AI og generativ AI ved Google Brain i Japan.
Selv om Sakana fortsatt er i startgropen, har de store planer, med et Tokyo-kontor på trappene, noe Ha bekrefter. Firmaet er fortsatt hemmelighetsfullt om sin finansielle støtte.
Sakanas tilnærming til AI-utvikling er basert på eksisterende forskning. Ha og en annen Google-kollega, Yujin Tang, var pionerer innen en tilnærming som ble kalt "Sansenevronet som transformator", og tar til orde for at flere AI-modeller kan samarbeide i stedet for en enkelt, massiv modell.
Interessen for bioinspirert kunstig intelligens øker i takt med at forskerne begynner å avkode hvordan biologiske systemer opprettholder utrolige evner med lavt energibehov.
Biologiske hjerner bruker en forsvinnende liten brøkdel av den kraften som kreves for lette AI-modeller. IBM presenterte nylig en hjerneinspirert analog GPU-brikke med robust ytelse ved lavere strømforbruk.
Jones bemerket: "Menneskehjernen fungerer fortsatt bedre enn vår beste AI", og fortsatte: "Så det er tydelig at menneskehjernen gjør noe riktig som vi ikke helt har forstått ennå."
Det er en velbrukt vei å gå fra store teknologiske forskningsteam til innovative oppstartsbedrifter, og Jones sa åpenhjertig om sin erfaring utenfor Google: "Det er dessverre sant å si at jeg har så mye mer fart på sakene utenfor Google." Da Ha kom med forslaget om å starte en ny bedrift, sa han seg enig: "Det ga bare veldig god mening for meg."
