To tidligere Google-forskere har grundlagt et nyt spændende AI-forskningslaboratorium, som skal bygge ensembler af mindre AI-modeller, der arbejder sammen.
Forskningslaboratoriet Sakana, opkaldt efter det japanske ord for "fisk", forestiller sig at skabe flere kompakte AI-modeller, der samarbejder harmonisk, meget lig hvordan naturlige systemer kun reagerer på lokal information, men alligevel fungerer som en del af en helhed.
Eksempler er fiskestimer, fugleflokke og insektsværme, som bevæger sig uafhængigt af hinanden, men som hænger sammen.
Duoen David Ha og Llion Jones mener, at en "sværm" af modeller kan opnå mere end den sædvanlige tilgang, hvor al modeltræning samles i en enkelt kolossal model.
Ha uddyber filosofien: "Myrer bevæger sig rundt og danner dynamisk en bro af sig selv, som måske ikke er den stærkeste bro, men de kan gøre det med det samme og tilpasse sig omgivelserne."
Han understregede desuden: "Jeg tror, at denne form for tilpasning er et af de meget stærke koncepter, som vi ser i naturlige algoritmer."
Både Ha og Jones anses for at være markante forskere på området, og Jones var en af de første til at foreslå transformerarkitekturer i artiklen "Opmærksomhed er alt, hvad du behøver."
I mellemtiden har Ha tidligere stået i spidsen for forskning hos Stability AI og generativ AI hos Google Brain i Japan.
Selv om det stadig er i sin vorden, har Sakana store planer med et Tokyo-kontor i støbeskeen, som Ha har bekræftet. Firmaet er fortsat fåmælt om sin økonomiske opbakning.
Sakanas tilgang til AI-udvikling er baseret på eksisterende forskning. Ha og en anden Google-kollega, Yujin Tang, var pionerer inden for en tilgang, der blev kaldt "Det sensoriske neuron som transformator", som går ind for samarbejde mellem flere AI-modeller frem for en enkelt, massiv model.
Interessen for bio-inspireret AI stiger, efterhånden som forskerne begynder at afkode, hvordan biologiske systemer opretholder utrolige evner med lavt strømforbrug.
Biologiske hjerner bruger en forsvindende lille del af den kraft, der kræves til letvægts AI-modeller. IBM afslørede for nylig en hjerneinspireret analog GPU-chip med robust ydeevne ved lavere strømforbrug.
Jones bemærkede: "Den menneskelige hjerne fungerer stadig bedre end vores bedste AI," og fortsatte: "Så den menneskelige hjerne gør tydeligvis noget rigtigt, som vi ikke helt har opdaget endnu."
At forlade store teknologiske forskningsteams for at danne innovative startups er en velkendt vej, og Jones bemærkede ærligt om sin erfaring uden for Google: "Det er desværre sandt at sige, at jeg har så meget mere hastighed uden for Google." Ha's forslag om at starte en virksomhed var han enig i: "Det gav bare rigtig god mening for mig."
