Två före detta Google-forskare har grundat ett nytt spännande AI-forskningslabb för att bygga ensembler av mindre AI-modeller som arbetar tillsammans.
Forskningslabbet Sakana, som fått sitt namn efter det japanska ordet för "fisk", har som mål att skapa flera kompakta AI-modeller som samarbetar harmoniskt, ungefär som naturliga system som bara reagerar på lokal information men ändå fungerar som en del av en helhet.
Exempel på detta är fiskstim, fågelflockar och insektssvärmar, som rör sig självständigt men i ett sammanhang.
Duon David Ha och Llion Jones tror att en "svärm" av modeller kan åstadkomma mer än det vanliga tillvägagångssättet att lägga alla modellutbildningsinsatser på en enda kolossal modell.
Ha kommenterade filosofin på följande sätt: "Myror rör sig runt och bildar dynamiskt en bro på egen hand, som kanske inte är den starkaste bron, men de kan göra det direkt och anpassa sig till miljön."
Han betonade vidare: "Jag tror att den här typen av anpassning är ett av de mycket kraftfulla koncept som vi ser i naturliga algoritmer."
Både Ha och Jones anses vara framstående forskare inom området, och Jones var en av de första som föreslog transformatorarkitekturer i 2017 års artikel "Uppmärksamhet är allt du behöver."
Ha har tidigare lett forskningen vid Stability AI och generativ AI vid Google Brain i Japan.
Även om Sakana fortfarande är i sin linda har företaget stora planer, med ett Tokyokontor på gång, vilket bekräftas av Ha. Företaget förblir tystlåtet om sitt finansiella stöd.
Sakanas strategi för AI-utveckling bygger på viss befintlig forskning. Ha och en annan Google-kollega, Yujin Tang, var pionjärer inom ett tillvägagångssätt som kallas "Det sensoriska neuronet som transformator", som förespråkar samarbete mellan flera AI-modeller i stället för en enda, massiv modell.
Intresset för bioinspirerad AI ökar i takt med att forskarna börjar förstå hur biologiska system kan upprätthålla otroliga förmågor med låga effektbehov.
Biologiska hjärnor använder en bråkdel av den kraft som krävs för lätta AI-modeller. IBM presenterade nyligen ett hjärninspirerat analogt GPU-chip med robust prestanda vid lägre strömförbrukning.
Jones konstaterade: "Den mänskliga hjärnan fungerar fortfarande bättre än vår bästa AI", och fortsatte: "Så det är uppenbart att den mänskliga hjärnan gör något rätt som vi inte riktigt har förstått ännu."
Att lämna stora tekniska forskningsteam för att bilda innovativa startups är en väl upptrampad stig, och Jones kommenterade uppriktigt sin erfarenhet utanför Google: "Det är tyvärr sant att säga att jag har så mycket mer hastighet utanför Google." När det gäller Mr Ha:s startup-förslag instämde han: "Jag tyckte bara att det verkade väldigt vettigt."
