Twee ex-Google onderzoekers hebben een nieuw intrigerend AI onderzoekslab opgericht om ensembles van kleinere AI modellen te bouwen die samenwerken.
Het onderzoekslaboratorium Sakana, genoemd naar het Japanse woord voor "vis", wil meerdere compacte AI-modellen creëren die harmonieus samenwerken, vergelijkbaar met hoe natuurlijke systemen alleen reageren op lokale informatie, maar toch handelen als onderdeel van een geheel.
Voorbeelden hiervan zijn scholen vissen, zwermen vogels en zwermen insecten, die onafhankelijk van elkaar bewegen, maar samen.
Het duo David Ha en Llion Jones gelooft dat een "zwerm" van modellen meer kan bereiken dan de gebruikelijke aanpak om alle inspanningen voor modeltraining in één enkel kolossaal model te stoppen.
Ha lichtte de filosofie toe: "Mieren bewegen rond en vormen zelf dynamisch een brug, die misschien niet de sterkste brug is, maar ze kunnen het meteen en passen zich aan de omgeving aan."
Hij benadrukte verder: "Ik denk dat dit soort aanpassing een van de zeer krachtige concepten is die we zien in natuurlijke algoritmen."
Zowel Ha als Jones worden beschouwd als vooraanstaande onderzoekers op dit gebied, waarbij Jones een van de eersten was die transformatorarchitecturen voorstelde in het artikel "Aandacht is alles wat je nodig hebt."
Ha leidde eerder onderzoek bij Stability AI en generatieve AI bij Google Brain in Japan.
Hoewel Sakana nog in de kinderschoenen staat, heeft het grootse plannen met een kantoor in Tokio in de pijplijn, zoals Ha heeft bevestigd. Het bedrijf houdt zich op de vlakte over de financiële steun.
Sakana's benadering van AI-ontwikkeling is gebaseerd op bestaand onderzoek. Ha en een andere Google-collega, Yujin Tang, zijn pioniers op het gebied van een aanpak die "...Het sensorische neuron als transformatorwaarin wordt gepleit voor de samenwerkingskracht van meerdere AI-modellen in plaats van één enkel, massief model.
De interesse in bio-geïnspireerde AI neemt toe nu onderzoekers beginnen te ontcijferen hoe biologische systemen ongelooflijke capaciteiten behouden met een laag energieverbruik.
Biologische hersenen gebruiken een minuscule fractie van de energie die nodig is voor lichtgewicht AI-modellen. IBM onthulde onlangs een op de hersenen geïnspireerde analoge GPU-chip die robuuste prestaties kan leveren bij een lager energieverbruik.
Jones merkte op: "Het menselijk brein werkt nog steeds beter dan onze beste AI," en vervolgde: "Dus het is duidelijk dat het menselijk brein iets goed doet wat wij nog niet helemaal doorhebben."
Het verlaten van grote technische onderzoeksteams om innovatieve startups te vormen is een platgetreden pad en Jones merkte eerlijk op over zijn ervaring buiten Google: "Het is helaas waar om te zeggen dat ik veel meer snelheid heb buiten Google." Over het opstartvoorstel van Mr. Ha zei hij ook: "Ik vond het gewoon heel logisch."
