Zwei ehemalige Google-Forscher haben ein neues, faszinierendes KI-Forschungslabor gegründet, um Ensembles kleinerer KI-Modelle aufzubauen, die zusammenarbeiten.
Das Forschungslabor Sakana, benannt nach dem japanischen Wort für "Fisch", plant die Entwicklung mehrerer kompakter KI-Modelle, die harmonisch zusammenarbeiten, ähnlich wie natürliche Systeme nur auf lokale Informationen reagieren, aber als Teil eines Ganzen agieren.
Beispiele sind Fischschwärme, Vogelschwärme und Insektenschwärme, die sich unabhängig voneinander, aber gemeinsam bewegen.
Das Duo David Ha und Llion Jones ist der Meinung, dass ein "Schwarm" von Modellen mehr leisten kann als der übliche Ansatz, alle Modellschulungen in ein einziges, riesiges Modell zu stecken.
Ha erläuterte die Philosophie: "Ameisen bewegen sich und bilden dynamisch eine eigene Brücke, die vielleicht nicht die stärkste ist, aber sie können das sofort tun und sich an die Umgebung anpassen."
Er betonte weiter: "Ich denke, diese Art der Anpassung ist eines der sehr leistungsfähigen Konzepte, die wir in natürlichen Algorithmen sehen."
Sowohl Ha als auch Jones gelten als herausragende Forscher auf diesem Gebiet, wobei Jones einer der ersten war, der in seinem 2017 erschienenen Artikel Transformatorarchitekturen vorschlug.Aufmerksamkeit ist alles, was Sie brauchen."
Zuvor leitete Ha die Forschung bei Stability AI und generative KI bei Google Brain in Japan.
Obwohl Sakana noch im Entstehen begriffen ist, hat das Unternehmen große Pläne: Wie Ha bestätigt, ist eine Niederlassung in Tokio in Planung. Über die finanzielle Ausstattung hält sich das Unternehmen bedeckt.
Sakanas Ansatz für die KI-Entwicklung basiert auf einigen bestehenden Forschungsarbeiten. Ha und ein weiterer Google-Kollege, Yujin Tang, leisteten Pionierarbeit mit einem Ansatz, der als "Das sensorische Neuron als Transformator", das die kollaborative Leistung mehrerer KI-Modelle gegenüber einem einzelnen, massiven Modell bevorzugt.
Das Interesse an bioinspirierter KI steigt, da die Forscher zu entschlüsseln beginnen, wie biologische Systeme unglaubliche Fähigkeiten bei geringem Energiebedarf erhalten.
Biologische Gehirne verbrauchen nur einen winzigen Bruchteil der Energie, die für leichte KI-Modelle erforderlich ist. IBM präsentierte kürzlich ein vom Gehirn inspirierter analoger GPU-Chip, der eine robuste Leistung bei geringerem Stromverbrauch bietet.
Jones stellte fest: "Das menschliche Gehirn funktioniert immer noch besser als unsere beste KI", und fuhr fort: "Das menschliche Gehirn macht also offensichtlich etwas richtig, was wir noch nicht ganz verstanden haben."
Das Verlassen großer Tech-Forschungsteams, um innovative Startups zu gründen, ist ein ausgetretener Pfad, und Jones bemerkte offen über seine Erfahrungen außerhalb von Google: "Es ist leider wahr, dass ich außerhalb von Google so viel mehr Geschwindigkeit habe." Auf den Vorschlag von Herrn Ha, ein Startup zu gründen, stimmte er zu: "Es machte für mich einfach sehr viel Sinn."
