Deux anciens chercheurs de Google ont fondé un nouveau laboratoire de recherche sur l'intelligence artificielle afin de créer des ensembles de modèles d'intelligence artificielle plus petits qui fonctionnent ensemble.
Le laboratoire de recherche Sakana, nommé d'après le mot japonais pour "poisson", envisage de créer de multiples modèles d'IA compacts qui collaborent harmonieusement, un peu comme les systèmes naturels qui ne réagissent qu'aux informations locales tout en agissant comme une partie d'un tout.
Il s'agit par exemple de bancs de poissons, de volées d'oiseaux et d'essaims d'insectes, qui se déplacent de manière indépendante mais cohérente.
Le duo, David Ha et Llion Jones, pense qu'un "essaim" de modèles pourrait permettre d'obtenir de meilleurs résultats que l'approche habituelle qui consiste à concentrer tous les efforts de formation de modèles sur un modèle colossal unique.
Pour expliquer cette philosophie, Ha a déclaré : "Les fourmis se déplacent et forment dynamiquement un pont par elles-mêmes, qui n'est peut-être pas le plus solide, mais elles peuvent le faire immédiatement et s'adapter à l'environnement."
Il a ajouté : "Je pense que ce type d'adaptation est l'un des concepts très puissants que l'on retrouve dans les algorithmes naturels".
Ha et Jones sont tous deux considérés comme des chercheurs de premier plan dans ce domaine, Jones ayant été l'un des premiers à proposer des architectures de transformateurs dans l'article de 2017 "L'attention est tout ce dont vous avez besoin."
Par ailleurs, M. Ha a précédemment dirigé des recherches à Stability AI et à l'IA générative à Google Brain au Japon.
Bien qu'encore naissante, Sakana a de grands projets, avec un bureau à Tokyo en préparation, comme l'a confirmé M. Ha. L'entreprise reste très discrète sur son soutien financier.
L'approche de Sakana en matière de développement de l'IA est basée sur des recherches existantes. Ha et un autre collègue de Google, Yujin Tang, ont été les pionniers d'une approche baptisée "Le neurone sensoriel comme transformateurqui préconise la collaboration de plusieurs modèles d'IA plutôt qu'un modèle unique et massif.
L'intérêt pour l'IA bio-inspirée augmente à mesure que les chercheurs commencent à décoder la façon dont les systèmes biologiques maintiennent des capacités incroyables avec une faible consommation d'énergie.
Les cerveaux biologiques utilisent une fraction minuscule de la puissance requise pour les modèles d'IA légers. IBM a récemment dévoilé une puce GPU analogique inspirée du cerveau, capable de performances solides à faible consommation d'énergie.
M. Jones a fait remarquer que "le cerveau humain fonctionne toujours mieux que notre meilleure IA" et a ajouté : "Il est donc clair que le cerveau humain fait quelque chose de bien que nous n'avons pas encore compris".
Quitter les grandes équipes de recherche technologique pour créer des startups innovantes est un chemin bien tracé, et M. Jones a fait remarquer avec franchise son expérience en dehors de Google : "Il est malheureusement vrai de dire que j'ai beaucoup plus de vélocité en dehors de Google". Quant à la proposition de startup de M. Ha, il est d'accord : "Cela m'a semblé tout à fait logique."
