Dos ex investigadores de Google han fundado un nuevo e intrigante laboratorio de investigación en IA para crear conjuntos de modelos de IA más pequeños que trabajen juntos.
El laboratorio de investigación Sakana, que toma su nombre de la palabra japonesa para "pez", prevé crear múltiples modelos compactos de IA que colaboren armoniosamente, de forma muy parecida a cómo los sistemas naturales responden sólo a la información local pero actúan como parte de un todo.
Algunos ejemplos son los bancos de peces, las bandadas de pájaros y los enjambres de insectos, que se mueven de forma independiente pero cohesionada.
El dúo formado por David Ha y Llion Jones cree que un "enjambre" de modelos podría lograr más que el planteamiento habitual de volcar todos los esfuerzos de formación de modelos en un único modelo colosal.
Abundando en la filosofía, Ha comentó: "Las hormigas se mueven y forman dinámicamente un puente por sí mismas, que quizá no sea el más fuerte, pero pueden hacerlo enseguida y adaptarse a los entornos."
Y añadió: "Creo que este tipo de adaptación es uno de los conceptos más poderosos que vemos en los algoritmos naturales."
Tanto Ha como Jones son considerados investigadores distintivos en el campo, siendo Jones uno de los primeros en proponer arquitecturas de transformadores en el artículo de 2017 "Atención es todo lo que necesitas."
Anteriormente, Ha dirigió la investigación en Stability AI y la IA generativa en Google Brain (Japón).
Aunque todavía incipiente, Sakana tiene grandes planes, con una oficina en Tokio en proyecto, según ha confirmado Ha. La empresa no se pronuncia sobre su financiación.
El enfoque de Sakana para el desarrollo de la IA se basa en algunas investigaciones ya existentes. Ha y otro colega de Google, Yujin Tang, fueron pioneros en un enfoque denominado "La neurona sensorial como transformadorque aboga por el poder de colaboración de varios modelos de IA frente a uno único y masivo.
El interés por la IA bioinspirada aumenta a medida que los investigadores empiezan a descifrar cómo los sistemas biológicos mantienen capacidades increíbles con bajas demandas de energía.
Los cerebros biológicos utilizan una fracción minúscula de la potencia necesaria para los modelos ligeros de IA. IBM acaba de presentar un chip GPU analógico inspirado en el cerebro capaz de ofrecer un rendimiento robusto a menor consumo.
Jones observó: "El cerebro humano sigue funcionando mejor que nuestra mejor IA", y continuó: "Así que, claramente, el cerebro humano está haciendo algo bien que aún no hemos captado".
Dejar los grandes equipos de investigación tecnológica para formar startups innovadoras es un camino trillado, y Jones comentó con franqueza su experiencia fuera de Google: "Desgraciadamente, es cierto que tengo mucha más velocidad fuera de Google". Sobre la propuesta de la startup del Sr. Ha, coincidió: "Para mí tenía mucho sentido".
