Dois antigos investigadores da Google fundaram um novo e intrigante laboratório de investigação em IA para criar conjuntos de modelos de IA mais pequenos que funcionem em conjunto.
O laboratório de investigação, Sakana, cujo nome deriva da palavra japonesa para "peixe", prevê a criação de vários modelos compactos de IA que colaborem harmoniosamente, de forma muito semelhante à forma como os sistemas naturais respondem apenas a informações locais, mas actuam como parte de um todo.
Os exemplos incluem cardumes de peixes, bandos de aves e enxames de insectos, que se deslocam de forma independente mas coesa.
A dupla, David Ha e Llion Jones, acredita que um "enxame" de modelos pode conseguir mais do que a abordagem habitual de concentrar todos os esforços de formação de modelos num único modelo colossal.
Elaborando sobre a filosofia, Ha comentou: "As formigas deslocam-se e formam dinamicamente uma ponte por si próprias, que pode não ser a ponte mais forte, mas podem fazê-lo imediatamente e adaptar-se aos ambientes".
E sublinhou: "Penso que este tipo de adaptação é um dos conceitos muito poderosos que vemos nos algoritmos naturais".
Tanto Ha como Jones são considerados investigadores de renome na área, tendo Jones sido um dos primeiros a propor arquitecturas de transformadores no artigo de 2017 "Atenção é tudo o que precisa."
Entretanto, Ha liderou anteriormente a investigação na Stability AI e a IA generativa no Google Brain, no Japão.
Apesar de ainda estar a nascer, Sakana tem grandes planos, com um escritório em Tóquio na calha, como confirmado por Ha. A empresa mantém-se discreta quanto ao seu apoio financeiro.
A abordagem de Sakana ao desenvolvimento da IA baseia-se em alguma investigação existente. Ha e outro colega da Google, Yujin Tang, foram pioneiros numa abordagem denominada "O Neurónio Sensorial como Transformador," defendendo o poder colaborativo de vários modelos de IA em vez de um único e maciço.
O interesse pela IA bio-inspirada está a aumentar à medida que os investigadores começam a descodificar a forma como os sistemas biológicos mantêm capacidades incríveis com baixas exigências de energia.
Os cérebros biológicos utilizam uma fração minúscula da potência necessária para modelos de IA ligeiros. A IBM revelou recentemente um chip GPU analógico inspirado no cérebro, capaz de um desempenho robusto com menor consumo de energia.
Jones observou: "O cérebro humano continua a funcionar melhor do que a nossa melhor IA", continuando: "Portanto, é evidente que o cérebro humano está a fazer algo de bom que ainda não descobrimos".
Deixar as grandes equipas de investigação tecnológica para formar startups inovadoras é um caminho bem trilhado, e Jones comentou com franqueza a sua experiência fora da Google: "Infelizmente, é verdade que tenho muito mais velocidade fora da Google". Relativamente à proposta do Sr. Ha para uma empresa em fase de arranque, ele concordou: "Fazia muito sentido para mim".
