De acordo com um relatório do The Information, a Microsoft está a trabalhar num LLM de parâmetro 500B chamado MAI-1 que poderá fazer frente ao GPT-4 e ao Gemini modelos.
Recentemente, informámos sobre o projeto Phi-3 Mini família de pequenos modelos linguísticos que variam entre 3,8B e 14B parâmetros. Com 500B parâmetros, o MAI-1 está definido para ser o maior modelo que a Microsoft implementou.
O seu tamanho coloca-o no mesmo patamar que o GPT-4 e o maior Gemini modelos. Diz-se que o GPT-4 tem 1,76T parâmetros, mas é um modelo de Mistura de Especialistas (MoE), pelo que apenas cerca de 280B parâmetros estão em jogo durante a inferência.
Não existe qualquer informação disponível sobre a arquitetura do MAI-1, mas se for um modelo denso, ao contrário do MoE, então vai ser bastante poderoso. O modelo Llama 3, previsto pela Meta, deverá ter 400B de parâmetros.
O desenvolvimento do MAI-1 está a ser liderado por Mustafa Suleyman, cofundador e antigo diretor de IA aplicada na DeepMind.
Mustafa saiu DeepMind para co-fundar a Inflection, uma empresa de IA, em 2022. Em março deste ano, a Microsoft contratou a maior parte do pessoal da Inflection e pagou $650 milhões pelos direitos de propriedade intelectual da empresa.
O MAI-1 é aparentemente um projeto completamente novo da Microsoft e não uma continuação de um projeto Inflection existente. Não se sabe a data de lançamento, mas talvez possamos ver uma antevisão do MAI-1 a 16 de maio, na conferência de programadores Build da Microsoft.
A Microsoft é OpenAIo maior investidor da UE, pelo que o facto de estar a desenvolver os seus próprios LLMs para rivalizar com os da OpenAI é um pouco surpreendente para alguns. Estará a Microsoft a proteger as suas apostas, a seguir várias estratégias de desenvolvimento ou algo completamente diferente?
O CTO da Microsoft, Kevin Scott, tentou minimizar a questão. Numa publicação no LinkedIn, Scott disse: "Não sei bem porque é que isto é notícia, mas só para resumir o óbvio: construímos grandes supercomputadores para treinar modelos de IA; o nosso parceiro Open AI utiliza estes supercomputadores para treinar modelos que definem fronteiras; e depois ambos disponibilizamos estes modelos em produtos e serviços para que muitas pessoas possam beneficiar deles. Gostamos bastante deste acordo".
Scott pode ser sincero nesta declaração, mas quando o MAI-1 for lançado, poderá colocar a Microsoft em concorrência direta com a empresa na qual investiu milhares de milhões de dólares.
Será que o MAI-1 vai ser lançado mesmo a tempo de OpenAI para o ultrapassar ao libertar a GPT-5? OpenAI agendou um evento para esta quinta-feira, onde se esperava que a empresa partilhasse actualizações e demonstrações de produtos, mas o evento foi entretanto adiado.
Com chatbots misteriosos GPT-2 aparecendo, desaparecendo, e agora reaparecendo, a Microsoft construindo modelos enormes, e OpenAI mantendo-nos na expetativa, o drama da IA é implacável.
