A Microsoft está alegadamente a construir um LLM de 500B chamado MAI-1

7 de maio de 2024
  • A Microsoft está alegadamente a construir um modelo de parâmetros de 500 mil milhões de euros denominado MAI-1
  • O projeto está a ser liderado por Mustafa Suleyman, ex-Google AI e ex-CEO da Inflection
  • O MAI-1 será muito maior do que outros modelos da Microsoft, incluindo a sua nova família de modelos Phi-3 Mini

De acordo com um relatório do The Information, a Microsoft está a trabalhar num LLM de parâmetro 500B chamado MAI-1 que poderá fazer frente ao GPT-4 e ao Gemini modelos.

Recentemente, informámos sobre o projeto Phi-3 Mini família de pequenos modelos linguísticos que variam entre 3,8B e 14B parâmetros. Com 500B parâmetros, o MAI-1 está definido para ser o maior modelo que a Microsoft implementou.

O seu tamanho coloca-o no mesmo patamar que o GPT-4 e o maior Gemini modelos. Diz-se que o GPT-4 tem 1,76T parâmetros, mas é um modelo de Mistura de Especialistas (MoE), pelo que apenas cerca de 280B parâmetros estão em jogo durante a inferência.

Não existe qualquer informação disponível sobre a arquitetura do MAI-1, mas se for um modelo denso, ao contrário do MoE, então vai ser bastante poderoso. O modelo Llama 3, previsto pela Meta, deverá ter 400B de parâmetros.

O desenvolvimento do MAI-1 está a ser liderado por Mustafa Suleyman, cofundador e antigo diretor de IA aplicada na DeepMind.

Mustafa saiu DeepMind para co-fundar a Inflection, uma empresa de IA, em 2022. Em março deste ano, a Microsoft contratou a maior parte do pessoal da Inflection e pagou $650 milhões pelos direitos de propriedade intelectual da empresa.

O MAI-1 é aparentemente um projeto completamente novo da Microsoft e não uma continuação de um projeto Inflection existente. Não se sabe a data de lançamento, mas talvez possamos ver uma antevisão do MAI-1 a 16 de maio, na conferência de programadores Build da Microsoft.

A Microsoft é OpenAIo maior investidor da UE, pelo que o facto de estar a desenvolver os seus próprios LLMs para rivalizar com os da OpenAI é um pouco surpreendente para alguns. Estará a Microsoft a proteger as suas apostas, a seguir várias estratégias de desenvolvimento ou algo completamente diferente?

O CTO da Microsoft, Kevin Scott, tentou minimizar a questão. Numa publicação no LinkedIn, Scott disse: "Não sei bem porque é que isto é notícia, mas só para resumir o óbvio: construímos grandes supercomputadores para treinar modelos de IA; o nosso parceiro Open AI utiliza estes supercomputadores para treinar modelos que definem fronteiras; e depois ambos disponibilizamos estes modelos em produtos e serviços para que muitas pessoas possam beneficiar deles. Gostamos bastante deste acordo".

Scott pode ser sincero nesta declaração, mas quando o MAI-1 for lançado, poderá colocar a Microsoft em concorrência direta com a empresa na qual investiu milhares de milhões de dólares.

Será que o MAI-1 vai ser lançado mesmo a tempo de OpenAI para o ultrapassar ao libertar a GPT-5? OpenAI agendou um evento para esta quinta-feira, onde se esperava que a empresa partilhasse actualizações e demonstrações de produtos, mas o evento foi entretanto adiado.

Com chatbots misteriosos GPT-2 aparecendo, desaparecendo, e agora reaparecendo, a Microsoft construindo modelos enormes, e OpenAI mantendo-nos na expetativa, o drama da IA é implacável.

Junte-se ao futuro


SUBSCREVER HOJE

Claro, conciso e abrangente. Fique a par dos desenvolvimentos da IA com DailyAI

Eugene van der Watt

Eugene vem de uma formação em engenharia eletrónica e adora tudo o que é tecnologia. Quando faz uma pausa no consumo de notícias sobre IA, pode encontrá-lo à mesa de snooker.

×

PDF GRATUITO EXCLUSIVO
Fique à frente com o DailyAI

Subscreva a nossa newsletter semanal e receba acesso exclusivo ao último livro eletrónico do DailyAI: 'Mastering AI Tools: Seu guia 2024 para aumentar a produtividade'.

*Ao subscrever a nossa newsletter, aceita a nossa Política de privacidade e o nosso Termos e condições