Selon un rapport de The Information, Microsoft travaille sur un LLM à paramètre 500B appelé MAI-1 qui pourrait s'attaquer à GPT-4 et à Google. Gemini modèles.
Nous avons récemment publié un article sur le projet de Microsoft Phi-3 Mini de petits modèles linguistiques allant de 3,8 à 14 milliards de paramètres. Avec 500 milliards de paramètres, MAI-1 devrait être le plus grand modèle déployé par Microsoft.
Sa taille la place dans la même catégorie que la GPT-4 et la plus grande de Google. Gemini modèles. Le modèle GPT-4 aurait 1,76 T de paramètres, mais il s'agit d'un modèle de mélange d'experts (MoE), de sorte que seuls 280 B de paramètres environ sont en jeu lors de l'inférence.
Aucune information n'est disponible sur l'architecture de MAI-1, mais s'il s'agit d'un modèle dense, contrairement à MoE, il sera très puissant. Le modèle Llama 3 prévu par Meta devrait avoir 400 milliards de paramètres.
Le développement de MAI-1 est dirigé par Mustafa Suleyman, cofondateur et ancien responsable de l'IA appliquée chez DeepMind.
Mustafa est parti DeepMind pour cofonder la startup d'IA Inflection en 2022. En mars de cette année, Microsoft a embauché la majorité du personnel d'Inflection et a payé $650 millions pour les droits de propriété intellectuelle de l'entreprise.
MAI-1 est apparemment un tout nouveau projet de Microsoft et non la continuation d'un projet Inflection existant. Aucune date de sortie n'a été annoncée, mais nous pourrions avoir un aperçu de MAI-1 le 16 mai, lors de la conférence Build de Microsoft destinée aux développeurs.
Microsoft est OpenAILe plus grand investisseur de l'UE est donc le fait qu'il développe ses propres LLM pour rivaliser avec ceux de l'UE. OpenAI est un peu surprenant pour certains. Microsoft fait-elle des paris, poursuit-elle des stratégies de développement multiples, ou s'agit-il d'une toute autre chose ?
Kevin Scott, directeur technique de Microsoft, a tenté de minimiser le problème. Dans un message publié sur LinkedIn, il a déclaré : "Je ne sais pas pourquoi il s'agit d'une nouvelle, mais pour résumer ce qui est évident : nous construisons de grands superordinateurs pour entraîner des modèles d'IA ; notre partenaire Open AI utilise ces superordinateurs pour entraîner des modèles qui définissent les frontières ; puis nous mettons tous deux ces modèles à disposition dans des produits et des services afin que de nombreuses personnes puissent en bénéficier. Nous aimons beaucoup cet arrangement".
Scott est peut-être sincère dans cette déclaration, mais la sortie de MAI-1 pourrait mettre Microsoft en concurrence directe avec la société dans laquelle il a investi des milliards de dollars.
L'AMI-1 sera-t-elle publiée juste à temps pour le OpenAI pour le supplanter en libérant la GPT-5 ? OpenAI avait prévu un événement pour ce jeudi, au cours duquel l'entreprise devait présenter des mises à jour et des démonstrations de produits, mais l'événement a depuis été reporté.
Avec mystérieux chatbots GPT-2 apparaissant, disparaissant, et maintenant réapparaissant, Microsoft construisant d'énormes modèles, et OpenAI En nous laissant dans l'expectative, le drame de l'IA est implacable.
