Enligt en rapport från The Information arbetar Microsoft på en 500B parameter LLM som heter MAI-1 som kan ta sig an GPT-4 och Googles Gemini modeller.
Vi rapporterade nyligen om Microsofts Phi-3 Mini familj av små språkmodeller med mellan 3,8 och 14 B parametrar. Med 500B parametrar kommer MAI-1 att vara den största modell som Microsoft har använt.
Dess storlek gör att den ligger i samma härad som GPT-4 och Googles större Gemini modeller. GPT-4 ryktas ha 1,76T parametrar men det är en Mixture of Experts (MoE) -modell så endast cirka 280B parametrar är i spel under inferens.
Det finns ingen information tillgänglig om arkitekturen för MAI-1, men om det är en tät modell, i motsats till MoE, kommer den att bli ganska kraftfull. Metas förväntade Llama 3-modell förväntas ha 400B parametrar.
Utvecklingen av MAI-1 leds av Mustafa Suleyman, medgrundare och tidigare chef för tillämpad AI vid DeepMind.
Mustafa vänster DeepMind att vara med och grunda AI-startupen Inflection 2022. I mars i år anställde Microsoft majoriteten av personalen på Inflection och betalade $650 miljoner för rättigheterna till bolagets immateriella rättigheter.
MAI-1 är uppenbarligen ett helt nytt Microsoft-projekt snarare än en fortsättning på ett befintligt Inflection-projekt. Det finns inget ord om ett lanseringsdatum men vi kanske får se en förhandsvisning av MAI-1 den 16 maj på Microsofts Build-utvecklarkonferens.
Microsoft är OpenAIstörsta investerare, så det faktum att man utvecklar sina egna LLM-utbildningar för att konkurrera med dem från OpenAI är lite överraskande för vissa. Säkrar Microsoft sina satsningar, följer flera utvecklingsstrategier eller något helt annat?
Microsofts CTO Kevin Scott försökte bagatellisera frågan. I ett inlägg på LinkedIn sa Scott: "Jag är inte säker på varför det här är nyheter, men bara för att sammanfatta det uppenbara: vi bygger stora superdatorer för att träna AI-modeller; vår partner Open AI använder dessa superdatorer för att träna gränsdefinierande modeller; och sedan gör vi båda dessa modeller tillgängliga i produkter och tjänster så att många människor kan dra nytta av dem. Vi gillar det här upplägget."
Scott kanske är uppriktig i sitt uttalande, men när MAI-1 släpps kan det innebära att Microsoft hamnar i direkt konkurrens med det företag som man har investerat miljarder dollar i.
Kommer MAI-1 att släppas precis i tid för OpenAI genom att släppa ut GPT-5? OpenAI planerade ett event för denna torsdag där företaget förväntades dela med sig av uppdateringar och produktdemonstrationer men eventet har sedan dess skjutits upp.
Med mystiska GPT-2-chattbottar dyker upp, försvinner och dyker nu upp igen, Microsoft bygger enorma modeller och OpenAI AI-dramat håller oss gissande och är obevekligt.
