Ifølge en rapport fra The Information arbejder Microsoft på en 500B parameter LLM kaldet MAI-1, der kan tage kampen op med GPT-4 og Googles Gemini modeller.
Vi rapporterede for nylig om Microsofts Phi-3 Mini familie af små sprogmodeller, der spænder fra 3,8B til 14B parametre. Med 500B parametre bliver MAI-1 den største model, Microsoft har implementeret.
Dens størrelse placerer den i samme boldgade som GPT-4 og Googles større Gemini modeller. Det rygtes, at GPT-4 har 1,76T parametre, men det er en Mixture of Experts (MoE)-model, så kun omkring 280B parametre er i spil under inferens.
Der er ingen oplysninger tilgængelige om arkitekturen i MAI-1, men hvis det er en tæt model i modsætning til MoE, så bliver den ret kraftig. Metas forventede Llama 3-model forventes at have 400B parametre.
Udviklingen af MAI-1 ledes af Mustafa Suleyman, medstifter og tidligere leder af anvendt AI hos DeepMind.
Mustafa forlod stedet DeepMind til at være medstifter af AI-startup'en Inflection i 2022. I marts i år hyrede Microsoft størstedelen af Inflections personale og betalte $650 millioner for rettighederne til virksomhedens IP.
MAI-1 er tilsyneladende et helt nyt Microsoft-projekt og ikke en fortsættelse af et eksisterende Inflection-projekt. Der er ikke noget nyt om en udgivelsesdato, men vi får måske en forhåndsvisning af MAI-1 den 16. maj på Microsofts Build-udviklerkonference.
Microsoft er OpenAI's største investor, så det faktum, at den udvikler sine egne LLM'er for at konkurrere med dem fra OpenAI er lidt overraskende for nogle. Er Microsoft ved at sikre sig, forfølge flere udviklingsstrategier eller noget helt andet?
Microsofts CTO Kevin Scott forsøgte at bagatellisere problemet. I et indlæg på LinkedIn sagde Scott: "Jeg er ikke sikker på, hvorfor dette er en nyhed, men bare for at opsummere det indlysende: Vi bygger store supercomputere til at træne AI-modeller; vores partner Open AI bruger disse supercomputere til at træne grænsedefinerende modeller; og så gør vi begge disse modeller tilgængelige i produkter og tjenester, så mange mennesker kan få gavn af dem. Vi kan ret godt lide dette arrangement."
Scott er måske oprigtig i denne udtalelse, men når MAI-1 udkommer, kan det sætte Microsoft i direkte konkurrence med den virksomhed, som de har investeret milliarder af dollars i.
Vil MAI-1 blive frigivet lige i tide til OpenAI til at overgå den ved at frigive GPT-5? OpenAI planlagde en begivenhed på torsdag, hvor virksomheden forventedes at dele opdateringer og produktdemonstrationer, men begivenheden er siden blevet udskudt.
Med mystiske GPT-2 chatbots dukker op, forsvinder og dukker nu op igen, Microsoft bygger enorme modeller, og OpenAI AI-dramaet holder os hen i det uvisse og er ubarmhjertigt.
