Microsoft bygger efter sigende en 500B LLM kaldet MAI-1

7. maj 2024
  • Microsoft er efter sigende ved at bygge en 500B-parametermodel kaldet MAI-1
  • Projektet ledes af den tidligere Google AI og tidligere Inflection CEO Mustafa Suleyman.
  • MAI-1 bliver meget større end andre Microsoft-modeller, herunder den nye Phi-3 Mini-model-familie.

Ifølge en rapport fra The Information arbejder Microsoft på en 500B parameter LLM kaldet MAI-1, der kan tage kampen op med GPT-4 og Googles Gemini modeller.

Vi rapporterede for nylig om Microsofts Phi-3 Mini familie af små sprogmodeller, der spænder fra 3,8B til 14B parametre. Med 500B parametre bliver MAI-1 den største model, Microsoft har implementeret.

Dens størrelse placerer den i samme boldgade som GPT-4 og Googles større Gemini modeller. Det rygtes, at GPT-4 har 1,76T parametre, men det er en Mixture of Experts (MoE)-model, så kun omkring 280B parametre er i spil under inferens.

Der er ingen oplysninger tilgængelige om arkitekturen i MAI-1, men hvis det er en tæt model i modsætning til MoE, så bliver den ret kraftig. Metas forventede Llama 3-model forventes at have 400B parametre.

Udviklingen af MAI-1 ledes af Mustafa Suleyman, medstifter og tidligere leder af anvendt AI hos DeepMind.

Mustafa forlod stedet DeepMind til at være medstifter af AI-startup'en Inflection i 2022. I marts i år hyrede Microsoft størstedelen af Inflections personale og betalte $650 millioner for rettighederne til virksomhedens IP.

MAI-1 er tilsyneladende et helt nyt Microsoft-projekt og ikke en fortsættelse af et eksisterende Inflection-projekt. Der er ikke noget nyt om en udgivelsesdato, men vi får måske en forhåndsvisning af MAI-1 den 16. maj på Microsofts Build-udviklerkonference.

Microsoft er OpenAI's største investor, så det faktum, at den udvikler sine egne LLM'er for at konkurrere med dem fra OpenAI er lidt overraskende for nogle. Er Microsoft ved at sikre sig, forfølge flere udviklingsstrategier eller noget helt andet?

Microsofts CTO Kevin Scott forsøgte at bagatellisere problemet. I et indlæg på LinkedIn sagde Scott: "Jeg er ikke sikker på, hvorfor dette er en nyhed, men bare for at opsummere det indlysende: Vi bygger store supercomputere til at træne AI-modeller; vores partner Open AI bruger disse supercomputere til at træne grænsedefinerende modeller; og så gør vi begge disse modeller tilgængelige i produkter og tjenester, så mange mennesker kan få gavn af dem. Vi kan ret godt lide dette arrangement."

Scott er måske oprigtig i denne udtalelse, men når MAI-1 udkommer, kan det sætte Microsoft i direkte konkurrence med den virksomhed, som de har investeret milliarder af dollars i.

Vil MAI-1 blive frigivet lige i tide til OpenAI til at overgå den ved at frigive GPT-5? OpenAI planlagde en begivenhed på torsdag, hvor virksomheden forventedes at dele opdateringer og produktdemonstrationer, men begivenheden er siden blevet udskudt.

Med mystiske GPT-2 chatbots dukker op, forsvinder og dukker nu op igen, Microsoft bygger enorme modeller, og OpenAI AI-dramaet holder os hen i det uvisse og er ubarmhjertigt.

Deltag i fremtiden


TILMELD DIG I DAG

Klar, kortfattet, omfattende. Få styr på AI-udviklingen med DailyAI

Eugene van der Watt

Eugene har en baggrund som elektronikingeniør og elsker alt, hvad der har med teknologi at gøre. Når han tager en pause fra at læse AI-nyheder, kan du finde ham ved snookerbordet.

×

GRATIS PDF EKSKLUSIVT
Vær på forkant med DailyAI

Tilmeld dig vores ugentlige nyhedsbrev og få eksklusiv adgang til DailyAI's seneste e-bog: 'Mastering AI Tools: Din 2024-guide til forbedret produktivitet'.

*Ved at tilmelde dig vores nyhedsbrev accepterer du vores Politik for beskyttelse af personlige oplysninger og vores Vilkår og betingelser