Microsoft bygger angivelig en 500B LLM kalt MAI-1

7. mai 2024

  • Microsoft bygger angivelig en 500B-parametermodell kalt MAI-1
  • Prosjektet ledes av Mustafa Suleyman, tidligere Google AI og tidligere administrerende direktør i Inflection
  • MAI-1 blir mye større enn andre Microsoft-modeller, inkludert den nye Phi-3 Mini-modellfamilien

Ifølge en rapport fra The Information jobber Microsoft med en 500B parameter LLM kalt MAI-1 som kan ta opp kampen med GPT-4 og Googles Gemini modeller.

Vi rapporterte nylig om Microsofts Phi-3 Mini familie av små språkmodeller med alt fra 3,8 B til 14 B parametere. MAI-1 har 500 B parametere og blir dermed den største modellen Microsoft har tatt i bruk.

Størrelsen plasserer den i samme størrelsesorden som GPT-4 og Googles større Gemini modeller. Det ryktes at GPT-4 har 1,76T parametere, men det er en Mixture of Experts (MoE)-modell, så bare rundt 280B parametere er i spill under inferens.

Det er ingen informasjon tilgjengelig om arkitekturen til MAI-1, men hvis det er en tett modell, i motsetning til MoE, så kommer den til å bli ganske kraftig. Metas forventede Llama 3-modell forventes å ha 400B parametere.

Utviklingen av MAI-1 ledes av Mustafa Suleyman, medgrunnlegger og tidligere leder for anvendt AI ved DeepMind.

Mustafa forlot DeepMind for å være med å grunnlegge AI-oppstartsselskapet Inflection i 2022. I mars i år ansatte Microsoft majoriteten av de ansatte i Inflection og betalte $650 millioner for rettighetene til selskapets IP.

MAI-1 er tilsynelatende et helt nytt Microsoft-prosjekt, og ikke en videreføring av et eksisterende Inflection-prosjekt. Det er ikke sagt noe om en lanseringsdato, men vi får kanskje se en forhåndsvisning av MAI-1 den 16. mai på Microsofts Build-utviklerkonferanse.

Microsoft er OpenAIDet faktum at de utvikler sine egne LLM-programmer for å konkurrere med de andre OpenAI er litt overraskende for noen. Sikrer Microsoft seg, forfølger de flere utviklingsstrategier, eller er det noe helt annet?

Microsofts CTO Kevin Scott prøvde å bagatellisere problemet. I et innlegg på LinkedIn sa Scott: "Jeg er ikke sikker på hvorfor dette er nyheter, men bare for å oppsummere det åpenbare: vi bygger store superdatamaskiner for å trene AI-modeller; vår partner Open AI bruker disse superdatamaskinene til å trene grensedefinerende modeller; og så gjør vi begge disse modellene tilgjengelige i produkter og tjenester slik at mange mennesker kan dra nytte av dem. Vi liker denne ordningen godt."

Scott mener kanskje alvor med denne uttalelsen, men når MAI-1 lanseres, kan det føre til at Microsoft blir en direkte konkurrent til selskapet som de har investert milliarder av dollar i.

Vil MAI-1 bli lansert akkurat i tide til OpenAI for å overgå den ved å lansere GPT-5? OpenAI hadde planlagt et arrangement denne torsdagen der det var forventet at selskapet skulle dele oppdateringer og produktdemonstrasjoner, men arrangementet har siden blitt utsatt.

Med mystiske GPT-2-chatboter dukker opp, forsvinner og dukker nå opp igjen, Microsoft bygger enorme modeller, og OpenAI AI-dramaet holder oss på pinebenken.

Bli med i fremtiden


ABONNER I DAG

Tydelig, kortfattet og omfattende. Få et grep om AI-utviklingen med DagligAI

Eugene van der Watt

Eugene har bakgrunn som elektroingeniør og elsker alt som har med teknologi å gjøre. Når han tar en pause fra AI-nyhetene, finner du ham ved snookerbordet.

×

GRATIS PDF EKSKLUSIV
Hold deg i forkant med DailyAI

Meld deg på vårt ukentlige nyhetsbrev og få eksklusiv tilgang til DailyAIs nyeste e-bok: "Mastering AI Tools: Din 2024-guide til økt produktivitet".

*Ved å abonnere på vårt nyhetsbrev aksepterer du vår Retningslinjer for personvern og vår Vilkår og betingelser