Ifølge en rapport fra The Information jobber Microsoft med en 500B parameter LLM kalt MAI-1 som kan ta opp kampen med GPT-4 og Googles Gemini modeller.
Vi rapporterte nylig om Microsofts Phi-3 Mini familie av små språkmodeller med alt fra 3,8 B til 14 B parametere. MAI-1 har 500 B parametere og blir dermed den største modellen Microsoft har tatt i bruk.
Størrelsen plasserer den i samme størrelsesorden som GPT-4 og Googles større Gemini modeller. Det ryktes at GPT-4 har 1,76T parametere, men det er en Mixture of Experts (MoE)-modell, så bare rundt 280B parametere er i spill under inferens.
Det er ingen informasjon tilgjengelig om arkitekturen til MAI-1, men hvis det er en tett modell, i motsetning til MoE, så kommer den til å bli ganske kraftig. Metas forventede Llama 3-modell forventes å ha 400B parametere.
Utviklingen av MAI-1 ledes av Mustafa Suleyman, medgrunnlegger og tidligere leder for anvendt AI ved DeepMind.
Mustafa forlot DeepMind for å være med å grunnlegge AI-oppstartsselskapet Inflection i 2022. I mars i år ansatte Microsoft majoriteten av de ansatte i Inflection og betalte $650 millioner for rettighetene til selskapets IP.
MAI-1 er tilsynelatende et helt nytt Microsoft-prosjekt, og ikke en videreføring av et eksisterende Inflection-prosjekt. Det er ikke sagt noe om en lanseringsdato, men vi får kanskje se en forhåndsvisning av MAI-1 den 16. mai på Microsofts Build-utviklerkonferanse.
Microsoft er OpenAIDet faktum at de utvikler sine egne LLM-programmer for å konkurrere med de andre OpenAI er litt overraskende for noen. Sikrer Microsoft seg, forfølger de flere utviklingsstrategier, eller er det noe helt annet?
Microsofts CTO Kevin Scott prøvde å bagatellisere problemet. I et innlegg på LinkedIn sa Scott: "Jeg er ikke sikker på hvorfor dette er nyheter, men bare for å oppsummere det åpenbare: vi bygger store superdatamaskiner for å trene AI-modeller; vår partner Open AI bruker disse superdatamaskinene til å trene grensedefinerende modeller; og så gjør vi begge disse modellene tilgjengelige i produkter og tjenester slik at mange mennesker kan dra nytte av dem. Vi liker denne ordningen godt."
Scott mener kanskje alvor med denne uttalelsen, men når MAI-1 lanseres, kan det føre til at Microsoft blir en direkte konkurrent til selskapet som de har investert milliarder av dollar i.
Vil MAI-1 bli lansert akkurat i tide til OpenAI for å overgå den ved å lansere GPT-5? OpenAI hadde planlagt et arrangement denne torsdagen der det var forventet at selskapet skulle dele oppdateringer og produktdemonstrasjoner, men arrangementet har siden blitt utsatt.
Med mystiske GPT-2-chatboter dukker opp, forsvinner og dukker nå opp igjen, Microsoft bygger enorme modeller, og OpenAI AI-dramaet holder oss på pinebenken.
