Volgens een rapport van The Information werkt Microsoft aan een 500B parameter LLM genaamd MAI-1 die het op kan nemen tegen GPT-4 en Google's Gemini modellen.
We hebben onlangs bericht over Microsofts Phi-3 Mini familie van kleine taalmodellen met 3,8B tot 14B parameters. Met 500B parameters wordt MAI-1 het grootste model dat Microsoft heeft ingezet.
Door zijn grootte ligt hij in dezelfde buurt als GPT-4 en Google's grotere Gemini modellen. GPT-4 heeft volgens de geruchten 1,76T parameters, maar het is een Mixture of Experts (MoE) model, dus er zijn slechts ongeveer 280B parameters in het spel tijdens de inferentie.
Er is geen informatie beschikbaar over de architectuur van MAI-1, maar als het een dicht model is, in tegenstelling tot MoE, dan zal het behoorlijk krachtig zijn. Meta's verwachte Llama 3 model zal naar verwachting 400B parameters hebben.
De ontwikkeling van MAI-1 wordt geleid door Mustafa Suleyman, medeoprichter en voormalig hoofd van toegepaste AI bij DeepMind.
Mustafa links DeepMind om in 2022 mede-oprichter te worden van AI-startup Inflection. In maart van dit jaar nam Microsoft het grootste deel van het Inflection-personeel in dienst en betaalde het $650 miljoen voor de rechten op het IP van het bedrijf.
MAI-1 is blijkbaar een volledig nieuw project van Microsoft in plaats van een voortzetting van een bestaand Inflection-project. Er is nog niets gezegd over een releasedatum, maar mogelijk krijgen we op 16 mei een preview van MAI-1 te zien tijdens Microsofts Build-ontwikkelaarsconferentie.
Microsoft is OpenAIde grootste investeerder, dus het feit dat het zijn eigen LLM's ontwikkelt om te wedijveren met die van OpenAI is voor sommigen een beetje verrassend. Is Microsoft zich aan het indekken, meerdere ontwikkelingsstrategieën aan het volgen, of iets heel anders?
Kevin Scott, CTO van Microsoft, probeerde de kwestie te bagatelliseren. In een bericht op LinkedIn zei Scott: "Ik weet niet zeker waarom dit nieuws is, maar om het voor de hand liggende samen te vatten: wij bouwen grote supercomputers om AI-modellen te trainen; onze partner Open AI gebruikt deze supercomputers om grensverleggende modellen te trainen; en vervolgens maken we deze modellen allebei beschikbaar in producten en diensten zodat veel mensen ervan kunnen profiteren. Deze regeling bevalt ons wel."
Scott mag dan wel oprecht zijn in deze verklaring, maar als MAI-1 wordt uitgebracht, kan het Microsoft regelrecht in concurrentie stellen met het bedrijf waarin het miljarden dollars heeft geïnvesteerd.
Komt MAI-1 net op tijd uit voor OpenAI om het te overtreffen door GPT-5 vrij te geven? OpenAI had een evenement gepland voor aanstaande donderdag waar het bedrijf naar verwachting updates en productdemonstraties zou delen, maar het evenement is inmiddels uitgesteld.
Met mysterieuze GPT-2 chatbots verschijnen, verdwijnen en weer verschijnen, Microsoft bouwt enorme modellen en OpenAI Het AI-drama is meedogenloos en houdt ons in het ongewisse.
