Einem Bericht von The Information zufolge arbeitet Microsoft an einem 500B-Parameter-LLM namens MAI-1, der es mit GPT-4 und Googles Gemini Modelle.
Wir berichteten kürzlich über Microsofts Phi-3 Mini Familie von kleinen Sprachmodellen mit 3,8B bis 14B Parametern. Mit 500B Parametern wird MAI-1 das größte Modell sein, das Microsoft eingesetzt hat.
Mit seiner Größe liegt er auf dem gleichen Niveau wie GPT-4 und Googles größere Gemini Modelle. GPT-4 hat Gerüchten zufolge 1,76T Parameter, aber es ist ein Mixture of Experts (MoE)-Modell, so dass während der Inferenz nur etwa 280B Parameter im Spiel sind.
Es liegen keine Informationen über die Architektur von MAI-1 vor, aber wenn es sich im Gegensatz zu MoE um ein dichtes Modell handelt, dann wird es ziemlich leistungsfähig sein. Metas voraussichtliches Modell Llama 3 wird voraussichtlich 400B Parameter haben.
Die Entwicklung von MAI-1 wird von Mustafa Suleyman geleitet, Mitbegründer und ehemaliger Leiter der Abteilung für angewandte KI bei DeepMind.
Mustafa ist gegangen DeepMind um 2022 das KI-Startup Inflection mitzugründen. Im März dieses Jahres stellte Microsoft den Großteil der Mitarbeiter von Inflection ein und zahlte $650 Millionen für die Rechte am geistigen Eigentum des Unternehmens.
Bei MAI-1 handelt es sich offenbar um ein völlig neues Microsoft-Projekt und nicht um die Fortsetzung eines bestehenden Inflection-Projekts. Es gibt kein Wort über ein Veröffentlichungsdatum, aber wir könnten eine Vorschau auf MAI-1 am 16. Mai auf Microsofts Build-Entwicklerkonferenz zu sehen bekommen.
Microsoft ist OpenAIDie Tatsache, dass das Unternehmen seine eigenen LLM-Studiengänge entwickelt, um mit denen von OpenAI ist für manche etwas überraschend. Ist Microsoft auf Nummer sicher gegangen, verfolgt es mehrere Entwicklungsstrategien oder etwas ganz anderes?
Microsofts CTO Kevin Scott versuchte, das Problem herunterzuspielen. In einem Beitrag auf LinkedIn sagte Scott: "Ich bin mir nicht sicher, warum dies eine Neuigkeit ist, aber um das Offensichtliche zusammenzufassen: Wir bauen große Supercomputer, um KI-Modelle zu trainieren; unser Partner Open AI nutzt diese Supercomputer, um grenzüberschreitende Modelle zu trainieren; und dann stellen wir beide diese Modelle in Produkten und Diensten zur Verfügung, damit viele Menschen von ihnen profitieren können. Uns gefällt dieses Arrangement sehr gut."
Scott mag diese Aussage aufrichtig meinen, aber wenn MAI-1 auf den Markt kommt, könnte es Microsoft in einen direkten Wettbewerb mit dem Unternehmen bringen, in das es Milliarden von Dollar investiert hat.
Wird MAI-1 gerade rechtzeitig für die OpenAI durch die Freigabe von GPT-5 in den Schatten stellen? OpenAI hatte für diesen Donnerstag eine Veranstaltung angesetzt, auf der das Unternehmen Updates und Produktdemonstrationen vorstellen wollte, aber die Veranstaltung wurde inzwischen verschoben.
Mit geheimnisvolle GPT-2-Chatbots auftauchen, verschwinden und wieder auftauchen, Microsoft baut riesige Modelle, und OpenAI Das KI-Drama ist unerbittlich und lässt uns nicht los.
