Secondo un rapporto di The Information, Microsoft sta lavorando a un LLM con parametro 500B chiamato MAI-1 che potrebbe sfidare GPT-4 e Google. Gemini modelli.
Di recente abbiamo parlato dell'iniziativa di Microsoft Phi-3 Mini famiglia di modelli linguistici di piccole dimensioni che vanno da 3,8B a 14B parametri. Con 500B parametri, MAI-1 è destinato a essere il modello più grande distribuito da Microsoft.
Le sue dimensioni lo pongono allo stesso livello del GPT-4 e di quello più grande di Google. Gemini modelli. Si dice che il GPT-4 abbia 1,76T di parametri, ma è un modello Mixture of Experts (MoE), quindi solo circa 280B parametri sono in gioco durante l'inferenza.
Non sono disponibili informazioni sull'architettura del MAI-1, ma se si tratta di un modello denso, al contrario del MoE, allora sarà piuttosto potente. Il modello Llama 3 previsto da Meta dovrebbe avere 400B parametri.
Lo sviluppo di MAI-1 è guidato da Mustafa Suleyman, cofondatore ed ex responsabile dell'IA applicata presso DeepMind.
Mustafa ha lasciato DeepMind per co-fondare la startup di intelligenza artificiale Inflection nel 2022. Nel marzo di quest'anno, Microsoft ha assunto la maggior parte del personale di Inflection e ha pagato $650 milioni per i diritti sulla proprietà intellettuale dell'azienda.
A quanto pare, MAI-1 è un progetto Microsoft completamente nuovo e non la continuazione di un progetto Inflection esistente. Non ci sono notizie sulla data di uscita, ma potremmo vedere un'anteprima di MAI-1 il 16 maggio alla conferenza per sviluppatori Build di Microsoft.
Microsoft è OpenAIè il più grande investitore, per cui il fatto che stia sviluppando i propri LLM per rivaleggiare con quelli di OpenAI è un po' sorprendente per alcuni. Microsoft sta coprendo le sue scommesse, perseguendo strategie di sviluppo multiple o qualcosa di completamente diverso?
Kevin Scott, CTO di Microsoft, ha cercato di minimizzare la questione. In un post su LinkedIn Scott ha dichiarato: "Non so perché questa sia una notizia, ma per riassumere l'ovvio: noi costruiamo grandi supercomputer per addestrare modelli di IA; il nostro partner Open AI usa questi supercomputer per addestrare modelli che definiscono le frontiere; e poi entrambi rendiamo disponibili questi modelli in prodotti e servizi in modo che molte persone possano beneficiarne. Questo accordo ci piace molto".
Scott potrebbe essere sincero in questa affermazione, ma quando l'AMI-1 verrà rilasciato potrebbe mettere Microsoft in competizione con l'azienda in cui ha investito miliardi di dollari.
L'AMI-1 sarà rilasciato giusto in tempo per OpenAI per metterlo in secondo piano rilasciando il GPT-5? OpenAI L'azienda aveva programmato un evento per giovedì prossimo in cui avrebbe dovuto condividere aggiornamenti e dimostrazioni di prodotti, ma l'evento è stato rinviato.
Con misteriosi chatbot GPT-2 che appaiono, scompaiono e ora riappaiono, Microsoft che costruisce modelli enormi, e OpenAI Tenendoci indovinati, il dramma dell'IA è implacabile.
