Microsoft starebbe costruendo un LLM da 500 miliardi chiamato MAI-1

7 maggio 2024
  • Secondo quanto riferito, Microsoft sta costruendo un modello a 500 miliardi di dollari chiamato MAI-1.
  • Il progetto è guidato da Mustafa Suleyman, ex CEO di Google AI ed ex CEO di Inflection.
  • Il MAI-1 sarà molto più grande di altri modelli Microsoft, compresa la nuova famiglia di modelli Phi-3 Mini.

Secondo un rapporto di The Information, Microsoft sta lavorando a un LLM con parametro 500B chiamato MAI-1 che potrebbe sfidare GPT-4 e Google. Gemini modelli.

Di recente abbiamo parlato dell'iniziativa di Microsoft Phi-3 Mini famiglia di modelli linguistici di piccole dimensioni che vanno da 3,8B a 14B parametri. Con 500B parametri, MAI-1 è destinato a essere il modello più grande distribuito da Microsoft.

Le sue dimensioni lo pongono allo stesso livello del GPT-4 e di quello più grande di Google. Gemini modelli. Si dice che il GPT-4 abbia 1,76T di parametri, ma è un modello Mixture of Experts (MoE), quindi solo circa 280B parametri sono in gioco durante l'inferenza.

Non sono disponibili informazioni sull'architettura del MAI-1, ma se si tratta di un modello denso, al contrario del MoE, allora sarà piuttosto potente. Il modello Llama 3 previsto da Meta dovrebbe avere 400B parametri.

Lo sviluppo di MAI-1 è guidato da Mustafa Suleyman, cofondatore ed ex responsabile dell'IA applicata presso DeepMind.

Mustafa ha lasciato DeepMind per co-fondare la startup di intelligenza artificiale Inflection nel 2022. Nel marzo di quest'anno, Microsoft ha assunto la maggior parte del personale di Inflection e ha pagato $650 milioni per i diritti sulla proprietà intellettuale dell'azienda.

A quanto pare, MAI-1 è un progetto Microsoft completamente nuovo e non la continuazione di un progetto Inflection esistente. Non ci sono notizie sulla data di uscita, ma potremmo vedere un'anteprima di MAI-1 il 16 maggio alla conferenza per sviluppatori Build di Microsoft.

Microsoft è OpenAIè il più grande investitore, per cui il fatto che stia sviluppando i propri LLM per rivaleggiare con quelli di OpenAI è un po' sorprendente per alcuni. Microsoft sta coprendo le sue scommesse, perseguendo strategie di sviluppo multiple o qualcosa di completamente diverso?

Kevin Scott, CTO di Microsoft, ha cercato di minimizzare la questione. In un post su LinkedIn Scott ha dichiarato: "Non so perché questa sia una notizia, ma per riassumere l'ovvio: noi costruiamo grandi supercomputer per addestrare modelli di IA; il nostro partner Open AI usa questi supercomputer per addestrare modelli che definiscono le frontiere; e poi entrambi rendiamo disponibili questi modelli in prodotti e servizi in modo che molte persone possano beneficiarne. Questo accordo ci piace molto".

Scott potrebbe essere sincero in questa affermazione, ma quando l'AMI-1 verrà rilasciato potrebbe mettere Microsoft in competizione con l'azienda in cui ha investito miliardi di dollari.

L'AMI-1 sarà rilasciato giusto in tempo per OpenAI per metterlo in secondo piano rilasciando il GPT-5? OpenAI L'azienda aveva programmato un evento per giovedì prossimo in cui avrebbe dovuto condividere aggiornamenti e dimostrazioni di prodotti, ma l'evento è stato rinviato.

Con misteriosi chatbot GPT-2 che appaiono, scompaiono e ora riappaiono, Microsoft che costruisce modelli enormi, e OpenAI Tenendoci indovinati, il dramma dell'IA è implacabile.

Partecipa al futuro


ISCRIVITI OGGI

Chiaro, conciso, completo. Per conoscere gli sviluppi dell'IA con DailyAI

Eugene van der Watt

Eugene proviene da un background di ingegneria elettronica e ama tutto ciò che è tecnologico. Quando si prende una pausa dal consumo di notizie sull'intelligenza artificiale, lo si può trovare al tavolo da biliardo.

×
 
 

PDF GRATUITO ESCLUSIVO
Rimanere all'avanguardia con DailyAI


 

Iscriviti alla nostra newsletter settimanale e ricevi l'accesso esclusivo all'ultimo eBook di DailyAI: 'Mastering AI Tools: La tua guida 2024 per una maggiore produttività".



 
 

*Iscrivendosi alla nostra newsletter si accetta la nostra Informativa sulla privacy e il nostro Termini e condizioni