Según un informe de The Information, Microsoft está trabajando en un LLM de 500B de parámetros llamado MAI-1 que podría enfrentarse a GPT-4 y a Google's Gemini modelos.
Recientemente informamos sobre la Phi-3 Mini familia de pequeños modelos lingüísticos que van de 3,8 a 14 mil millones de parámetros. Con 500.000 millones de parámetros, MAI-1 será el modelo más grande que Microsoft haya desplegado.
Su tamaño lo sitúa al mismo nivel que el GPT-4 y el mayor Gemini modelos. Se rumorea que GPT-4 tiene 1,76T de parámetros, pero es un modelo de Mezcla de Expertos (MoE), por lo que durante la inferencia sólo entran en juego unos 280B parámetros.
No hay información disponible sobre la arquitectura de MAI-1, pero si se trata de un modelo denso, a diferencia de MoE, entonces va a ser bastante potente. Se espera que el esperado modelo Llama 3 de Meta tenga 400B de parámetros.
El desarrollo de MAI-1 está dirigido por Mustafa Suleyman, cofundador y antiguo responsable de IA aplicada en DeepMind.
Mustafa se fue DeepMind para cofundar la startup de IA Inflection en 2022. En marzo de este año, Microsoft contrató a la mayor parte de la plantilla de Inflection y pagó $650 millones por los derechos de propiedad intelectual de la empresa.
Al parecer, MAI-1 es un proyecto completamente nuevo de Microsoft y no la continuación de un proyecto Inflection ya existente. No se sabe nada de una fecha de lanzamiento, pero es posible que veamos un avance de MAI-1 el 16 de mayo en la conferencia para desarrolladores Build de Microsoft.
Microsoft es OpenAIpor lo que el hecho de que esté desarrollando sus propios LLM para rivalizar con los de OpenAI es un poco sorprendente para algunos. ¿Estará Microsoft arriesgándose, persiguiendo múltiples estrategias de desarrollo, o algo totalmente distinto?
El director técnico de Microsoft, Kevin Scott, intentó restar importancia al asunto. En un post en LinkedIn, Scott dijo: "No sé por qué es noticia, pero resumiendo lo obvio: construimos grandes superordenadores para entrenar modelos de IA; nuestro socio Open AI utiliza estos superordenadores para entrenar modelos que definen fronteras; y luego ambos ponemos estos modelos a disposición en productos y servicios para que mucha gente pueda beneficiarse de ellos. Nos gusta bastante este acuerdo".
Puede que Scott sea sincero en esta afirmación, pero cuando se lance el MAI-1 podría poner a Microsoft directamente en competencia con la empresa en la que ha invertido miles de millones de dólares.
¿Saldrá el MAI-1 justo a tiempo para OpenAI para eclipsarlo liberando GPT-5? OpenAI programó un evento para este jueves en el que se esperaba que la empresa compartiera actualizaciones y demostraciones de productos, pero el evento se ha pospuesto.
Con misteriosos chatbots GPT-2 apareciendo, desapareciendo, y ahora reapareciendo, Microsoft construyendo enormes modelos, y OpenAI Manteniéndonos a la expectativa, el drama de la IA es implacable.
