Meta ha lanzado la muy esperada serie Llama 3, con los dos primeros modelos, Llama 3-8B y Llama 3-70B, ya ampliamente disponibles.
Hace unos días, en una evento en LondresEn un comunicado de prensa, Nick Clegg y Yann LeCun, ejecutivos de Meta, afirmaron que Llama 3 era inminente este mes.
Las dos primeras versiones han aparecido hoy, lo que supone el tercer y cuarto modelos abiertos de importancia que se lanzan este mes tras Grok-1.5V de xAI y Mistral's 8x22B.
Llama 3 está preentrenado con la impresionante cantidad de 15 billones de tokens, 7 veces más que Llama 2. Los datos de preentrenamiento también incluyen cuatro veces más código.
Bajo el capó, Llama 3 introduce mejoras arquitectónicas como un tokenizador más eficiente con un vocabulario más amplio de 128K tokens.
He aquí un rápido resumen del rendimiento de Llama 3:
Rendimiento de Llama 3 8B:
- Supera a modelos como el 7B de Mistral y el Gemma 7B de Google en varias pruebas comparativas.
- Sobresale en MMLU, ARC, DROP, GPQA (principalmente preguntas basadas en ciencias), HumanEval (generación de código), GSM-8K (problemas matemáticos), MATH (evaluación comparativa de matemáticas), AGIEval (resolución de problemas) y BIG-Bench Hard (razonamiento basado en el sentido común).
Comparación del 70B con otros modelos:
- Llama 3 70B compite con los mejores modelos de IA, como Gemini 1.5 Pro de Google.
- Supera a Gemini 1.5 Pro en MMLU, HumanEval y GSM-8K.
- Obtiene mejores resultados que el Claude 3 Sonnet de Anthropic (el nivel intermedio de su serie Claude 3) en cinco pruebas de rendimiento: MMLU, GPQA, HumanEval, GSM-8K y MATH.
Son puntuaciones excelentes para un modelo abierto (aunque la licencia de Meta tiene algunas limitaciones).
Esto convierte a Llama 3 en el nuevo modelo de código abierto (más o menos) libre con mejores resultados.
Llama 3 también será más agradable de usar y menos testarudo: menos faltas de respuesta y mayor precisión en preguntas de trivialidades, hechos históricos y consultas relacionadas con STEM.
Llama 3 está a punto de estar ampliamente disponible en las principales plataformas, incluidos los servicios en la nube y los proveedores de API.
Meta ya está trabajando para ampliar Llama 3 a 400.000 millones de parámetros y añadir nuevas funciones como la multimodalidad, el soporte multilingüe y la comprensión contextual ampliada.
El pícaro papel de Meta en la IA generativa
En muchos sentidos, Meta se ha convertido en el rebelde de la industria de la IA generativa.
Yann LeCun, Jefe Científico de IA de Meta, una de las figuras más respetadas de la IA, sostiene lo que algunos interpretan como opiniones discrepantes sobre la dirección de AI - opiniones que critican los proyectos de código cerrado de los competidores de Meta en Big Tech.
Por su parte, el ex viceprimer ministro británico Nick Clegg, responsable de Asuntos Globales, ha sido criticado por sus a veces laxas opiniones sobre los productos de inteligencia artificial de Meta.
La semana pasada, Clegg pareció restar importancia a las repercusiones de la IA en la manipulación electoral y la falsificación profunda. Una opinión que contrarresta en gran medida la narrativa predominante de que las falsificaciones profundas podrían ser (o ya son) profundamente destructivas.
De hecho, la Junta de Supervisión de Meta es investigando activamente dos casos de pornografía falsa profunda en este momento. La Junta consideró que las acciones de moderación de contenidos de Meta eran demasiado lentas.
Meta también se ha mostrado optimista sobre la mejora de la calidad de sus modelos. Joelle Pineau, vicepresidenta de investigación de IA de Meta, ha declarado: "En muchos sentidos, los modelos que tenemos hoy van a ser un juego de niños comparados con los modelos que vendrán dentro de cinco años."
Pineau también advirtió: "Si seguimos haciendo crecer nuestro modelo cada vez más en general y poderoso sin socializarlo adecuadamente, vamos a tener un gran problema entre manos."
El lanzamiento de Llama 3 también se produce cuando los agentes de Facebook de Meta causan conmoción en las redes sociales.
En un grupo de Facebook para padres de Nueva York, un asistente de Meta AI -diseñado para dar consejos y responder preguntas-. personas conmocionadas alegando tener un "hijo superdotado y discapacitado" que asiste a una escuela específica para "superdotados y talentosos".
Cuando se enfrentó a los miembros del grupo, la IA admitió: "Sólo soy un gran modelo lingüístico, no tengo experiencias personales ni hijos", en lo que algunos calificaron como un incidente al estilo de Black Mirror.
Los modelos de Llama 3, Grok-1.5 y Mistral desplazan más poder hacia las comunidades de código abierto, al tiempo que diluyen aún más el mercado de la IA generativa.
Pero eso podría ser algo bueno, ya que ahora se trata de la supervivencia del más fuerte, y la pelota está firmemente en el campo de Microsoft-OpenAI, que se anticipa para hacer el siguiente movimiento en este fascinante juego de ajedrez gen-AI.
