Mistral AI es una empresa francesa de inteligencia artificial que acapara titulares con sus modelos ligeros de código abierto. Junto con la atención llegó un nuevo lote de financiación, ya que aseguró inversiones de 385 millones de euros, o $414m, esta semana.
La segunda ronda de financiación de la empresa fue liderada por las empresas de capital riesgo Andreessen Horowitz y Lightspeed Venture Partners.
La polémica sobre los modelos de código abierto frente a los de propiedad está servida y Mistral AI se sitúa firmemente en el lado del código abierto.
Empresas como OpenAI se han criticados por su alarmismo sobre la seguridad de los modelos de código abierto, y muchos afirman que se trata de un intento de las grandes tecnológicas de mantener su hegemonía.
Mistral AI afirma que al entrenar sus propios modelos "liberándolos abiertamente y fomentando las contribuciones de la comunidad, podemos construir una alternativa creíble al emergente oligopolio de la IA. Los modelos generativos de peso abierto desempeñarán un papel fundamental en la próxima revolución de la IA".
Varios grandes inversores confirmaron su confianza en esta estrategia. Con la financiación obtenida esta semana, Mistral AI está valorada en 1.400 millones de euros. Esto supone multiplicar por 7 su valoración en los seis meses transcurridos desde su lanzamiento.
Mixtral 8x7B
En septiembre salió a la venta Mistral 7B, el pequeño pero potente LLM de Mistral AI que supera o iguala a modelos de código abierto más grandes como Llama de Meta 2 34B.
Los modelos patentados GPT de OpenAI se consideran, con razón, el patrón oro a la hora de comparar el rendimiento de los modelos. Con el nuevo modelo de Mistral AI, Mixtral 8x7Bla empresa se ha asegurado un importante derecho de fanfarronería en este sentido.
Mixtral 8x7B es un Mezcla dispersa de expertos con una ventana de contexto de 32k. He aquí su rendimiento en pruebas comparativas con Llama 2 y GPT-3.5.
Las pruebas comparativas son una buena forma de hacerse una idea de lo bueno que es un modelo a la hora de realizar distintas funciones. Las pruebas anteriores fueron:
- MMLU (Preguntas de respuesta múltiple en 57 temas): Significa preguntas de opción múltiple en 57 asignaturas.
- HellaSwag (10 disparos): Evalúa la capacidad de la IA para predecir el final de un escenario habiéndole dado 10 ejemplos.
- Desafío ARC (25 disparos): Pone a prueba la comprensión de conceptos y razonamientos científicos por parte de la IA tras recibir 25 ejemplos de los que aprender antes de someterse a la prueba.
- WinoGrande (5 ejemplos): Prueba el razonamiento de sentido común basado en la resolución de ambigüedades en las frases, con 5 ejemplos para que la IA aprenda de ellos.
- MBPP (pass@1): Prueba la capacidad de un modelo de IA para generar fragmentos de código Python correctos. La métrica pass@1 mide el porcentaje de problemas en los que la primera compleción del modelo fue correcta.
- GSM-8K (5 disparos): El parámetro Grade School Math 8K evalúa la capacidad de una IA para resolver problemas matemáticos de palabras al nivel esperado en primaria tras haberle proporcionado 5 ejemplos.
- MT Bench (para modelos Instruct): Machine Translation Benchmark for Instruct Models mide lo bien que una IA puede seguir instrucciones en el contexto de tareas de traducción.
Lo que es aún más impresionante que los resultados de las pruebas de referencia es lo pequeño y eficiente que es Mixtral 8x7B. Este modelo podría funcionar localmente en un portátil decente con unos 32 GB de RAM.
Con mucho más dinero a su disposición, podemos esperar novedades interesantes de Mistral AI.
