Mistral AI est une startup française spécialisée dans l'IA qui fait parler d'elle grâce à ses modèles légers à code source ouvert. Cette attention s'est accompagnée d'un nouveau lot de financement, avec des investissements de 385 millions d'euros, soit $414 millions d'euros, cette semaine.
Le deuxième cycle de financement de la société a été mené par les sociétés de capital-risque Andreessen Horowitz et Lightspeed Venture Partners.
Le débat sur les modèles à code source ouvert par rapport aux modèles propriétaires se poursuit et Mistral AI est résolument du côté du code source ouvert.
Des entreprises comme OpenAI ont été critiqués pour leurs propos alarmistes sur la sécurité des modèles à code source ouvert, beaucoup estimant qu'il s'agit d'une tentative des grandes entreprises technologiques de conserver leur hégémonie.
Mistral AI affirme qu'en formant ses propres modèles, "en les publiant ouvertement et en encourageant les contributions de la communauté, nous pouvons construire une alternative crédible à l'oligopole émergent de l'IA. Les modèles génératifs à poids ouvert joueront un rôle essentiel dans la prochaine révolution de l'IA".
Plusieurs grands investisseurs ont confirmé leur confiance dans cette stratégie. Le financement obtenu par Mistral AI cette semaine valorise l'entreprise à $2 milliards. L'évaluation a donc été multipliée par 7 au cours des six mois qui ont suivi le lancement de l'entreprise.
Mixtral 8x7B
Le mois de septembre a vu la sortie de Mistral 7B, le petit mais puissant LLM de Mistral AI qui a battu ou égalé des modèles open-source plus importants tels que Le lama de Meta 2 34B.
Les modèles propriétaires GPT d'OpenAI sont à juste titre considérés comme la référence en matière de comparaison des performances des modèles. Avec le nouveau modèle de Mistral AI, Mixtral 8x7BL'entreprise s'est donc assuré des droits de vantardise importants à cet égard.
Mixtral 8x7B est un mélange d'experts clairsemé avec une fenêtre contextuelle de 32k. Voici ses performances dans les tests de référence, comparées à celles de Llama 2 et de GPT-3.5.
Les tests de référence sont un bon moyen de se faire une idée de la capacité d'un modèle à remplir différentes fonctions. Les tests ci-dessus étaient les suivants :
- MMLU (QCM dans 57 matières) : signifie Questions à choix multiples dans 57 matières.
- HellaSwag (10 coups) : Évalue la capacité de l'IA à prédire la fin d'un scénario à partir de 10 exemples.
- ARC Challenge (25 coups) : Teste la compréhension des concepts et du raisonnement scientifiques par l'IA après avoir reçu 25 exemples à apprendre avant d'être testée.
- WinoGrande (5 coups) : Teste le raisonnement de bon sens basé sur la résolution d'ambiguïtés dans les phrases, avec 5 exemples permettant à l'IA d'apprendre.
- MBPP (pass@1) : Teste la capacité d'un modèle d'IA à générer des extraits de code Python corrects. L'indicateur "pass@1" mesure le pourcentage de problèmes pour lesquels la première exécution du modèle est correcte.
- GSM-8K (5 coups) : Le test de référence Grade School Math 8K évalue la capacité d'une IA à résoudre des problèmes mathématiques au niveau attendu à l'école primaire, après avoir reçu 5 exemples.
- MT Bench (pour les modèles d'instruction) : Machine Translation Benchmark for Instruct Models mesure la capacité d'une IA à suivre des instructions dans le cadre de tâches de traduction.
Ce qui est encore plus impressionnant que les résultats des tests de référence, c'est la taille et l'efficacité de Mixtral 8x7B. Vous pourriez faire tourner ce modèle localement sur un ordinateur portable décent doté d'environ 32 Go de RAM.
Avec beaucoup plus d'argent à sa disposition, nous pouvons nous attendre à des développements passionnants de la part de Mistral AI.
