MosaicML a dévoilé ses nouveaux modèles d'IA open-source - MPT-30B Base, Instruct et Chat.
Faisant partie de la série MPT (MosaicML Pre Trained Transformer), ces modèles open-source sont considérés comme les plus sophistiqués de leur catégorie, surpassant le GPT-3 dans la plupart des métriques clés.
Mosaïque ont formé leurs nouveaux modèles en utilisant les dernières puces H100 de NVIDIA, sorties au début de l'année.
MPT-30B est le premier LLM publiquement connu entraîné sur des GPU NVIDIA H100 haut de gamme.
Depuis leur introduction le 5 mai 2023, les précédents modèles MPT-7B de Mosaic (Base, Instruct, Chat, StoryWriter) ont été téléchargés plus de 3,3 millions de fois. MPT-30B a 30 milliards de paramètres - bien moins que les 175 milliards de paramètres de GPT-3 ou le prétendu trillion de paramètres de GPT-4.
Mais le nombre de paramètres n'est pas tout, loin de là, puisque MPT-30B a été entraînée sur des séquences plus longues allant jusqu'à 8 000 jetons, soit 4 fois plus que GPT-3, la famille de modèles LLaMA et le modèle Falcon.
MPT-30B peut ainsi mieux gérer les flux de travail d'entreprise à forte intensité de données et surpasser les autres modèles pour les flux de travail à forte intensité de code.
Plusieurs entreprises, telles que Replit, un IDE en ligne de premier plan, et Scatter Lab, une startup spécialisée dans l'IA, ont déjà tiré parti des modèles open-source de la MPT, qui sont plus personnalisables que les modèles propriétaires tels que GPT-3.
Ilan Twig, cofondateur et directeur technique de Navan, a déclaré. "Chez Navan, nous utilisons l'IA générative à travers nos produits et services, alimentant des expériences telles que notre agent de voyage virtuel et notre agent conversationnel d'intelligence économique. Les modèles de base de MosaicML offrent des capacités linguistiques de pointe tout en étant extrêmement efficaces pour affiner et servir l'inférence à l'échelle."
MPT-30B, maintenant disponible à travers le HuggingFace HubLe logiciel est entièrement ouvert et les développeurs peuvent l'affiner en fonction de leurs données.
Mosaic vise à permettre aux entreprises d'intégrer de puissants modèles open-source dans leur flux de travail tout en conservant la souveraineté des données.
L'avantage des logiciels libres
Les modèles à source ouverte sont combler rapidement le fossé avec des concurrents comme OpenAI.
Comme les ressources informatiques nécessaires à la formation et au déploiement des modèles diminuent, les développeurs de logiciels libres n'ont plus besoin de superordinateurs valant plusieurs millions de dollars et dotés de centaines de processeurs haut de gamme pour former leurs modèles.
Il en va de même pour le déploiement des modèles - MPT-30B peut fonctionner sur un seul GPU, et la communauté open-source a même réussi à faire fonctionner une version réduite du modèle LLaMa sur un Raspberry PI.
J'ai exécuté avec succès le modèle LLaMA 7B sur mon Raspberry Pi 4 avec 4GB de RAM. C'est très lent, environ 10sec/token. Mais il semble que l'on puisse faire fonctionner des pipelines cognitifs puissants sur un matériel bon marché. pic.twitter.com/XDbvM2U5GY
- Artem Andreenko 🇺🇦 (@miolini) 12 mars 2023
En outre, les modèles de logiciels libres confèrent des avantages stratégiques aux utilisateurs professionnels.
Par exemple, les entreprises des secteurs de la santé et de la banque peuvent préférer ne pas partager leurs données avec OpenAI ou Google.
Naveen Rao, cofondateur et PDG de MosaicML, considère les projets open-source comme des alliés, affirmant qu'ils "comblent le fossé qui les sépare des modèles à source fermée". Bien qu'il reconnaisse la supériorité du GPT-4 d'OpenAI, il affirme que les modèles open-source ont "franchi le seuil où ces modèles sont en fait extrêmement utiles".
L'IA open-source évolue rapidement, ce qui a conduit certains à accuser les grandes entreprises technologiques de faire pression sur la réglementation pour freiner sa croissance. Les entreprises construisent déjà leurs propres piles d'IA open-source, ce qui leur permet d'économiser de l'argent qui pourrait autrement financer des entreprises comme OpenAI.
A fuite d'une note d'un employé de Google a déclaré que tous les grands développeurs d'IA - Google, Microsoft, Anthropic et OpenAI - sont en concurrence avec les développeurs de logiciels libres.
Les développeurs d'IA à code source ouvert peuvent créer et faire évoluer des modèles plus rapidement que les grandes entreprises technologiques, ce qui leur permet de surpasser les modèles d'IA classiques.
Cela n'est pas sans danger, car les modèles à code source ouvert sont difficiles à contrôler et à réglementer une fois qu'ils sont passés dans le domaine public.
