Au cours des six derniers mois, nous avons assisté à un boom révolutionnaire des alimenté par l'IA Les LLM (Large Language Models) occupent le devant de la scène. Mais est-il toujours nécessaire qu'un produit ou un service d'IA soit basé sur des LLM ? Selon un article, les nouveaux modèles linguistiques auto-apprenants du MIT ne sont pas basés sur des LLM et peuvent surpasser certains des autres grands systèmes d'IA qui dominent actuellement le secteur.
Un groupe de chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT a mis au point une nouvelle façon d'aborder les modèles linguistiques de l'IA.
Il s'agit d'une réalisation révolutionnaire qui met l'accent sur les modèles de langage plus petits et sur leur capacité à résoudre les problèmes d'inefficacité, ainsi que les problèmes de protection de la vie privée liés au développement de grands modèles d'intelligence artificielle basés sur des données textuelles.
Avec l'émergence des L'équipe d'OpenAI ChatGPT basé sur les modèles de langage GPT-3 et GPT-4, de nombreuses entreprises se sont lancées dans la course à l'IA, notamment Google Bard, et d'autres entreprises. IA générative qui permettent de générer du texte, des images et même des vidéos.
Toutefois, pour produire des résultats d'une qualité irréprochable, ces systèmes s'appuient sur un grand nombre de données dont le traitement informatique est coûteux. Nombre de ces systèmes importent des données pour la formation via des API, ce qui comporte des risques tels que les fuites de données et d'autres problèmes liés à la protection de la vie privée.
Enchaînement textuel
Selon un nouveau document intitulé L'entartage en tant qu'auto-apprentissage robuste Dans une étude publiée actuellement dans le dépôt en ligne de préimpression arXiv, les chercheurs notent que les nouveaux modèles de langage auto-apprenants du MIT peuvent résoudre le problème de la compréhension de certaines tâches linguistiques que les modèles de langage de grande taille rencontrent. Ils qualifient cette avancée révolutionnaire d'implication textuelle.
Les modèles reposent sur le concept selon lequel, s'il y a deux phrases - une prémisse et une hypothèse, dans le cas où une prémisse de la première phrase est vraie, il est probable que l'hypothèse le soit aussi.
Dans un déclaration publiée sur le blog du MIT CSAIL, un exemple de cette structure serait que si "tous les chats ont une queue", l'hypothèse "un chat tabby a une queue" est susceptible d'être vraie. Cette approche permet de réduire les biais dans les Modèles d'IASelon le communiqué, les nouveaux modèles linguistiques auto-apprenants du MIT sont plus performants que les modèles linguistiques de plus grande taille.
"Nos modèles d'implication auto-entraînés à 350 millions de paramètres, sans étiquettes générées par l'homme, surpassent les modèles de langage supervisés avec 137 à 175 milliards de paramètres", a déclaré Hongyin Luo, associée postdoctorale au MIT CSAIL et auteure principale de l'étude. "
Il a également ajouté que cette approche pourrait être très bénéfique pour les systèmes d'IA actuels et remodeler les systèmes d'apprentissage automatique de manière à ce qu'ils soient plus évolutifs, plus fiables et plus rentables lorsqu'ils utilisent des modèles linguistiques.
Les nouveaux modèles d'auto-apprentissage des langues du MIT sont encore limités
Même si les nouveaux modèles linguistiques auto-apprenants du MIT promettent beaucoup lorsqu'il s'agit de résoudre des problèmes de classification binaire, ils restent limités à la résolution de problèmes de classification multi-classes. Cela signifie que l'implication textuelle ne fonctionne pas aussi bien lorsque le modèle est confronté à des choix multiples.
Selon James Glass, professeur au MIT et chercheur principal au CSAIL, qui est également l'auteur de l'article, cette recherche pourrait mettre en lumière des méthodes efficaces et efficientes pour former les LLM à comprendre les problèmes d'implication contextuelle.
"Alors que le domaine des LLM connaît des changements rapides et spectaculaires, cette recherche montre qu'il est possible de produire des modèles de langage relativement compacts qui obtiennent de très bons résultats dans les tâches de compréhension de référence par rapport à leurs homologues de taille à peu près équivalente, voire à des modèles de langage beaucoup plus grands", a-t-il déclaré.
Cette recherche n'est que le début de futures technologies d'IA qui pourraient apprendre par elles-mêmes et être plus efficaces, durables et axées sur la confidentialité des données. L'article sur les nouveaux modèles linguistiques auto-apprenants du MIT sera présenté en juillet lors de la réunion de l'Association for Computational Linguistics à Toronto. Le projet est également soutenu par le Programme Innovation AI de Hong Kong.
