Alibaba a publié plus de 100 modèles d'IA en code source libre, dont Qwen 2.5 72B, qui surpasse d'autres modèles en code source libre dans les tests de mathématiques et de codage.
L'attention de l'industrie de l'IA en matière de modèles open-source s'est concentrée sur les efforts de Meta avec Llama 3, mais Qwen 2.5 d'Alibaba a considérablement réduit l'écart. La famille de modèles Qwen 2.5, qui vient d'être publiée, comprend de 0,5 à 72 milliards de paramètres, avec des modèles de base généralisés et des modèles axés sur des tâches très spécifiques.
Alibaba affirme que ces modèles sont dotés de "connaissances améliorées et de capacités plus fortes en mathématiques et en codage", avec des modèles spécialisés axés sur le codage, les mathématiques et de multiples modalités, notamment le langage, l'audio et la vision.
Alibaba Cloud a également annoncé une mise à jour de son modèle phare propriétaire Qwen-Max, qu'il n'a pas publié en open-source. Les benchmarks du Qwen 2.5 Max semblent bons, mais c'est le modèle Qwen 2.5 72B qui a suscité le plus d'enthousiasme parmi les fans de logiciels libres.
Les benchmarks montrent que Qwen 2.5 72B bat le vaisseau amiral de Meta, qui est beaucoup plus grand. Llama 3.1 405B sur plusieurs fronts, en particulier dans les domaines des mathématiques et du codage. L'écart entre les modèles à code source ouvert et les modèles propriétaires tels que ceux d'OpenAI et de Google se réduit également rapidement.
Les premiers utilisateurs de Qwen 2.5 72B montrent que le modèle se situe juste en dessous de Sonnet 3.5 et qu'il le bat même. OpenAIModèles o1 dans la codification.
L'open source Qwen 2.5 bat les modèles o1 sur le codage 🤯🤯🤯
Qwen 2.5 obtient de meilleurs résultats que les modèles o1 en matière de codage sur Livebench AI
Qwen est juste en dessous de Sonnet 3.5, et pour un mode open-source, c'est génial !
o1 est bon pour certains codages difficiles mais terrible pour les problèmes de complétion de code et... pic.twitter.com/iazam61eP9
- Bindu Reddy (@bindureddy) 20 septembre 2024
Alibaba précise que ces nouveaux modèles ont tous été entraînés sur son ensemble de données à grande échelle comprenant jusqu'à 18 billions de jetons. Les modèles Qwen 2.5 sont dotés d'une fenêtre contextuelle allant jusqu'à 128k et peuvent générer des sorties allant jusqu'à 8k tokens.
Le passage à des modèles gratuits plus petits, plus performants et à code source ouvert aura probablement un impact plus important sur un grand nombre d'utilisateurs que les modèles plus avancés comme o1. Les capacités marginales et sur appareil de ces modèles signifient que vous pouvez tirer beaucoup de profit d'un modèle gratuit fonctionnant sur votre ordinateur portable.
Le modèle Qwen 2.5, plus petit, offre un codage de niveau GPT-4 pour une fraction du prix, voire gratuitement si vous disposez d'un ordinateur portable décent pour l'exécuter localement.
Nous avons le GPT-4 pour le codage à la maison ! J'ai cherché OpenAI?ref_src=twsrc%5Etfw”>@OpenAI GPT-4 0613 pour différents points de référence et les a comparés avec @Alibaba_Qwen 2.5 Codeur 7B. 👀
> 15 mois après la publication de GPT-0613, nous avons un LLM ouvert sous Apache 2.0, qui fonctionne tout aussi bien. 🤯
> Prix du GPT-4... pic.twitter.com/2szw5kwTe5
- Philipp Schmid (@_philschmid) 22 septembre 2024
Outre les LLM, Alibaba a publié une mise à jour importante de son modèle de langage de vision avec l'introduction de Qwen2-VL. Qwen2-VL peut comprendre des vidéos de plus de 20 minutes et prend en charge les questions-réponses basées sur la vidéo.
Il est conçu pour être intégré dans les téléphones mobiles, les automobiles et les robots afin de permettre l'automatisation des opérations qui nécessitent une compréhension visuelle.
Alibaba a également dévoilé un nouveau modèle de conversion de texte en vidéo dans le cadre de son générateur d'images, la grande famille de modèles Tongyi Wanxiang. Tongyi Wanxiang AI Video peut produire des contenus vidéo de qualité cinématographique et des animations 3D de différents styles artistiques à partir de textes.
Les démonstrations sont impressionnantes et l'utilisation de l'outil est gratuite, bien que vous ayez besoin d'un numéro de téléphone portable chinois pour l'utiliser. inscrivez-vous ici. Sora va avoir une sérieuse concurrence quand, ou si, OpenAI le met sur le marché.
