Alibaba heeft meer dan 100 open-source AI-modellen vrijgegeven, waaronder Qwen 2.5 72B die andere open-source modellen verslaat in wiskunde en coderingsbenchmarks.
Veel van de aandacht van de AI-industrie in open-source modellen ging uit naar de inspanningen van Meta met Llama 3, maar Qwen 2.5 van Alibaba heeft de kloof aanzienlijk gedicht. De onlangs uitgebrachte Qwen 2.5 familie van modellen varieert in grootte van 0,5 tot 72 miljard parameters met zowel algemene basismodellen als modellen die zich richten op zeer specifieke taken.
Alibaba zegt dat deze modellen worden geleverd met "verbeterde kennis en sterkere capaciteiten in wiskunde en codering" met gespecialiseerde modellen die zich richten op codering, wiskunde en meerdere modaliteiten, waaronder taal, audio en beeld.
Alibaba Cloud kondigde ook een upgrade aan van zijn eigen vlaggenschipmodel Qwen-Max, dat het niet heeft vrijgegeven als open-source. De Qwen 2.5 Max benchmarks zien er goed uit, maar het is het Qwen 2.5 72B model dat de meeste opwinding heeft gegenereerd onder open-source fans.
Uit de benchmarks blijkt dat Qwen 2.5 72B het veel grotere vlaggenschip van Meta verslaat Lama 3.1 405B model op verschillende fronten, vooral in wiskunde en codering. De kloof tussen open-source modellen en propriëtaire modellen zoals die van OpenAI en Google wordt ook steeds kleiner.
Vroege gebruikers van Qwen 2.5 72B laten zien dat het model net niet kan tippen aan Sonnet 3.5 en zelfs Sonnet 3.5 verslaat. OpenAIo1-modellen in codering.
Open source Qwen 2.5 verslaat o1-modellen op codering 🤯🤯
Qwen 2.5 scoort hoger dan de o1 modellen op codering op Livebench AI
Qwen zit net onder Sonnet 3.5, en voor een open-source modus is dat geweldig!!!
o1 is goed in sommige moeilijke coderingen, maar vreselijk in problemen met codeaanvulling en... pic.twitter.com/iazam61eP9
- Bindu Reddy (@bindureddy) 20 september 2024
Alibaba zegt dat deze nieuwe modellen allemaal zijn getraind op haar grootschalige dataset die tot 18 biljoen tokens omvat. De Qwen 2.5 modellen worden geleverd met een contextvenster tot 128k en kunnen outputs genereren tot 8k tokens.
De overstap naar kleinere, meer capabele en open-source gratis modellen zal waarschijnlijk een grotere impact hebben op veel gebruikers dan meer geavanceerde modellen zoals o1. De edge en on-device mogelijkheden van deze modellen betekenen dat je veel kunt halen uit een gratis model dat op je laptop draait.
Het kleinere Qwen 2.5 model levert GPT-4 niveau codering voor een fractie van de kosten, of zelfs gratis als je een fatsoenlijke laptop hebt om het lokaal te draaien.
We hebben thuis GPT-4 voor codering! Ik heb opgezocht OpenAI?ref_src=twsrctfw">@OpenAI GPT-4 0613 resultaten voor verschillende benchmarks en vergeleken met @Alibaba_Qwen 2,5 7B codeur. 👀
> 15 maanden na het uitbrengen van GPT-0613 hebben we een open LLM onder Apache 2.0, die net zo goed presteert. 🤯
> GPT-4 prijzen... pic.twitter.com/2szw5kwTe5
- Philipp Schmid (@_philschmid) 22 september 2024
Naast de LLM's heeft Alibaba een belangrijke update uitgebracht voor zijn vision taalmodel met de introductie van Qwen2-VL. Qwen2-VL kan video's van meer dan 20 minuten begrijpen en ondersteunt videogebaseerde vraagbeantwoording.
Het is ontworpen voor integratie in mobiele telefoons, auto's en robots om handelingen te automatiseren die visueel begrip vereisen.
Alibaba heeft ook een nieuw tekst-naar-videomodel onthuld als onderdeel van de Tongyi Wanxiang-familie van beeldgeneratoren. Tongyi Wanxiang AI Video kan video-inhoud van bioscoopkwaliteit en 3D-animaties met verschillende artistieke stijlen produceren op basis van tekstaanwijzingen.
De demo's zien er indrukwekkend uit en de tool is gratis te gebruiken, hoewel je een Chinees mobiel nummer nodig hebt om meld je hier aan. Sora zal serieuze concurrentie krijgen wanneer, of als, OpenAI het uiteindelijk uitbrengt.
