Meta heeft de langverwachte Llama 3-serie uitgebracht. De eerste twee modellen, Llama 3-8B en Llama 3-70B, zijn nu overal verkrijgbaar.
Dagen geleden, op een evenement in LondenMeta executives Nick Clegg en Yann LeCun zeiden dat Llama 3 er deze maand aan zat te komen.
De eerste twee versies zijn vandaag uitgekomen en vormen het derde en vierde grote open model dat deze maand wordt uitgebracht na xAI's Grok-1.5V en Mistral's 8x22B.
Lama 3 is voorgetraind op een indrukwekkende 15 biljoen tokens, een 7-voudige toename ten opzichte van Llama 2. De voorgetrainde data bevat ook vier keer meer code.
Onder de motorkap introduceert Llama 3 architecturale verbeteringen zoals een efficiëntere tokenizer met een groter vocabulaire van 128K tokens.
Hier volgt een kort overzicht van de prestaties van Llama 3:
Prestaties van Llama 3 8B:
- Presteert beter dan modellen als Mistral's 7B en Google's Gemma 7B in verschillende benchmarks.
- Blinkt uit in MMLU, ARC, DROP, GPQA (voornamelijk op wetenschap gebaseerde vragen), HumanEval (code genereren), GSM-8K (wiskundeproblemen), MATH (wiskundebenchmark), AGIEval (problemen oplossen) en BIG-Bench Hard (gezond verstand redeneren).
70B vergelijking met andere modellen:
- Llama 3 70B kan concurreren met top AI-modellen zoals Google's Gemini 1.5 Pro.
- Verslaat Gemini 1.5 Pro in MMLU, HumanEval en GSM-8K.
- Presteert beter dan Anthropic's Claude 3 Sonnet (het middelste niveau van de Claude 3 serie) op vijf benchmarks: MMLU, GPQA, HumanEval, GSM-8K en MATH.
Dat zijn uitstekende scores voor een open model (hoewel de licentie van Meta enkele beperkingen heeft).
Het maakt Llama 3 het nieuwe best presterende open-source (soort van) vrije model.
Llama 3 zal ook smakelijker en minder koppig in gebruik zijn - minder non-respons en hogere nauwkeurigheid voor triviavragen, historische feiten en STEM-gerelateerde vragen.
Llama 3 is klaar om op grote schaal beschikbaar te worden op de belangrijkste platforms, waaronder clouddiensten en API-providers.
Meta is al bezig om Llama 3 uit te breiden naar 400 miljard parameters en nieuwe functies toe te voegen zoals multimodaliteit, meertalige ondersteuning en uitgebreid contextueel begrip.
De bedrieglijke rol van Meta in generatieve AI
In veel opzichten heeft Meta zich ontpopt als de rebel van de generatieve AI-industrie.
Meta Chief AI Scientist Yann LeCun, een van AI's meest gerespecteerde boegbeelden, houdt er wat sommigen opvatten als afwijkende meningen over de richting van AI - standpunten die kritiek hebben op closed source projecten bij Meta's Big Tech concurrenten.
Ondertussen is de voormalige vicepremier van het Verenigd Koninkrijk, Nick Clegg, het hoofd van Global Affairs, uitgescholden voor zijn soms laissez-faire standpunten over de AI-producten van Meta, wat Britten misschien niet zal verbazen.
Vorige week leek Clegg de invloed van AI op verkiezingsstrijd en manipulatie van 'deep fake' te bagatelliseren. Een standpunt dat sterk ingaat tegen het heersende verhaal dat deep fakes zeer destructief kunnen zijn (of al zijn).
De Raad van Toezicht van Meta is in feite actief onderzoeken twee gevallen van diepe neppornografie op dit moment. Het bestuur was van mening dat de inhoudsmoderatie van Meta te traag was.
Meta is ook optimistisch over de verbeterende kwaliteit van zijn modellen. Joelle Pineau, Meta's vicepresident AI-onderzoek, zei: "In veel opzichten zullen de modellen die we nu hebben kinderspel zijn vergeleken met de modellen die over vijf jaar komen."
Pineau waarschuwde ook: "Als we ons model steeds algemener en machtiger maken zonder het goed te socialiseren, krijgen we een groot probleem."
De release van Llama 3 komt ook op het moment dat de AI Facebook-agenten van Meta voor opschudding zorgen in de sociale media.
In een Facebook-groep voor ouders in New York City heeft een AI-assistent van Meta - ontworpen om advies te geven en vragen te beantwoorden - een aantal vragen beantwoord. geschokte mensen door te beweren dat ze een "begaafd en gehandicapt kind" hebben dat naar een specifieke school voor "begaafden en getalenteerden" gaat.
Toen de groepsleden hem ermee confronteerden, gaf de AI toe: "Ik ben gewoon een groot taalmodel, ik heb geen persoonlijke ervaringen of kinderen," in wat sommigen een Black Mirror-achtig incident noemden.
Llama 3, Grok-1.5 en Mistral's modellen verschuiven meer macht naar open-sourced gemeenschappen terwijl de generatieve AI-markt verder verwatert.
Maar dat is misschien maar goed ook, want het is nu de survival of the fittest en de bal ligt stevig in het kamp van Microsoft-OpenAI, dat naar verwachting de volgende zet zal doen in dit fascinerende spel van gen-AI schaken.
