Meta hat die mit Spannung erwartete Llama 3-Serie auf den Markt gebracht. Die ersten beiden Modelle, das Llama 3-8B und das Llama 3-70B, sind jetzt überall erhältlich.
Vor ein paar Tagen, bei einer Veranstaltung in LondonDie Geschäftsführer von Meta, Nick Clegg und Yann LeCun, erklärten, dass Llama 3 noch in diesem Monat erscheinen würde.
Die ersten beiden Versionen wurden heute veröffentlicht, womit die dritte und vierte große offene Version in diesem Monat auf den Markt kommt. Grok-1.5V von xAI und Mistrals 8x22B.
Lama 3 wird mit beeindruckenden 15 Billionen Token trainiert, eine 7-fache Steigerung im Vergleich zu Llama 2. Die Vortrainingsdaten enthalten außerdem viermal mehr Code.
Unter der Haube führt Llama 3 architektonische Verbesserungen ein, wie einen effizienteren Tokenizer mit einem größeren Vokabular von 128K Token.
Hier ist ein kurzer Überblick über die Leistung von Llama 3:
Leistung von Llama 3 8B:
- Übertrifft Modelle wie die 7B von Mistral und die Gemma 7B von Google in mehreren Benchmarks.
- Hervorragend in MMLU, ARC, DROP, GPQA (hauptsächlich naturwissenschaftliche Fragen), HumanEval (Code-Generierung), GSM-8K (mathematische Probleme), MATH (Mathematik-Benchmark), AGIEval (Problemlösung) und BIG-Bench Hard (logisches Denken).
70B im Vergleich mit anderen Modellen:
- Das Llama 3 70B ist konkurrenzfähig mit Top-KI-Modellen wie Googles Gemini 1.5 Pro.
- Übertrifft Gemini 1.5 Pro in MMLU, HumanEval und GSM-8K.
- Bessere Leistung als der Claude 3 Sonnet von Anthropic (das mittlere Modell der Claude 3-Serie) bei fünf Benchmarks: MMLU, GPQA, HumanEval, GSM-8K und MATH.
Das sind hervorragende Werte für ein offenes Modell (auch wenn die Meta-Lizenz einige Einschränkungen mit sich bringt).
Damit ist Llama 3 das neue leistungsstärkste kostenlose Open-Source-Modell (sozusagen).
Llama 3 wird auch schmackhafter und weniger hartnäckig in der Anwendung sein - weniger Nicht-Antworten und höhere Genauigkeit bei Trivia-Fragen, historischen Fakten und MINT-bezogenen Abfragen.
Llama 3 wird bald auf allen wichtigen Plattformen, einschließlich Cloud-Diensten und API-Anbietern, verfügbar sein.
Meta arbeitet bereits daran, Llama 3 auf 400 Milliarden Parameter zu erweitern und neue Funktionen wie Multimodalität, mehrsprachige Unterstützung und erweitertes kontextuelles Verständnis hinzuzufügen.
Metas Schurkenrolle in der generativen KI
Meta hat sich in vielerlei Hinsicht als der Rebell der generativen KI-Branche erwiesen.
Meta-Chef-KI-Wissenschaftler Yann LeCun, eine der angesehensten Persönlichkeiten im Bereich der KI, hält, was manche als abweichende Meinungen über die Richtung von AI - Ansichten, die Closed-Source-Projekte bei Metas Big-Tech-Konkurrenten kritisieren.
In der Zwischenzeit wurde der ehemalige stellvertretende britische Premierminister Nick Clegg, der Leiter des Ressorts Globale Angelegenheiten, wegen seiner bisweilen laisser-faire Einstellung zu den KI-Produkten von Meta kritisiert, was die Briten da draußen nicht überraschen dürfte.
Letzte Woche schien Clegg die Auswirkungen der KI auf die Wahlwerbung und die Deep-Fake-Manipulation herunterzuspielen. Eine Ansicht, die dem vorherrschenden Narrativ widerspricht, dass "Deep Fakes" zutiefst destruktiv sein könnten (oder es bereits sind).
In der Tat ist das Meta Oversight Board aktiv untersuchend zwei Fälle von gefälschter Pornographie. Der Vorstand war der Ansicht, dass Metas Maßnahmen zur Inhaltsmoderation zu langsam waren.
Meta hat sich auch optimistisch über die steigende Qualität seiner Modelle geäußert. Joelle Pineau, Meta's Vizepräsidentin für KI-Forschung, sagte: "In vielerlei Hinsicht werden die Modelle, die wir heute haben, im Vergleich zu den Modellen, die in fünf Jahren kommen, ein Kinderspiel sein."
Pineau warnte auch: "Wenn wir unser Modell immer weiter verallgemeinern und immer mächtiger machen, ohne es richtig zu sozialisieren, werden wir ein großes Problem bekommen."
Die Veröffentlichung von Llama 3 erfolgt zu einem Zeitpunkt, an dem die KI-Facebook-Agenten von Meta in den sozialen Medien für Aufregung sorgen.
In einer Facebook-Gruppe für Eltern aus New York City wurde ein Meta-KI-Assistent vorgestellt, der Ratschläge geben und Fragen beantworten soll. schockierte Menschen indem er behauptet, ein "begabtes und behindertes Kind" zu haben, das eine spezielle Schule für "Begabte und Talentierte" besucht.
Als sie von den Gruppenmitgliedern zur Rede gestellt wurde, gab die KI zu: "Ich bin nur ein großes Sprachmodell, ich habe keine persönlichen Erfahrungen oder Kinder" - ein Vorfall, den einige als Black Mirror-ähnlich bezeichneten.
Die Modelle von Llama 3, Grok-1.5 und Mistral verlagern mehr Macht in Richtung der Open-Source-Gemeinschaften und verwässern den Markt für generative KI weiter.
Aber das könnte eine gute Sache sein, denn jetzt geht es um das Überleben des Stärkeren, und der Ball liegt fest im Microsoft-OpenAI-Lager, von dem erwartet wird, dass es den nächsten Zug in diesem faszinierenden Spiel des Gen-AI-Schachs macht.
