xAI van Elon Musk heeft de code en gewichten van het AI-model van Grok-1 vrijgegeven en daarmee OpenAI uitgedaagd.
Met deze uitgave via GitHub en BitTorrent kunnen onderzoekers en ontwikkelaars wereldwijd bouwen en itereren met de 314 miljard parameters - zo'n 150 miljard meer dan GPT-3.
xAI wil de toegang tot geavanceerde LLM-technologie democratiseren door een ruwe, ongeraffineerde versie van Grok-1 aan te bieden, klaar voor experimenten in welke hoedanigheid dan ook - zelfs commercieel.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 maart 2024
Musk kon het natuurlijk niet laten om wat (on)vriendelijk gekibbel te maken over het open-sourcen van Grok. Het ChatGPT X-account gaf als commentaar op de post van Grok hierboven, "heeft mijn hele grap gestolen", waarop Musk kwaakte: "Vertel ons meer over het "Open" gedeelte van OpenAI ...".
Vertel ons meer over het "Open" gedeelte van OpenAI ...
- Elon Musk (@elonmusk) 17 maart 2024
Musk en OpenAI's oprichters Sam Altman en Greg Brockman zijn verwikkeld in een juridische strijd en debat over OpenAI's dramatische ontwikkeling van een non-profit open-source onderzoeksbedrijf tot een winstgevende tak van Microsoft.
Grok is nog een doorn in het oog van OpenAI, dat druk ondervindt van meerdere fronten met de recente release van Anthropic's indrukwekkende Claude 3 Opus en Google's Gemini. Zelfs Apple heeft zich in de strijd om LLM gemengd met zijn nieuw uitgebrachte MM1.
Grok-1 is echter niet meteen klaar en toegankelijk voor AI-toepassingen voor conversaties.
Ten eerste is het model niet verfijnd met specifieke instructies of datasets om optimaal te presteren in dialoogsystemen. Dit betekent dat er extra inspanningen en middelen nodig zullen zijn om de mogelijkheden van Grok-1 in te zetten voor dergelijke taken, wat een uitdaging vormt voor degenen die geïnteresseerd zijn in de ontwikkeling van conversationele AI.
Bovendien betekent alleen al de omvang van de gewichten van het model - een forse 296 GB - dat voor het uitvoeren van het model aanzienlijke rekenkracht nodig is, waaronder high-end hardware van datacenterklasse.
De AI-gemeenschap anticipeert echter op mogelijke pogingen om Grok-1 te optimaliseren door middel van kwantisatie, wat de omvang van het model en de rekenkracht zou kunnen verminderen, waardoor het toegankelijker wordt voor mensen met generatieve AI-vriendelijke apparatuur.
Grok-1 is echt open-source
Een van de belangrijkste aspecten van de release van Grok-1 is xAI's keuze om de Apache 2.0 licentie te gebruiken. Mistral's 7B.
In tegenstelling tot sommige licenties die meer beperkende voorwaarden opleggen voor het gebruik en de distributie van de software, laat de Apache 2.0-licentie een grote vrijheid toe in hoe de software kan worden gebruikt, gewijzigd en gedistribueerd.
Elk levensvatbaar open-source model dreigt de inkomsten van closed-source ontwikkelaars zoals OpenAI en Anthropic aan te tasten.
Grok-gewichten zijn uit onder Apache 2.0: https://t.co/9K4IfarqXK
Het is meer open source dan andere modellen met open gewichten, die meestal gebruiksbeperkingen hebben.
Het is minder open source dan Pythia, Bloom en OLMo, die worden geleverd met trainingscode en reproduceerbare datasets. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
- Sebastian Raschka (@rasbt) 17 maart 2024
Dit omvat ook commerciële toepassingen, waardoor Grok-1 een aantrekkelijke basis vormt voor bedrijven en individuen die willen voortbouwen op het model of het willen integreren in hun eigen producten en diensten.
Door de gewichten en architectuur van Grok-1 vrij beschikbaar te stellen, bevordert xAI Musks visie op open AI en confronteert het de AI-gemeenschap in het algemeen.
OpenAI is waarschijnlijk geschokt door de recente ontwikkelingen van Anthropic, Google en nu xAI.
Te gemeenschap maakt zich op voor een soort GPT-5 of Sora-release waardoor ze weer de overhand krijgen.
