Meta bouwt naar verluidt aan een geavanceerd AI-model dat naar verwachting kan wedijveren met de prestaties van OpenAI's GPT-4.
De Wall Street Journal meldt dat Meta in het geheim heeft gewerkt aan de meest geavanceerde LLM en dat deze naar verwachting in 2024 wordt uitgebracht.
Eerder dit jaar bracht Meta Llama 2 uit, waardoor het vrij beschikbaar werd voor commercieel en onderzoeksgebruik. Het nieuwe model zal naar verwachting ook vrij beschikbaar worden gesteld in lijn met Meta's voortdurende open-source benadering van zijn AI-producten.
Het nieuwe model van Meta zou volgens de geruchten meerdere keren krachtiger zijn dan Lama 2dat al bijna bovenaan de ranglijsten van open access modelbenchmarks staat.
Llama 2 werd uitgebracht in samenwerking met Microsoft op het Azure-platform, maar het lijkt erop dat Meta zich voorbereidt om in de toekomst zijn eigen computerinfrastructuur te gebruiken.
Meta heeft Nvidia H100 GPU's en zal zijn eigen platform gebruiken om zijn nieuwe model te trainen, in plaats van gebruik te maken van Microsoft's Azure cloud computing.
Meta kwam traag uit de startblokken in de AI-race, maar gooit nu veel middelen in zijn AI-projecten. Volgens het rapport wordt dit nieuwe model gebouwd door een team dat eerder dit jaar is gevormd en de AI-ambities van Meta moet versnellen.
Hopelijk geeft Mark Zuckerberg meer details over het nieuwe model tijdens het Meta Connect-evenement aan het einde van de maand.
We zullen waarschijnlijk ook meer horen over Meta's AI Personas project. Zuckerberg ziet meer betrokken interacties met AI die "mensachtige uitdrukkingen kan produceren", iets waar hij ironisch genoeg moeite mee lijkt te hebben.
Als het rapport van de WSJ klopt, dan zal het nieuwe model van Meta het AI-landschap ernstig verstoren als het volgend jaar uitkomt. Een gratis, open source LLM die zo krachtig is als GPT-4 zal een serieuze deuk slaan in OpenAI's hoop op winstgevendheid.
De strategie van Meta om zijn modellen open source te maken, heeft de juridische teams wel een beetje bezorgd gemaakt. Als kwaadwillenden het model aanpassen om vangrails te verwijderen, desinformatie te creëren of auteursrechten te schenden, is het onduidelijk welke juridische risico's Meta mogelijk loopt.
Het is ook niet duidelijk welke datasets worden gebruikt om het nieuwe model te trainen, maar het omvat vrijwel zeker je interacties op Facebook en Instagram.
