MosaicML heeft zijn nieuwe open-source AI-modellen onthuld - MPT-30B Base, Instruct en Chat.
Deze open-source modellen, die deel uitmaken van de MPT-serie (MosaicML Pre Trained Transformer), worden beschouwd als de meest geavanceerde in hun categorie en overtreffen GPT-3 op de meeste belangrijke punten.
Mozaïek hun nieuwe modellen opgeleid met de nieuwste H100-chips van NVIDIA, die eerder dit jaar zijn uitgebracht.
MPT-30B is de eerste algemeen bekende LLM die is getraind op high-end NVIDIA H100 GPU's.
Sinds hun introductie op 5 mei 2023 zijn de vorige MPT-7B modellen van Mosaic (Base, Instruct, Chat, StoryWriter) meer dan 3,3 miljoen keer gedownload. MPT-30B heeft 30 miljard parameters - veel minder dan GPT-3's 175 miljard parameters of GPT-4's vermeende 1 biljoen parameters.
Maar het aantal parameters is niet alles - verre van dat - want MPT-30B is getraind op langere reeksen tot 8.000 tokens, 4 keer meer dan GPT-3, de LLaMA familie van modellen en het Falcon model.
Dit stelt de MPT-30B in staat om data-intensieve enterprise workflows beter te beheren en andere modellen voor code-intensieve workflows te overtreffen.
Verschillende bedrijven, zoals Replit, een toonaangevende webgebaseerde IDE, en Scatter Lab, een AI-startup, hebben al gebruik gemaakt van de open-source modellen van MPT, die beter aanpasbaar zijn dan propriëtaire modellen zoals GPT-3.
Ilan Twig, medeoprichter en CTO bij Navan, zegt. "Bij Navan gebruiken we generatieve AI in al onze producten en diensten, waarmee we ervaringen aandrijven zoals onze virtuele reisagent en onze conversational business intelligence agent. De basismodellen van MosaicML bieden ultramoderne taalcapaciteiten en zijn tegelijkertijd uiterst efficiënt voor fijnafstemming en inferentie op schaal."
MPT-30B, nu verkrijgbaar via de HuggingFace Hubis volledig open-source en ontwikkelaars kunnen het verfijnen met hun gegevens.
Mosaic wil bedrijven in staat stellen om krachtige open-source modellen te integreren in hun workflow met behoud van gegevenssoevereiniteit.
De open-source kant
Open-source modellen zijn snel de kloof overbruggen met concurrenten zoals OpenAI.
Omdat de rekenkracht die nodig is om modellen te trainen en in te zetten afneemt, hebben open-source ontwikkelaars niet langer supercomputers van miljoenen dollars met honderden high-end processors nodig om hun modellen te trainen.
Hetzelfde geldt voor het inzetten van modellen - MPT-30B kan draaien op een enkele GPU en de open-source gemeenschap is er zelfs in geslaagd om een afgeslankte versie van het LLaMa-model op een Raspberry PI te draaien.
Ik heb met succes het LLaMA 7B model op mijn 4GB RAM Raspberry Pi 4 uitgevoerd. Het is super traag, ongeveer 10 seconden/token. Maar het lijkt erop dat we krachtige cognitieve pijplijnen kunnen uitvoeren op goedkope hardware. pic.twitter.com/XDbvM2U5GY
- Artem Andreenko 🇺🇦 (@miolini) 12 maart 2023
Bovendien bieden open-source modellen strategische voordelen voor zakelijke gebruikers.
Bedrijven in sectoren zoals de gezondheidszorg en het bankwezen delen hun gegevens bijvoorbeeld liever niet met OpenAI of Google.
Naveen Rao, de medeoprichter en CEO van MosaicML, identificeert open-source projecten als bondgenoten en stelt dat ze "de kloof dichten met deze closed-source modellen". Hoewel hij de superioriteit van OpenAI's GPT-4 erkent, stelt hij dat open-source modellen "de drempel hebben overschreden waar deze modellen eigenlijk extreem bruikbaar zijn."
Open-source AI ontwikkelt zich snel, waardoor sommigen big tech beschuldigen van het pushen voor regelgeving om de groei ervan te beteugelen. Bedrijven bouwen al hun eigen open-source AI-stacks, waardoor ze geld besparen dat anders bestemd zou zijn voor bedrijven als OpenAI.
A uitgelekte memo van een Google-medewerker zei dat alle grote tech AI-ontwikkelaars - Google, Microsoft, Anthropic en OpenAI - concurreren met open source-ontwikkelaars.
Open-source AI-ontwikkelaars kunnen modellen sneller bouwen en itereren dan grote bedrijven, waardoor ze de mainstream AI-modellen kunnen voorblijven.
Dit is niet zonder gevaren, aangezien open-source modellen moeilijk te controleren en te reguleren zijn als ze eenmaal in publieke handen zijn overgegaan.
