MosaicML har afsløret deres nye open source AI-modeller - MPT-30B Base, Instruct og Chat.
Disse open source-modeller er en del af MPT-serien (MosaicML Pre Trained Transformer) og anses for at være de mest sofistikerede i deres kategori og overgår GPT-3 på de fleste vigtige parametre.
Mosaik har trænet deres nye modeller med NVIDIAs nyeste H100-chips, som blev lanceret tidligere i år.
MPT-30B er den første offentligt kendte LLM, der er trænet på high-end NVIDIA H100 GPU'er.
Siden introduktionen den 5. maj 2023 er Mosaics tidligere MPT-7B-modeller (Base, Instruct, Chat, StoryWriter) blevet downloadet over 3,3 millioner gange. MPT-30B har 30 milliarder parametre - langt færre end GPT-3's 175 milliarder parametre eller GPT-4's påståede 1 billion parametre.
Men antallet af parametre er ikke alt - langt fra - da MPT-30B er blevet trænet på længere sekvenser med op til 8.000 tokens, fire gange mere end GPT-3, LLaMA-familien af modeller og Falcon-modellen.
Det gør MPT-30B i stand til bedre at håndtere datatunge virksomhedsworkflows og udkonkurrere andre modeller til kodetunge workflows.
Flere virksomheder, såsom Replit, et førende webbaseret IDE, og Scatter Lab, en AI-startup, har allerede udnyttet MPT's open source-modeller, som er mere tilpasselige end proprietære modeller som GPT-3.
Ilan Twig, medstifter og CTO hos Navan, siger. "Hos Navan bruger vi generativ AI på tværs af vores produkter og tjenester, der driver oplevelser som vores virtuelle rejsebureau og vores samtalebaserede business intelligence-agent. MosaicML's grundmodeller tilbyder state-of-the-art sprogfunktioner, samtidig med at de er ekstremt effektive til at finjustere og tjene inferens i stor skala."
MPT-30B, nu tilgængelig via HuggingFace Huber fuldt ud open source, og udviklere kan finjustere den med deres data.
Mosaic søger at gøre det muligt for virksomheder at integrere kraftfulde open source-modeller i deres arbejdsgange og samtidig bevare datasuveræniteten.
Open source-fordelen
Open source-modeller er hurtigt at bygge bro over kløften med konkurrenter som OpenAI.
Da de computerressourcer, der kræves for at træne og implementere modeller, falder, behøver open source-udviklere ikke længere supercomputere til flere millioner dollars med hundredvis af avancerede processorer for at træne deres modeller.
Det samme gælder for implementering af modeller - MPT-30B kan køre på en enkelt GPU, og open source-fællesskabet har endda formået at køre en slankere version af LLaMa-modellen på en Raspberry PI.
Jeg har kørt LLaMA 7B-modellen på min Raspberry Pi 4 med 4 GB RAM. Det er super langsomt, ca. 10 sek/token. Men det ser ud til, at vi kan køre kraftige kognitive pipelines på en billig hardware. pic.twitter.com/XDbvM2U5GY
- Artem Andreenko 🇺🇦 (@miolini) 12. marts 2023
Derudover giver open source-modeller strategiske fordele til forretningsbrugere.
For eksempel vil virksomheder i brancher som sundhedsvæsen og bankvæsen måske foretrække ikke at dele deres data med OpenAI eller Google.
Naveen Rao, medstifter og CEO af MosaicML, identificerer open source-projekter som allierede og siger, at de "lukker hullet til disse closed source-modeller". Selvom han anerkender overlegenheden af OpenAI's GPT-4, hævder han, at open source-modeller har "krydset den tærskel, hvor disse modeller faktisk er ekstremt nyttige."
Open source AI udvikler sig hurtigt, hvilket får nogle til at beskylde big tech for at presse på for regulering for at bremse væksten. Virksomheder bygger allerede deres egne open source AI-stakke og sparer penge, som ellers kunne finansiere virksomheder som OpenAI.
A lækket memo fra en Google-medarbejder sagde, at alle de store teknologiske AI-udviklere - Google, Microsoft, Anthropic og OpenAI - konkurrerer med open source-udviklere.
Open source AI-udviklere kan bygge og gentage modeller hurtigere end big tech, hvilket gør dem i stand til at udmanøvrere mainstream AI-modeller.
Det er ikke uden farer, da open source-modeller er udfordrende at overvåge og regulere, når de først er overgået til offentlige hænder.
