Mistral AI er en fransk AI-startup, som trækker overskrifter med sine lette open source-modeller. Sammen med opmærksomheden kom en ny portion finansiering, da den sikrede sig investeringer på 385 mio. euro, eller $414 mio. euro, i denne uge.
Virksomhedens anden finansieringsrunde blev ledet af venturekapitalfirmaerne Andreessen Horowitz og Lightspeed Venture Partners.
Diskussionen om open source-modeller versus proprietære modeller er i gang, og Mistral AI står fast på open source-siden.
Virksomheder som OpenAI har været kritiseret for deres skræmmekampagne over sikkerheden ved open source-modeller, og mange siger, at det er et tilfælde, hvor Big Tech forsøger at bevare sit hegemoni.
Mistral AI siger, at ved at træne sine egne modeller "frigive dem åbent og fremme bidrag fra samfundet, kan vi opbygge et troværdigt alternativ til det nye AI-oligopol. Generative modeller med åben vægt vil spille en central rolle i den kommende AI-revolution."
Flere store investorer har bekræftet deres tillid til denne strategi. Med den finansiering, Mistral AI sikrede sig i denne uge, er virksomheden vurderet til $2 milliarder. Det er en 7x stigning i værdiansættelsen i de seks måneder, der er gået, siden virksomheden blev lanceret.
Mixtral 8x7B
I september udkom Mistral 7B, Mistral AI's lille, men kraftfulde LLM, der slog eller matchede større open source-modeller som Meta's Llama 2 34B.
OpenAI's proprietære GPT-modeller anses med rette for at være guldstandarden, når man sammenligner modellers ydeevne. Med Mistral AI's nye model, Mixtral 8x7Bhar virksomheden sikret sig en betydelig ret til at prale i denne henseende.
Mixtral 8x7B er en sparsom blanding af eksperter model med et 32k kontekstvindue. Her kan du se, hvordan den klarede sig i benchmarktests sammenlignet med Llama 2 og GPT-3.5.
Benchmark-testene er en god måde at få en idé om, hvor god en model er til at udføre forskellige funktioner. Testene ovenfor var:
- MMLU (MCQ i 57 fag): Står for Multiple-choice Questions i 57 fag.
- HellaSwag (10-skud): Evaluerer AI'ens evne til at forudsige afslutningen på et scenarie efter at have fået 10 eksempler.
- ARC Challenge (25 skud): Tester AI'ens forståelse af videnskabelige begreber og ræsonnementer efter at have fået 25 eksempler, som den kan lære af, før den testes.
- WinoGrande (5 skud): Tester sund fornuft baseret på at løse tvetydigheder i sætninger med 5 eksempler, som AI'en kan lære af.
- MBPP (pass@1): Tester en AI-models evne til at generere korrekte Python-kodestykker. Metrikken pass@1 måler procentdelen af problemer, hvor modellens første færdiggørelse var korrekt.
- GSM-8K (5 skud): Grade School Math 8K-benchmarket tester en AI's evne til at løse matematiske ordproblemer på det niveau, der forventes i folkeskolen, efter at have fået 5 eksempler.
- MT Bench (for instruktionsmodeller): Machine Translation Benchmark for Instruct Models måler, hvor godt en AI kan følge instruktioner i forbindelse med oversættelsesopgaver.
Hvad der er endnu mere imponerende end resultaterne af benchmarktesten er, hvor lille og effektiv Mixtral 8x7B er. Du kan køre denne model lokalt på en anstændig bærbar computer med omkring 32 GB RAM.
Med mange flere penge til rådighed kan vi forvente en spændende udvikling fra Mistral AI.
