{"id":11711,"date":"2024-04-24T11:04:46","date_gmt":"2024-04-24T11:04:46","guid":{"rendered":"https:\/\/dailyai.com\/?p=11711"},"modified":"2024-04-24T11:07:18","modified_gmt":"2024-04-24T11:07:18","slug":"microsoft-launches-phi-3-mini-a-tiny-but-powerful-lm","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/04\/microsoft-launches-phi-3-mini-a-tiny-but-powerful-lm\/","title":{"rendered":"Microsoft lanceert Phi-3 Mini, een kleine maar krachtige LM"},"content":{"rendered":"

Microsoft heeft Phi-3 Mini gelanceerd, een piepklein taalmodel dat deel uitmaakt van de strategie van het bedrijf om lichtgewicht, functiespecifieke AI-modellen te ontwikkelen.<\/strong><\/p>\n

Bij de ontwikkeling van taalmodellen zijn de parameters, trainingsdatasets en contextvensters steeds groter geworden. Het opschalen van deze modellen leverde krachtigere mogelijkheden op, maar tegen een prijs.<\/p>\n

De traditionele aanpak voor het trainen van een LLM is om deze enorme hoeveelheden gegevens te laten verbruiken, waarvoor enorme rekenkracht nodig is. Het trainen van een LLM zoals GPT-4 heeft naar schatting ongeveer 3 maanden geduurd en meer dan $21m gekost.<\/p>\n

GPT-4 is een geweldige oplossing voor taken die complexe redeneringen vereisen, maar overkill voor eenvoudigere taken zoals het maken van content of een verkoopchatbot. Het is alsof je een Zwitsers zakmes gebruikt terwijl je alleen een eenvoudige briefopener nodig hebt.<\/p>\n

Met slechts 3,8B parameters is de Phi-3 Mini piepklein. Toch is het volgens Microsoft een ideale lichtgewicht, goedkope oplossing voor taken als het samenvatten van een document, het extraheren van inzichten uit rapporten en het schrijven van productbeschrijvingen of berichten in sociale media.<\/p>\n

De MMLU benchmark cijfers laten zien dat de Phi-3 Mini en de nog uit te brengen grotere Phi modellen grotere modellen verslaan zoals Mistral<\/span><\/span><\/span><\/span> 7B en Gemma 7B.<\/p>\n

\"\"
Prestaties van Phi-3 modellen op de Massive Multitask Language Understanding (MMLU) benchmark vergeleken met andere modellen van vergelijkbare grootte. Bron: Microsoft<\/figcaption><\/figure>\n

Microsoft zegt dat Phi-3-small (7B parameters) en Phi-3-medium (14B parameters) \"binnenkort\" beschikbaar zullen zijn in de Azure AI Model Catalog.<\/p>\n

Grotere modellen zoals GPT-4 zijn nog steeds de gouden standaard en we kunnen waarschijnlijk verwachten dat GPT-5 nog groter zal zijn.<\/p>\n

SLM's zoals de Phi-3 Mini bieden een aantal belangrijke voordelen die grotere modellen niet hebben. SLM's zijn goedkoper om nauwkeurig af te stellen, vereisen minder rekenkracht en kunnen on-device draaien, zelfs in situaties waar geen internettoegang beschikbaar is.<\/p>\n

Het inzetten van een SLM aan de rand resulteert in minder latency en maximale privacy omdat er geen gegevens heen en weer hoeven te worden gestuurd naar de cloud.<\/p>\n

Hier is Sebastien Bubeck, VP van GenAI onderzoek bij Microsoft AI met een demo van de Phi-3 Mini. Het is supersnel en indrukwekkend voor zo'n klein model.<\/p>\n

\n

phi-3 is er, en het is... goed :-).<\/p>\n

Ik heb een korte demo gemaakt om je een idee te geven van wat phi-3-mini (3.8B) kan doen. Blijf kijken voor de open weights release en meer aankondigingen morgenochtend!<\/p>\n

(En natuurlijk zou dit niet compleet zijn zonder de gebruikelijke tabel met benchmarks!) pic.twitter.com\/AWA7Km59rp<\/a><\/p>\n

- Sebastien Bubeck (@SebastienBubeck) 23 april 2024<\/a><\/p><\/blockquote>\n