{"id":11711,"date":"2024-04-24T11:04:46","date_gmt":"2024-04-24T11:04:46","guid":{"rendered":"https:\/\/dailyai.com\/?p=11711"},"modified":"2024-04-24T11:07:18","modified_gmt":"2024-04-24T11:07:18","slug":"microsoft-launches-phi-3-mini-a-tiny-but-powerful-lm","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/04\/microsoft-launches-phi-3-mini-a-tiny-but-powerful-lm\/","title":{"rendered":"Microsoft bringt Phi-3 Mini auf den Markt, ein kleines, aber leistungsstarkes LM"},"content":{"rendered":"

Microsoft hat Phi-3 Mini vorgestellt, ein winziges Sprachmodell, das Teil der Strategie des Unternehmens ist, leichtgewichtige, funktionsspezifische KI-Modelle zu entwickeln.<\/strong><\/p>\n

Die Entwicklung von Sprachmodellen hat zu immer gr\u00f6\u00dferen Parametern, Trainingsdatens\u00e4tzen und Kontextfenstern gef\u00fchrt. Die Skalierung der Gr\u00f6\u00dfe dieser Modelle lieferte immer leistungsf\u00e4higere Funktionen, allerdings zu einem gewissen Preis.<\/p>\n

Der herk\u00f6mmliche Ansatz f\u00fcr die Ausbildung eines LLM besteht darin, dass es riesige Datenmengen verbraucht, was enorme Rechenressourcen erfordert. Die Ausbildung eines LLM wie z.B. GPT-4 hat sch\u00e4tzungsweise etwa 3 Monate gedauert und \u00fcber $21 Mio. gekostet.<\/p>\n

GPT-4 ist eine gro\u00dfartige L\u00f6sung f\u00fcr Aufgaben, die komplexes Denken erfordern, aber ein Overkill f\u00fcr einfachere Aufgaben wie die Erstellung von Inhalten oder einen Vertriebs-Chatbot. Es ist, als w\u00fcrde man ein Schweizer Armeemesser verwenden, wenn man nur einen einfachen Brief\u00f6ffner braucht.<\/p>\n

Mit nur 3,8B Parametern ist der Phi-3 Mini winzig. Dennoch ist er laut Microsoft eine ideale, leichtgewichtige und kosteng\u00fcnstige L\u00f6sung f\u00fcr Aufgaben wie die Zusammenfassung eines Dokuments, die Extraktion von Erkenntnissen aus Berichten und das Schreiben von Produktbeschreibungen oder Beitr\u00e4gen f\u00fcr soziale Medien.<\/p>\n

Die MMLU-Benchmark-Zahlen zeigen, dass der Phi-3 Mini und die noch zu ver\u00f6ffentlichenden gr\u00f6\u00dferen Phi-Modelle die gr\u00f6\u00dferen Modelle wie Mistral<\/span><\/span><\/span><\/span> 7B und Gemma 7B.<\/p>\n

\"\"
Leistung der Phi-3-Modelle beim Massive Multitask Language Understanding (MMLU)-Benchmark im Vergleich zu anderen Modellen \u00e4hnlicher Gr\u00f6\u00dfe. Quelle: Microsoft<\/figcaption><\/figure>\n

Microsoft sagt, dass Phi-3-small (7B Parameter) und Phi-3-medium (14B Parameter) in K\u00fcrze im Azure AI Model Catalog verf\u00fcgbar sein werden.<\/p>\n

Gr\u00f6\u00dfere Modelle wie das GPT-4 sind nach wie vor der Goldstandard, und wir k\u00f6nnen wahrscheinlich davon ausgehen, dass das GPT-5 noch gr\u00f6\u00dfer sein wird.<\/p>\n

SLMs wie der Phi-3 Mini bieten einige wichtige Vorteile, die gr\u00f6\u00dfere Modelle nicht haben. SLMs sind billiger in der Feinabstimmung, ben\u00f6tigen weniger Rechenleistung und k\u00f6nnen selbst in Situationen, in denen kein Internetzugang verf\u00fcgbar ist, auf dem Ger\u00e4t laufen.<\/p>\n

Der Einsatz eines SLM am Netzwerkrand sorgt f\u00fcr geringere Latenzzeiten und maximalen Datenschutz, da keine Daten zur Cloud hin- und hergeschickt werden m\u00fcssen.<\/p>\n

Hier ist Sebastien Bubeck, VP der GenAI-Forschung bei Microsoft AI mit einer Demo des Phi-3 Mini. Er ist superschnell und beeindruckend f\u00fcr so ein kleines Modell.<\/p>\n

\n

phi-3 ist da, und es ist ... gut :-).<\/p>\n

Ich habe eine kurze Demo erstellt, um euch ein Gef\u00fchl daf\u00fcr zu geben, was phi-3-mini (3.8B) kann. Bleiben Sie dran f\u00fcr die Freigabe der Gewichte und weitere Ank\u00fcndigungen morgen fr\u00fch!<\/p>\n

(Und nat\u00fcrlich w\u00e4re dies nicht vollst\u00e4ndig ohne die \u00fcbliche Tabelle mit den Benchmarks!) pic.twitter.com\/AWA7Km59rp<\/a><\/p>\n

- Sebastien Bubeck (@SebastienBubeck) 23. April 2024<\/a><\/p><\/blockquote>\n