{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Bericht: KI entwickelt sich weiter als der Mensch, wir brauchen neue Ma\u00dfst\u00e4be"},"content":{"rendered":"

Die Stanford University hat ihren AI Index Report 2024 ver\u00f6ffentlicht, in dem festgestellt wird, dass die rasanten Fortschritte der KI Vergleiche mit dem Menschen immer weniger relevant machen.<\/strong><\/p>\n

Die Jahresbericht<\/a> bietet einen umfassenden Einblick in die Trends und den Stand der KI-Entwicklungen. Der Bericht besagt, dass sich KI-Modelle inzwischen so schnell verbessern, dass die Benchmarks, mit denen wir sie messen, zunehmend irrelevant werden.<\/p>\n

In vielen Benchmarks der Industrie werden KI-Modelle damit verglichen, wie gut Menschen bei der Ausf\u00fchrung von Aufgaben sind. Der Massive Multitask Language Understanding (MMLU)-Benchmark ist ein gutes Beispiel daf\u00fcr.<\/p>\n

Anhand von Multiple-Choice-Fragen werden LLMs in 57 F\u00e4chern bewertet, darunter Mathematik, Geschichte, Recht und Ethik. Der MMLU ist seit 2019 der wichtigste AI-Benchmark.<\/p>\n

Der menschliche Basiswert beim MMLU liegt bei 89,8%, und im Jahr 2019 erzielte das durchschnittliche KI-Modell knapp \u00fcber 30%. Nur 5 Jahre sp\u00e4ter war Gemini Ultra das erste Modell, das mit einem Wert von 90,04% den menschlichen Ausgangswert \u00fcbertraf.<\/p>\n

Der Bericht stellt fest, dass aktuelle \"KI-Systeme routinem\u00e4\u00dfig die menschliche Leistung bei Standard-Benchmarks \u00fcbertreffen\". Die Trends in der nachstehenden Grafik scheinen darauf hinzudeuten, dass die MMLU und andere Benchmarks ersetzt werden m\u00fcssen.<\/p>\n

\"\"
KI-Modelle haben in mehreren Benchmarks die menschlichen Grundwerte erreicht und \u00fcbertroffen. Quelle: The AI Index 2024 Jahresbericht<\/figcaption><\/figure>\n

KI-Modelle haben bei etablierten Benchmarks wie ImageNet, SQuAD und SuperGLUE eine Leistungss\u00e4ttigung erreicht, so dass die Forscher anspruchsvollere Tests entwickeln.<\/p>\n

Ein Beispiel ist der Graduate-Level Google-Proof Q&A Benchmark (GPQA), der es erm\u00f6glicht, KI-Modelle mit wirklich intelligenten Menschen zu vergleichen, anstatt mit der durchschnittlichen menschlichen Intelligenz.<\/p>\n

Der GPQA-Test besteht aus 400 anspruchsvollen Multiple-Choice-Fragen f\u00fcr Hochschulabsolventen. Experten, die promoviert haben oder promovieren, beantworten die Fragen in 65% der F\u00e4lle richtig.<\/p>\n

In dem GPQA-Papier hei\u00dft es, dass \"hochqualifizierte, nicht fachkundige Validierer bei Fragen au\u00dferhalb ihres Fachgebiets nur eine Genauigkeit von 34% erreichen, obwohl sie im Durchschnitt \u00fcber 30 Minuten mit uneingeschr\u00e4nktem Zugang zum Internet verbringen\".<\/p>\n

Letzten Monat gab Anthropic bekannt, dass Claude 3<\/a> knapp unter 60% mit 5-Schuss-CoT-Eingabeaufforderung erzielt. Wir werden einen gr\u00f6\u00dferen Benchmark brauchen.<\/p>\n

\n

Claude 3 erreicht ~60% Genauigkeit bei GPQA. Es f\u00e4llt mir schwer, zu betonen, wie schwer diese Fragen sind - echte Doktoranden (in anderen Bereichen als den Fragen) mit Internetzugang erreichen 34%.<\/p>\n

Doktoranden *im gleichen Bereich* (auch mit Internetzugang!) erhalten 65% - 75% Genauigkeit. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4. M\u00e4rz 2024<\/a><\/p><\/blockquote>\n