{"id":14249,"date":"2024-09-17T09:55:41","date_gmt":"2024-09-17T09:55:41","guid":{"rendered":"https:\/\/dailyai.com\/?p=14249"},"modified":"2024-09-17T09:55:41","modified_gmt":"2024-09-17T09:55:41","slug":"humanitys-last-exam-wants-your-tough-questions-to-stump-ai","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/09\/humanitys-last-exam-wants-your-tough-questions-to-stump-ai\/","title":{"rendered":"Humanity's Last Exam will Ihre schwierigen Fragen, um die KI zu \u00fcberlisten"},"content":{"rendered":"

Benchmarks haben Schwierigkeiten, mit den fortschreitenden F\u00e4higkeiten von KI-Modellen Schritt zu halten, und das Projekt \"Humanity's Last Exam\" bittet um Ihre Hilfe, um dies zu \u00e4ndern.<\/strong><\/p>\n

Das Projekt ist eine Zusammenarbeit zwischen dem Center for AI Safety (CAIS) und dem KI-Datenunternehmen Scale AI. Das Projekt zielt darauf ab, zu messen, wie nah wir an der Entwicklung von KI-Systemen auf Expertenniveau sind, etwas bestehende Benchmarks<\/a> zu denen sie nicht f\u00e4hig sind.<\/p>\n

OpenAI und CAIS entwickelten den beliebten MMLU-Benchmark (Massive Multitask Language Understanding) im Jahr 2021. Damals, so CAIS, \"schnitten KI-Systeme nicht besser ab als der Zufall\".<\/p>\n

Die beeindruckende Leistung des o1-Modells von OpenAI hat laut Dan Hendrycks, Gesch\u00e4ftsf\u00fchrer des CAIS, \"die popul\u00e4rsten Benchmarks f\u00fcr logisches Denken zerst\u00f6rt\".<\/p>\n

\"\"
Die Leistung von OpenAI o1 MMLU im Vergleich zu fr\u00fcheren Modellen. Quelle: OpenAI<\/figcaption><\/figure>\n

Wie werden wir KI-Modelle messen, wenn sie 100% auf der MMLU erreichen? Das CAIS sagt: \"Die bestehenden Tests sind zu einfach geworden, und wir k\u00f6nnen die Entwicklung der KI nicht mehr gut verfolgen und auch nicht, wie weit sie davon entfernt ist, Experten zu werden.\"<\/p>\n

Wenn Sie den Sprung in den Benchmark-Ergebnissen sehen, den o1 zu den bereits beeindruckenden GPT-4o-Zahlen hinzugef\u00fcgt hat, wird es nicht lange dauern, bis ein KI-Modell die MMLU \u00fcbertrifft.<\/p>\n

\n

Das ist objektiv wahr. pic.twitter.com\/gorahh86ee<\/a><\/p>\n

- Ethan Mollick (@emollick) 17. September 2024<\/a><\/p><\/blockquote>\n