{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Rapport: AI udvikler sig mere end mennesker, vi har brug for nye benchmarks"},"content":{"rendered":"

Stanford University udgav sin AI Index Report 2024, som bem\u00e6rkede, at AI's hurtige fremskridt g\u00f8r benchmark-sammenligninger med mennesker stadig mindre relevante.<\/strong><\/p>\n

Den \u00e5rsberetning<\/a> giver et omfattende indblik i tendenser og status for AI-udviklingen. Rapporten siger, at AI-modeller forbedres s\u00e5 hurtigt nu, at de benchmarks, vi bruger til at m\u00e5le dem, i stigende grad bliver irrelevante.<\/p>\n

Mange branche-benchmarks sammenligner AI-modeller med, hvor gode mennesker er til at udf\u00f8re opgaver. Massive Multitask Language Understanding (MMLU)-benchmarken er et godt eksempel.<\/p>\n

Den bruger multiple choice-sp\u00f8rgsm\u00e5l til at evaluere LLM'er p\u00e5 tv\u00e6rs af 57 fag, herunder matematik, historie, jura og etik. MMLU har v\u00e6ret det foretrukne AI-benchmark siden 2019.<\/p>\n

Den menneskelige baseline-score p\u00e5 MMLU er 89,8%, og tilbage i 2019 scorede den gennemsnitlige AI-model lidt over 30%. Bare 5 \u00e5r senere blev Gemini Ultra den f\u00f8rste model, der slog den menneskelige baseline med en score p\u00e5 90,04%.<\/p>\n

Rapporten bem\u00e6rker, at nuv\u00e6rende \"AI-systemer rutinem\u00e6ssigt overg\u00e5r menneskers pr\u00e6stationer p\u00e5 standardbenchmarks.\" Tendenserne i grafen nedenfor synes at indikere, at MMLU og andre benchmarks skal udskiftes.<\/p>\n

\"\"
AI-modeller har n\u00e5et og overg\u00e5et menneskelige baseline i flere benchmarks. Kilde: \u00c5rsrapporten for AI-indekset 2024<\/figcaption><\/figure>\n

AI-modeller har n\u00e5et pr\u00e6stationsm\u00e6tning p\u00e5 etablerede benchmarks som ImageNet, SQuAD og SuperGLUE, s\u00e5 forskere udvikler mere udfordrende tests.<\/p>\n

Et eksempel er Graduate-Level Google-Proof Q&A Benchmark (GPQA), som g\u00f8r det muligt at benchmarke AI-modeller op mod virkelig kloge mennesker i stedet for gennemsnitlig menneskelig intelligens.<\/p>\n

GPQA-testen best\u00e5r af 400 sv\u00e6re multiple choice-sp\u00f8rgsm\u00e5l p\u00e5 kandidatniveau. Eksperter, der har eller er i gang med en ph.d., besvarer sp\u00f8rgsm\u00e5lene korrekt i 65% af tilf\u00e6ldene.<\/p>\n

I GPQA-papiret st\u00e5r der, at \"h\u00f8jt kvalificerede ikke-ekspertvalidatorer kun opn\u00e5r 34% n\u00f8jagtighed, n\u00e5r de bliver stillet sp\u00f8rgsm\u00e5l uden for deres felt, p\u00e5 trods af at de i gennemsnit bruger over 30 minutter med ubegr\u00e6nset adgang til internettet.\"<\/p>\n

I sidste m\u00e5ned annoncerede Anthropic, at Claude 3<\/a> scorede lige under 60% med 5 skud CoT prompting. Vi f\u00e5r brug for et st\u00f8rre benchmark.<\/p>\n

\n

Claude 3 f\u00e5r ~60% n\u00f8jagtighed p\u00e5 GPQA. Det er sv\u00e6rt for mig at undervurdere, hvor sv\u00e6re disse sp\u00f8rgsm\u00e5l er - bogstavelige ph.d.'er (inden for andre omr\u00e5der end sp\u00f8rgsm\u00e5lene) med adgang til internettet f\u00e5r 34%.<\/p>\n

Ph.d.-studerende *i samme dom\u00e6ne* (ogs\u00e5 med internetadgang!) f\u00e5r 65% - 75% n\u00f8jagtighed. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4. marts 2024<\/a><\/p><\/blockquote>\n