{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Rapport: AI utvikler seg raskere enn mennesker, og vi trenger nye m\u00e5lestokker"},"content":{"rendered":"

Stanford University offentliggjorde sin AI Index Report 2024, der det p\u00e5pekes at AIs raske utvikling gj\u00f8r sammenligninger med mennesker stadig mindre relevante.<\/strong><\/p>\n

Den \u00e5rsrapport<\/a> gir et omfattende innblikk i trendene og utviklingen innen kunstig intelligens. Rapporten sier at AI-modeller forbedres s\u00e5 raskt n\u00e5 at referansene vi bruker for \u00e5 m\u00e5le dem, i \u00f8kende grad blir irrelevante.<\/p>\n

Mange bransjereferanser sammenligner AI-modeller med hvor gode mennesker er til \u00e5 utf\u00f8re oppgaver. Massive Multitask Language Understanding (MMLU) er et godt eksempel p\u00e5 dette.<\/p>\n

Den bruker flervalgssp\u00f8rsm\u00e5l for \u00e5 evaluere LLM-er i 57 fag, inkludert matematikk, historie, juss og etikk. MMLU har v\u00e6rt den viktigste AI-referansen siden 2019.<\/p>\n

Den menneskelige baseline-poengsummen p\u00e5 MMLU er 89,8%, og i 2019 fikk den gjennomsnittlige AI-modellen litt over 30%. Bare fem \u00e5r senere ble Gemini Ultra den f\u00f8rste modellen som slo den menneskelige baseline med en poengsum p\u00e5 90,04%.<\/p>\n

Rapporten konstaterer at dagens \"AI-systemer rutinemessig overg\u00e5r menneskelig ytelse p\u00e5 standard benchmarks\". Trendene i grafen nedenfor tyder p\u00e5 at MMLU og andre benchmarks m\u00e5 byttes ut.<\/p>\n

\"\"
AI-modeller har n\u00e5dd og overg\u00e5tt menneskelige referanseverdier i flere benchmarks. Kilde: \u00c5rsrapporten for AI-indeksen 2024<\/figcaption><\/figure>\n

AI-modeller har n\u00e5dd ytelsesmetning p\u00e5 etablerte benchmarks som ImageNet, SQuAD og SuperGLUE, og forskerne utvikler derfor mer utfordrende tester.<\/p>\n

Et eksempel er Graduate-Level Google-Proof Q&A Benchmark (GPQA), som gj\u00f8r det mulig \u00e5 m\u00e5le AI-modeller mot virkelig smarte mennesker, i stedet for mot gjennomsnittlig menneskelig intelligens.<\/p>\n

GPQA-testen best\u00e5r av 400 vanskelige flervalgssp\u00f8rsm\u00e5l p\u00e5 h\u00f8yere niv\u00e5. Eksperter som har eller er i ferd med \u00e5 ta doktorgrad, svarer riktig p\u00e5 sp\u00f8rsm\u00e5lene i 65% av tilfellene.<\/p>\n

I GPQA-rapporten st\u00e5r det at \"h\u00f8yt kvalifiserte validatorer som ikke er eksperter, bare oppn\u00e5r 34% n\u00f8yaktighet n\u00e5r de blir stilt sp\u00f8rsm\u00e5l utenfor sitt eget felt, til tross for at de i gjennomsnitt bruker over 30 minutter med ubegrenset tilgang til nettet\".<\/p>\n

I forrige m\u00e5ned kunngjorde Anthropic at Claude 3<\/a> fikk rett under 60% med 5 skudd CoT-melding. Vi trenger en st\u00f8rre referanse.<\/p>\n

\n

Claude 3 f\u00e5r ~60% n\u00f8yaktighet p\u00e5 GPQA. Det er vanskelig for meg \u00e5 undervurdere hvor vanskelige disse sp\u00f8rsm\u00e5lene er - bokstavelige doktorgrader (i andre domener enn sp\u00f8rsm\u00e5lene) med tilgang til internett f\u00e5r 34%.<\/p>\n

Doktorgrader *i samme domene* (ogs\u00e5 med internettilgang!) f\u00e5r 65% - 75% n\u00f8yaktighet. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4. mars 2024<\/a><\/p><\/blockquote>\n