{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Rapport: AI gaat verder dan mensen, we hebben nieuwe benchmarks nodig"},"content":{"rendered":"

Stanford University publiceerde zijn AI Index Report 2024 waarin wordt opgemerkt dat de snelle vooruitgang van AI benchmarkvergelijkingen met mensen steeds minder relevant maakt.<\/strong><\/p>\n

De jaarverslag<\/a> geeft een uitgebreid inzicht in de trends en de stand van de AI-ontwikkelingen. Het rapport zegt dat AI-modellen nu zo snel verbeteren dat de benchmarks die we gebruiken om ze te meten steeds minder relevant worden.<\/p>\n

Veel industri\u00eble benchmarks vergelijken AI-modellen met hoe goed mensen zijn in het uitvoeren van taken. De MMLU-benchmark (Massive Multitask Language Understanding) is daar een goed voorbeeld van.<\/p>\n

Het gebruikt meerkeuzevragen om LLM's te evalueren in 57 vakken, waaronder wiskunde, geschiedenis, rechten en ethiek. Sinds 2019 is de MMLU de AI-benchmark bij uitstek.<\/p>\n

De menselijke basisscore op het MMLU is 89,8% en in 2019 scoorde het gemiddelde AI-model iets meer dan 30%. Slechts 5 jaar later werd Gemini Ultra het eerste model dat de menselijke baseline versloeg met een score van 90,04%.<\/p>\n

Het rapport merkt op dat de huidige \"AI-systemen routinematig de menselijke prestaties op standaard benchmarks overtreffen\". De trends in de onderstaande grafiek lijken erop te wijzen dat het MMLU en andere benchmarks aan vervanging toe zijn.<\/p>\n

\"\"
AI-modellen hebben in meerdere benchmarks menselijke referentiepunten bereikt en overtroffen. Bron: The AI Index 2024 Annual Report<\/figcaption><\/figure>\n

AI-modellen hebben prestatieverzadiging bereikt op gevestigde benchmarks zoals ImageNet, SQuAD en SuperGLUE, dus onderzoekers ontwikkelen meer uitdagende tests.<\/p>\n

Een voorbeeld is de Graduate-Level Google-Proof Q&A Benchmark (GPQA), waarmee AI-modellen kunnen worden vergeleken met echt slimme mensen in plaats van met de gemiddelde menselijke intelligentie.<\/p>\n

De GPQA test bestaat uit 400 moeilijke meerkeuzevragen op doctoraatsniveau. Experts die gepromoveerd zijn of nog promoveren beantwoorden de vragen 65% van de tijd correct.<\/p>\n

Het GPQA-paper zegt dat wanneer vragen buiten hun vakgebied worden gesteld, \"hoogopgeleide, niet-deskundige validators slechts een nauwkeurigheid van 34% bereiken, ondanks het feit dat ze gemiddeld meer dan 30 minuten onbeperkte toegang tot het web hebben\".<\/p>\n

Vorige maand kondigde Anthropic aan dat Claude 3<\/a> scoorde net onder de 60% met 5-schots CoT prompting. We hebben een grotere benchmark nodig.<\/p>\n

\n

Claude 3 haalt ~60% nauwkeurigheid op GPQA. Ik kan moeilijk onderschatten hoe moeilijk deze vragen zijn - letterlijke PhD's (in andere domeinen dan de vragen) met toegang tot het internet halen 34%.<\/p>\n

PhD's *in hetzelfde domein* (ook met internettoegang!) krijgen 65% - 75% nauwkeurigheid. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4 maart 2024<\/a><\/p><\/blockquote>\n