{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Rapport: AI utvecklas snabbare \u00e4n m\u00e4nniskan - vi beh\u00f6ver nya riktm\u00e4rken"},"content":{"rendered":"

Stanford University sl\u00e4ppte sin AI Index Report 2024 d\u00e4r man konstaterade att AI:s snabba utveckling g\u00f6r att j\u00e4mf\u00f6relser med m\u00e4nniskor blir allt mindre relevanta.<\/strong><\/p>\n

Den \u00e5rsredovisning<\/a> ger en omfattande inblick i trender och l\u00e4get f\u00f6r AI-utvecklingen. Enligt rapporten f\u00f6rb\u00e4ttras AI-modellerna nu s\u00e5 snabbt att de riktm\u00e4rken vi anv\u00e4nder f\u00f6r att m\u00e4ta dem blir alltmer irrelevanta.<\/p>\n

M\u00e5nga branschriktm\u00e4rken j\u00e4mf\u00f6r AI-modeller med hur bra m\u00e4nniskor \u00e4r p\u00e5 att utf\u00f6ra uppgifter. Benchmarken Massive Multitask Language Understanding (MMLU) \u00e4r ett bra exempel.<\/p>\n

Den anv\u00e4nder flervalsfr\u00e5gor f\u00f6r att utv\u00e4rdera LLM:er i 57 \u00e4mnen, inklusive matematik, historia, juridik och etik. MMLU har varit det sj\u00e4lvklara AI-riktm\u00e4rket sedan 2019.<\/p>\n

Den m\u00e4nskliga baslinjen p\u00e5 MMLU \u00e4r 89,8%, och redan 2019 fick den genomsnittliga AI-modellen drygt 30%. Bara 5 \u00e5r senare blev Gemini Ultra den f\u00f6rsta modellen som slog den m\u00e4nskliga baslinjen med en po\u00e4ng p\u00e5 90,04%.<\/p>\n

Rapporten konstaterar att nuvarande \"AI-system rutinm\u00e4ssigt \u00f6vertr\u00e4ffar m\u00e4nsklig prestanda p\u00e5 standardbenchmarks.\" Trenderna i diagrammet nedan verkar tyda p\u00e5 att MMLU och andra riktm\u00e4rken beh\u00f6ver bytas ut.<\/p>\n

\"\"
AI-modeller har n\u00e5tt och \u00f6vertr\u00e4ffat m\u00e4nskliga baslinjer i flera benchmarks. K\u00e4lla: The AI Index \u00c5rsrapporten f\u00f6r AI-index 2024<\/figcaption><\/figure>\n

AI-modeller har n\u00e5tt prestandam\u00e4ttnad p\u00e5 etablerade benchmarks som ImageNet, SQuAD och SuperGLUE, s\u00e5 forskarna utvecklar mer utmanande tester.<\/p>\n

Ett exempel \u00e4r Graduate-Level Google-Proof Q&A Benchmark (GPQA), som g\u00f6r att AI-modeller kan j\u00e4mf\u00f6ras med riktigt smarta m\u00e4nniskor, snarare \u00e4n med genomsnittlig m\u00e4nsklig intelligens.<\/p>\n

GPQA-testet best\u00e5r av 400 tuffa flervalsfr\u00e5gor p\u00e5 forskarniv\u00e5. Experter som har eller h\u00e5ller p\u00e5 att doktorera svarar korrekt p\u00e5 fr\u00e5gorna 65% av g\u00e5ngerna.<\/p>\n

I GPQA:s rapport st\u00e5r det att \"h\u00f6gt kvalificerade validerare som inte \u00e4r experter n\u00e5r endast 34% noggrannhet n\u00e4r de f\u00e5r fr\u00e5gor utanf\u00f6r sitt omr\u00e5de, trots att de i genomsnitt tillbringar \u00f6ver 30 minuter med obegr\u00e4nsad tillg\u00e5ng till webben\".<\/p>\n

F\u00f6rra m\u00e5naden meddelade Anthropic att Claude 3<\/a> fick strax under 60% med 5-skott CoT prompting. Vi kommer att beh\u00f6va ett st\u00f6rre riktm\u00e4rke.<\/p>\n

\n

Claude 3 f\u00e5r ~60% noggrannhet p\u00e5 GPQA. Det \u00e4r sv\u00e5rt f\u00f6r mig att underskatta hur sv\u00e5ra dessa fr\u00e5gor \u00e4r - bokstavliga doktorer (inom andra dom\u00e4ner \u00e4n fr\u00e5gorna) med tillg\u00e5ng till internet f\u00e5r 34%.<\/p>\n

Doktorander * i samma dom\u00e4n* (\u00e4ven med internet\u00e5tkomst!) f\u00e5r 65% - 75% noggrannhet. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4 mars 2024<\/a><\/p><\/blockquote>\n