{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/it\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Rapporto: L'intelligenza artificiale sta superando gli esseri umani, servono nuovi parametri di riferimento"},"content":{"rendered":"

L'Universit\u00e0 di Stanford ha pubblicato l'AI Index Report 2024, in cui si osserva che il rapido progresso dell'IA rende sempre meno pertinenti i confronti con gli esseri umani.<\/strong><\/p>\n

Il rapporto annuale<\/a> fornisce una visione completa delle tendenze e dello stato degli sviluppi dell'IA. Il rapporto afferma che i modelli di IA stanno migliorando cos\u00ec rapidamente che i parametri di riferimento utilizzati per misurarli stanno diventando sempre pi\u00f9 irrilevanti.<\/p>\n

Molti benchmark di settore mettono a confronto i modelli di intelligenza artificiale con la capacit\u00e0 degli esseri umani di eseguire compiti. Il benchmark Massive Multitask Language Understanding (MMLU) ne \u00e8 un buon esempio.<\/p>\n

Utilizza domande a scelta multipla per valutare gli LLM in 57 materie, tra cui matematica, storia, diritto ed etica. L'MMLU \u00e8 il punto di riferimento per l'AI dal 2019.<\/p>\n

Il punteggio di base umano sull'MMLU \u00e8 di 89,8% e nel 2019 il modello AI medio ha ottenuto un punteggio di poco superiore a 30%. Solo 5 anni dopo, Gemini Ultra \u00e8 diventato il primo modello a battere la soglia di riferimento umana con un punteggio di 90,04%.<\/p>\n

Il rapporto rileva che \"gli attuali sistemi di IA superano abitualmente le prestazioni umane su benchmark standard\". Le tendenze del grafico sottostante sembrano indicare che il MMLU e altri parametri di riferimento devono essere sostituiti.<\/p>\n

\"\"
I modelli di intelligenza artificiale hanno raggiunto e superato i parametri umani in diversi benchmark. Fonte: Relazione annuale dell'Indice AI 2024<\/figcaption><\/figure>\n

I modelli di intelligenza artificiale hanno raggiunto la saturazione delle prestazioni su benchmark consolidati come ImageNet, SQuAD e SuperGLUE, per cui i ricercatori stanno sviluppando test pi\u00f9 impegnativi.<\/p>\n

Un esempio \u00e8 il Graduate-Level Google-Proof Q&A Benchmark (GPQA), che consente di confrontare i modelli di IA con persone veramente intelligenti, piuttosto che con l'intelligenza umana media.<\/p>\n

Il test GPQA consiste in 400 domande a scelta multipla di livello universitario. Gli esperti che hanno conseguito o stanno conseguendo il dottorato di ricerca rispondono correttamente alle domande nel 65% dei casi.<\/p>\n

Il documento del GPQA afferma che quando vengono poste domande al di fuori del loro campo, \"i validatori non esperti altamente qualificati raggiungono solo un'accuratezza di 34%, nonostante abbiano trascorso in media oltre 30 minuti con accesso illimitato al web\".<\/p>\n

Il mese scorso Anthropic ha annunciato che Claude 3<\/a> ha ottenuto un punteggio di poco inferiore a 60% con 5 colpi di sollecitazione CoT. Avremo bisogno di un benchmark pi\u00f9 grande.<\/p>\n

\n

Claude 3 ottiene un'accuratezza di ~60% su GPQA. \u00c8 difficile per me sottovalutare quanto siano difficili queste domande: i dottori di ricerca letterali (in ambiti diversi da quelli delle domande) con accesso a Internet ottengono 34%.<\/p>\n

I dottori di ricerca *nello stesso ambito* (anche con accesso a Internet!) ottengono una precisione di 65% - 75%. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4 marzo 2024<\/a><\/p><\/blockquote>\n