{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/es\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Informe: La IA avanza m\u00e1s que los humanos, necesitamos nuevos puntos de referencia"},"content":{"rendered":"

La Universidad de Stanford public\u00f3 su Informe sobre el \u00cdndice de Inteligencia Artificial 2024, en el que se\u00f1alaba que el r\u00e1pido avance de la IA hace que las comparaciones con los humanos sean cada vez menos pertinentes.<\/strong><\/p>\n

En informe anual<\/a> ofrece una visi\u00f3n exhaustiva de las tendencias y el estado de la evoluci\u00f3n de la IA. El informe afirma que los modelos de IA est\u00e1n mejorando tan r\u00e1pidamente que los par\u00e1metros que utilizamos para medirlos son cada vez m\u00e1s irrelevantes.<\/p>\n

Muchas pruebas comparativas del sector comparan los modelos de IA con la capacidad de los humanos para realizar tareas. La prueba comparativa Massive Multitask Language Understanding (MMLU) es un buen ejemplo.<\/p>\n

Utiliza preguntas de opci\u00f3n m\u00faltiple para evaluar LLMs a trav\u00e9s de 57 temas, incluyendo matem\u00e1ticas, historia, derecho y \u00e9tica. El MMLU ha sido la referencia en IA desde 2019.<\/p>\n

La puntuaci\u00f3n de referencia humana en el MMLU es de 89,8%, y ya en 2019, el modelo de IA medio obtuvo una puntuaci\u00f3n ligeramente superior a 30%. Solo 5 a\u00f1os despu\u00e9s, Gemini Ultra se convirti\u00f3 en el primer modelo en superar la puntuaci\u00f3n de referencia humana con 90,04%.<\/p>\n

El informe se\u00f1ala que los actuales \"sistemas de IA superan habitualmente el rendimiento humano en los puntos de referencia est\u00e1ndar\". Las tendencias del gr\u00e1fico siguiente parecen indicar que el MMLU y otros puntos de referencia necesitan ser sustituidos.<\/p>\n

\"\"
Los modelos de IA han alcanzado y superado los niveles de referencia humanos en m\u00faltiples pruebas comparativas. Fuente: Informe anual del \u00cdndice AI 2024<\/figcaption><\/figure>\n

Los modelos de IA han alcanzado la saturaci\u00f3n de rendimiento en pruebas de referencia establecidas como ImageNet, SQuAD y SuperGLUE, por lo que los investigadores est\u00e1n desarrollando pruebas m\u00e1s exigentes.<\/p>\n

Un ejemplo es el Graduate-Level Google-Proof Q&A Benchmark (GPQA), que permite comparar modelos de IA con personas realmente inteligentes, en lugar de con la inteligencia humana media.<\/p>\n

El examen GPQA consta de 400 preguntas tipo test de nivel universitario. Los expertos que han obtenido o est\u00e1n obteniendo un doctorado responden correctamente a las preguntas el 65% de las veces.<\/p>\n

El documento del GPQA se\u00f1ala que, cuando se les plantean preguntas ajenas a su campo, \"los validadores no expertos altamente cualificados s\u00f3lo alcanzan una precisi\u00f3n de 34%, a pesar de pasar una media de m\u00e1s de 30 minutos con acceso ilimitado a la web\".<\/p>\n

El mes pasado Anthropic anunci\u00f3 que Claude 3<\/a> anot\u00f3 un poco menos de 60% con 5 disparos de CoT. Vamos a necesitar un punto de referencia m\u00e1s grande.<\/p>\n

\n

Claude 3 obtiene ~60% de precisi\u00f3n en el GPQA. Me resulta dif\u00edcil subestimar lo dif\u00edciles que son estas preguntas: doctores literales (en \u00e1mbitos distintos a los de las preguntas) con acceso a Internet obtienen 34%.<\/p>\n

Los doctores *en el mismo \u00e1mbito* (\u00a1tambi\u00e9n con acceso a Internet!) obtienen una precisi\u00f3n de 65% - 75%. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4 de marzo de 2024<\/a><\/p><\/blockquote>\n