{"id":11632,"date":"2024-04-17T11:48:55","date_gmt":"2024-04-17T11:48:55","guid":{"rendered":"https:\/\/dailyai.com\/?p=11632"},"modified":"2024-04-17T11:48:55","modified_gmt":"2024-04-17T11:48:55","slug":"report-ai-is-advancing-beyond-humans-we-need-new-benchmarks","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/04\/report-ai-is-advancing-beyond-humans-we-need-new-benchmarks\/","title":{"rendered":"Relat\u00f3rio: A IA est\u00e1 a avan\u00e7ar mais do que os humanos, precisamos de novos par\u00e2metros de refer\u00eancia"},"content":{"rendered":"

A Universidade de Stanford publicou o seu Relat\u00f3rio sobre o \u00cdndice de IA 2024, no qual refere que o r\u00e1pido avan\u00e7o da IA torna as compara\u00e7\u00f5es com os seres humanos cada vez menos relevantes.<\/strong><\/p>\n

O relat\u00f3rio anual<\/a> fornece uma vis\u00e3o abrangente das tend\u00eancias e do estado dos desenvolvimentos da IA. O relat\u00f3rio afirma que os modelos de IA est\u00e3o a melhorar t\u00e3o rapidamente que os par\u00e2metros de refer\u00eancia que utilizamos para os medir est\u00e3o a tornar-se cada vez mais irrelevantes.<\/p>\n

Muitos testes de refer\u00eancia da ind\u00fastria comparam os modelos de IA com a qualidade dos seres humanos na execu\u00e7\u00e3o de tarefas. O benchmark Massive Multitask Language Understanding (MMLU) \u00e9 um bom exemplo.<\/p>\n

Ele usa perguntas de m\u00faltipla escolha para avaliar LLMs em 57 disciplinas, incluindo matem\u00e1tica, hist\u00f3ria, direito e \u00e9tica. O MMLU tem sido a refer\u00eancia de IA desde 2019.<\/p>\n

A pontua\u00e7\u00e3o de base humana no MMLU \u00e9 89,8% e, em 2019, o modelo m\u00e9dio de IA obteve pouco mais de 30%. Apenas 5 anos depois, o Gemini Ultra se tornou o primeiro modelo a superar a linha de base humana com uma pontua\u00e7\u00e3o de 90.04%.<\/p>\n

O relat\u00f3rio refere que os actuais \"sistemas de IA excedem habitualmente o desempenho humano em par\u00e2metros de refer\u00eancia padr\u00e3o\". As tend\u00eancias no gr\u00e1fico abaixo parecem indicar que o MMLU e outros par\u00e2metros de refer\u00eancia precisam de ser substitu\u00eddos.<\/p>\n

\"\"
Os modelos de IA atingiram e ultrapassaram as linhas de base humanas em v\u00e1rios par\u00e2metros de refer\u00eancia. Fonte: Relat\u00f3rio Anual do AI Index 2024<\/figcaption><\/figure>\n

Os modelos de IA atingiram a satura\u00e7\u00e3o de desempenho em par\u00e2metros de refer\u00eancia estabelecidos, como o ImageNet, o SQuAD e o SuperGLUE, pelo que os investigadores est\u00e3o a desenvolver testes mais exigentes.<\/p>\n

Um exemplo \u00e9 o Graduate-Level Google-Proof Q&A Benchmark (GPQA), que permite que os modelos de IA sejam comparados com pessoas realmente inteligentes, em vez de com a intelig\u00eancia humana m\u00e9dia.<\/p>\n

O teste GPQA \u00e9 composto por 400 perguntas dif\u00edceis de escolha m\u00faltipla a n\u00edvel de p\u00f3s-gradua\u00e7\u00e3o. Os especialistas que t\u00eam ou est\u00e3o a tirar o doutoramento respondem corretamente \u00e0s perguntas em 65% das vezes.<\/p>\n

O documento do GPQA refere que, quando lhes s\u00e3o colocadas quest\u00f5es fora da sua \u00e1rea, \"os validadores n\u00e3o especialistas altamente qualificados apenas atingem uma precis\u00e3o de 34%, apesar de passarem, em m\u00e9dia, mais de 30 minutos com acesso ilimitado \u00e0 Internet\".<\/p>\n

No m\u00eas passado, a Anthropic anunciou que Claude 3<\/a> obteve um resultado ligeiramente inferior a 60% com um CoT de 5 tiros. Vamos precisar de uma refer\u00eancia maior.<\/p>\n

\n

O Claude 3 obt\u00e9m uma precis\u00e3o de ~60% no GPQA. \u00c9 dif\u00edcil para mim subestimar o grau de dificuldade destas perguntas - doutorados liter\u00e1rios (em dom\u00ednios diferentes dos das perguntas) com acesso \u00e0 Internet obt\u00eam 34%.<\/p>\n

Os doutorados *no mesmo dom\u00ednio* (tamb\u00e9m com acesso \u00e0 Internet!) obt\u00eam uma precis\u00e3o de 65% - 75%. https:\/\/t.co\/ARAiCNXgU9<\/a> pic.twitter.com\/PH8J13zIef<\/a><\/p>\n

- david rein (@idavidrein) 4 de mar\u00e7o de 2024<\/a><\/p><\/blockquote>\n