{"id":13088,"date":"2024-06-25T13:48:10","date_gmt":"2024-06-25T13:48:10","guid":{"rendered":"https:\/\/dailyai.com\/?p=13088"},"modified":"2024-06-25T14:13:37","modified_gmt":"2024-06-25T14:13:37","slug":"llms-are-really-bad-at-solving-simple-river-crossing-puzzles","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/06\/llms-are-really-bad-at-solving-simple-river-crossing-puzzles\/","title":{"rendered":"Os LLM s\u00e3o realmente maus a resolver puzzles simples de travessia de rios"},"content":{"rendered":"

Os grandes modelos lingu\u00edsticos, como o GPT-4o, podem realizar tarefas incrivelmente complexas, mas mesmo os modelos de topo t\u00eam dificuldades com alguns desafios b\u00e1sicos de racioc\u00ednio que as crian\u00e7as conseguem resolver.<\/strong><\/p>\n

Numa entrevista \u00e0 CBS, o \"padrinho da IA\", Geoffrey Hinton, afirmou que os sistemas de IA podem ser mais inteligentes do que sabemos e que existe a possibilidade de as m\u00e1quinas assumirem o controlo.<\/p>\n

Quando questionado sobre o n\u00edvel da atual tecnologia de IA, Hinton afirmou: \"Penso que estamos a entrar num per\u00edodo em que, pela primeira vez, poderemos ter coisas mais inteligentes do que n\u00f3s\".<\/p>\n

O cientista-chefe de IA da Meta, Yann LeCun, quer fazer-nos crer que ainda estamos muito longe de ver a IA atingir uma intelig\u00eancia ao \"n\u00edvel do c\u00e3o\".<\/p>\n

Ent\u00e3o qual \u00e9 que \u00e9?<\/p>\n

Esta semana, os utilizadores do X publicaram exemplos da incr\u00edvel capacidade de codifica\u00e7\u00e3o do Anthropic novo Claude<\/span><\/span><\/span> modelo<\/a> exposi\u00e7\u00f5es. Outros realizaram experi\u00eancias para mostrar como os modelos de IA ainda t\u00eam dificuldades com racioc\u00ednios muito b\u00e1sicos.<\/p>\n

Puzzle da travessia do rio<\/h2>\n

O cl\u00e1ssico puzzle da travessia do rio tem m\u00faltiplas varia\u00e7\u00f5es, mas Vers\u00e3o da Wikip\u00e9dia<\/a> resume-o da seguinte forma:<\/p>\n

Um agricultor com um lobo, uma cabra e uma couve tem de atravessar um rio de barco. O barco s\u00f3 pode transportar o agricultor e um \u00fanico objeto. Se n\u00e3o fossem transportados juntos, o lobo comeria a cabra ou a cabra comeria a couve. Como \u00e9 que eles podem atravessar o rio sem que nada seja comido?<\/p>\n

Encontrar a solu\u00e7\u00e3o requer algum planeamento b\u00e1sico e racioc\u00ednio sobre diferentes cen\u00e1rios, mas n\u00e3o \u00e9 um problema particularmente dif\u00edcil de resolver. Se fores humano.<\/p>\n

Ser\u00e1 que o GPT-4o o consegue resolver? Se copiares e colares o puzzle no ChatGPT ele d\u00e1-te a resposta certa, mas essa p\u00e1gina da Wikipedia estava quase de certeza nos seus dados de treino.<\/p>\n

E se torn\u00e1ssemos o puzzle muito mais simples e o alter\u00e1ssemos ligeiramente para que o LLM n\u00e3o pudesse depender dos seus dados de treino?<\/p>\n

O professor de matem\u00e1tica brit\u00e2nico Sir William Timothy Gowers mostrou como a incapacidade dos LLM para aplicar a l\u00f3gica \u00e9 facilmente exposta.<\/p>\n

\"\"
Tentativa falhada do ChatGPT de resolver um puzzle simplificado de travessia de um rio. Fonte: X @wtgowers<\/a><\/figcaption><\/figure>\n

A resposta correcta ao puzzle \u00e9 que s\u00f3 \u00e9 necess\u00e1ria uma viagem. Mas parece que o ChatGPT est\u00e1 a tentar lembrar-se de uma resposta em vez de simplesmente raciocinar atrav\u00e9s do puzzle.<\/p>\n

O Soneto de Claude 3.5 \u00e9 melhor?<\/p>\n

A experi\u00eancia do cientista de metadados Colin Fraser confirma que mesmo o melhor modelo de IA atualmente dispon\u00edvel n\u00e3o consegue resolver este simples quebra-cabe\u00e7as.<\/p>\n

\n

Claude<\/span><\/span><\/span> continua a n\u00e3o conseguir resolver o problema imposs\u00edvel de um agricultor, uma ovelha, um barco pic.twitter.com\/TU13wermLZ<\/a><\/p>\n

- Colin Fraser (@colin_fraser) 20 de junho de 2024<\/a><\/p><\/blockquote>\n