{"id":13088,"date":"2024-06-25T13:48:10","date_gmt":"2024-06-25T13:48:10","guid":{"rendered":"https:\/\/dailyai.com\/?p=13088"},"modified":"2024-06-25T14:13:37","modified_gmt":"2024-06-25T14:13:37","slug":"llms-are-really-bad-at-solving-simple-river-crossing-puzzles","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/06\/llms-are-really-bad-at-solving-simple-river-crossing-puzzles\/","title":{"rendered":"LLM's zijn echt slecht in het oplossen van eenvoudige rivieroversteekpuzzels"},"content":{"rendered":"

Grote taalmodellen zoals GPT-4o kunnen ongelooflijk complexe taken uitvoeren, maar zelfs de topmodellen hebben moeite met een aantal eenvoudige redeneeruitdagingen die kinderen kunnen oplossen.<\/strong><\/p>\n

In een interview met CBS zei de 'godfather van AI', Geoffrey Hinton, dat AI-systemen intelligenter zouden kunnen zijn dan we weten en dat er een kans bestaat dat de machines het overnemen.<\/p>\n

Gevraagd naar het niveau van de huidige AI-technologie zei Hinton: \"Ik denk dat we een periode ingaan waarin we voor het eerst dingen hebben die intelligenter zijn dan wij.\"<\/p>\n

Meta's hoofd AI-wetenschapper, Yann LeCun, wil ons doen geloven dat we nog ver verwijderd zijn van AI die zelfs intelligentie op \"hondenniveau\" bereikt.<\/p>\n

Dus welke is het?<\/p>\n

Deze week plaatsten gebruikers op X voorbeelden van de ongelofelijke coderingsmogelijkheden van Anthropic's nieuw Claude<\/span><\/span><\/span> model<\/a> tentoonstellingen. Anderen voerden experimenten uit om te laten zien hoe AI-modellen nog steeds worstelen met zeer elementaire redeneringen.<\/p>\n

Rivieroversteek puzzel<\/h2>\n

De klassieke rivieroversteekpuzzel heeft meerdere variaties, maar Wikipedia's versie<\/a> vat het als volgt samen:<\/p>\n

Een boer met een wolf, een geit en een kool moet per boot een rivier oversteken. De boot kan slechts de boer en \u00e9\u00e9n voorwerp vervoeren. Als ze samen onbeheerd achterblijven, zou de wolf de geit opeten, of de geit de kool. Hoe kunnen ze de rivier oversteken zonder dat er iets wordt opgegeten?<\/p>\n

Het vinden van de oplossing vereist wat basisplanning en redeneren over verschillende scenario's, maar het is geen bijzonder moeilijk probleem om op te lossen. Als je een mens bent.<\/p>\n

Kan GPT-4o het oplossen? Als je de puzzel kopieert en plakt in ChatGPT krijg je het goede antwoord, maar die Wikipedia-pagina zat vrijwel zeker in de trainingsgegevens.<\/p>\n

Wat als we de puzzel veel eenvoudiger maken en iets veranderen zodat de LLM niet kan vertrouwen op zijn trainingsgegevens?<\/p>\n

De Britse hoogleraar wiskunde Sir William Timothy Gowers liet zien hoe het onvermogen van LLM's om logica toe te passen gemakkelijk aan het licht komt.<\/p>\n

\"\"
De mislukte poging van ChatGPT om een vereenvoudigde rivieroversteekpuzzel op te lossen. Bron: X @wtgowers<\/a><\/figcaption><\/figure>\n

Het juiste antwoord op de puzzel is dat er maar \u00e9\u00e9n reis nodig is. Maar het lijkt erop dat ChatGPT een antwoord probeert te onthouden in plaats van simpelweg door de puzzel heen te redeneren.<\/p>\n

Is Claude Sonnet 3.5 beter?<\/p>\n

Het experiment van Meta Data Scientist Colin Fraser bevestigt dat zelfs het beste AI-model dat momenteel beschikbaar is deze eenvoudige puzzel niet kan oplossen.<\/p>\n

\n

Claude<\/span><\/span><\/span> nog steeds geen oplossing voor het onmogelijke probleem \u00e9\u00e9n boer \u00e9\u00e9n schaap \u00e9\u00e9n boot pic.twitter.com\/TU13wermLZ<\/a><\/p>\n

- Colin Fraser (@colin_fraser) 20 juni 2024<\/a><\/p><\/blockquote>\n