{"id":13088,"date":"2024-06-25T13:48:10","date_gmt":"2024-06-25T13:48:10","guid":{"rendered":"https:\/\/dailyai.com\/?p=13088"},"modified":"2024-06-25T14:13:37","modified_gmt":"2024-06-25T14:13:37","slug":"llms-are-really-bad-at-solving-simple-river-crossing-puzzles","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/06\/llms-are-really-bad-at-solving-simple-river-crossing-puzzles\/","title":{"rendered":"LLM'er er virkelig d\u00e5rlige til at l\u00f8se simple flodkrydsningsopgaver"},"content":{"rendered":"

Store sprogmodeller som GPT-4o kan udf\u00f8re utroligt komplekse opgaver, men selv de bedste modeller k\u00e6mper med nogle grundl\u00e6ggende r\u00e6sonneringsudfordringer, som b\u00f8rn kan l\u00f8se.<\/strong><\/p>\n

I et interview med CBS sagde \"AI's gudfar\", Geoffrey Hinton, at AI-systemer m\u00e5ske er mere intelligente, end vi ved, og at der er en chance for, at maskinerne kan tage over.<\/p>\n

P\u00e5 sp\u00f8rgsm\u00e5let om niveauet for den nuv\u00e6rende AI-teknologi sagde Hinton: \"Jeg tror, vi er p\u00e5 vej ind i en periode, hvor vi for f\u00f8rste gang nogensinde kan have ting, der er mere intelligente end os.\"<\/p>\n

Metas chefforsker i AI, Yann LeCun, vil have os til at tro, at vi er langt fra at se AI opn\u00e5 intelligens p\u00e5 \"hundeniveau\".<\/p>\n

S\u00e5 hvad er det?<\/p>\n

I denne uge sendte brugere p\u00e5 X eksempler p\u00e5 den utrolige kodningsevne, som Anthropics ny Claude<\/span><\/span><\/span> model<\/a> udstillinger. Andre udf\u00f8rte eksperimenter for at fremh\u00e6ve, hvordan AI-modeller stadig k\u00e6mper med helt grundl\u00e6ggende r\u00e6sonnementer.<\/p>\n

Puslespil om at krydse floden<\/h2>\n

Det klassiske flodkrydsningspuslespil har flere variationer, men Wikipedias version<\/a> opsummerer det s\u00e5dan her:<\/p>\n

En landmand med en ulv, en ged og et k\u00e5lhoved skal krydse en flod i en b\u00e5d. B\u00e5den kan kun b\u00e6re landmanden og en enkelt genstand. Hvis de efterlades sammen uden opsyn, vil ulven spise geden, eller geden vil spise k\u00e5len. Hvordan kan de krydse floden, uden at noget bliver spist?<\/p>\n

At finde l\u00f8sningen kr\u00e6ver en vis grundl\u00e6ggende planl\u00e6gning og overvejelser om forskellige scenarier, men det er ikke et s\u00e6rligt vanskeligt problem at l\u00f8se. Hvis du er et menneske.<\/p>\n

Kan GPT-4o l\u00f8se det? Hvis du kopierer og inds\u00e6tter puslespillet i ChatGPT, giver den dig det rigtige svar, men den Wikipedia-side var n\u00e6sten helt sikkert i dens tr\u00e6ningsdata.<\/p>\n

Hvad hvis vi gjorde puslespillet meget enklere og \u00e6ndrede det en smule, s\u00e5 LLM ikke kunne stole p\u00e5 sine tr\u00e6ningsdata?<\/p>\n

Den britiske matematikprofessor Sir William Timothy Gowers viste, hvordan LLM'ernes manglende evne til at anvende logik nemt kan afsl\u00f8res.<\/p>\n

\"\"
ChatGPT's mislykkede fors\u00f8g p\u00e5 at l\u00f8se et forenklet flodkrydsningspuslespil. Kilde: X @wtgowers<\/a><\/figcaption><\/figure>\n

Det korrekte svar p\u00e5 g\u00e5den er, at der kun er brug for \u00e9n tur. Men det ser ud til, at ChatGPT fors\u00f8ger at huske et svar i stedet for blot at r\u00e6sonnere sig igennem puslespillet.<\/p>\n

Er Claude Sonnet 3.5 bedre?<\/p>\n

Meta Data Scientist Colin Frasers eksperiment bekr\u00e6fter, at selv den f\u00f8rende AI-model, der findes i \u00f8jeblikket, ikke kan l\u00f8se dette enkle puslespil.<\/p>\n

\n

Claude<\/span><\/span><\/span> kan stadig ikke l\u00f8se det umulige problem med \u00e9n landmand, \u00e9t f\u00e5r og \u00e9n b\u00e5d pic.twitter.com\/TU13wermLZ<\/a><\/p>\n

- Colin Fraser (@colin_fraser) 20. juni 2024<\/a><\/p><\/blockquote>\n