{"id":13088,"date":"2024-06-25T13:48:10","date_gmt":"2024-06-25T13:48:10","guid":{"rendered":"https:\/\/dailyai.com\/?p=13088"},"modified":"2024-06-25T14:13:37","modified_gmt":"2024-06-25T14:13:37","slug":"llms-are-really-bad-at-solving-simple-river-crossing-puzzles","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/06\/llms-are-really-bad-at-solving-simple-river-crossing-puzzles\/","title":{"rendered":"LLM:er \u00e4r riktigt d\u00e5liga p\u00e5 att l\u00f6sa enkla flodkorsningspussel"},"content":{"rendered":"

Stora spr\u00e5kmodeller som GPT-4o kan utf\u00f6ra otroligt komplexa uppgifter, men \u00e4ven de b\u00e4sta modellerna k\u00e4mpar med vissa grundl\u00e4ggande resonemangsutmaningar som barn kan l\u00f6sa.<\/strong><\/p>\n

I en intervju med CBS sa \"AI:s gudfader\", Geoffrey Hinton, att AI-system kan vara mer intelligenta \u00e4n vi vet och att det finns en risk att maskinerna tar \u00f6ver.<\/p>\n

P\u00e5 fr\u00e5gan om niv\u00e5n p\u00e5 dagens AI-teknik svarade Hinton: \"Jag tror att vi \u00e4r p\u00e5 v\u00e4g in i en period d\u00e5 vi f\u00f6r f\u00f6rsta g\u00e5ngen n\u00e5gonsin kan ha saker som \u00e4r mer intelligenta \u00e4n oss.\"<\/p>\n

Metas chef AI-forskare, Yann LeCun, vill f\u00e5 oss att tro att vi \u00e4r l\u00e5ngt ifr\u00e5n att se AI uppn\u00e5 till och med intelligens p\u00e5 \"hundniv\u00e5\".<\/p>\n

S\u00e5 vilken \u00e4r det?<\/p>\n

Den h\u00e4r veckan har anv\u00e4ndare p\u00e5 X publicerat exempel p\u00e5 den otroliga kodningsf\u00f6rm\u00e5ga som Anthropics ny Claude<\/span><\/span><\/span> modell<\/a> utst\u00e4llningar. Andra genomf\u00f6rde experiment f\u00f6r att belysa hur AI-modeller fortfarande har sv\u00e5rt med mycket grundl\u00e4ggande resonemang.<\/p>\n

Pussel f\u00f6r att korsa flod<\/h2>\n

Det klassiska flodkorsningspusslet har flera variationer men Wikipedias version<\/a> sammanfattar det s\u00e5 h\u00e4r:<\/p>\n

En bonde med en varg, en get och ett k\u00e5lhuvud m\u00e5ste ta sig \u00f6ver en flod med b\u00e5t. B\u00e5ten kan bara ta med sig bonden och ett enda f\u00f6rem\u00e5l. Om de l\u00e4mnas utan uppsikt tillsammans skulle vargen \u00e4ta upp geten eller geten \u00e4ta upp k\u00e5len. Hur kan de korsa floden utan att n\u00e5got blir upp\u00e4tet?<\/p>\n

F\u00f6r att hitta l\u00f6sningen kr\u00e4vs en del grundl\u00e4ggande planering och resonemang om olika scenarier, men det \u00e4r inte ett s\u00e4rskilt sv\u00e5rt problem att l\u00f6sa. Om du \u00e4r m\u00e4nniska.<\/p>\n

Kan GPT-4o l\u00f6sa det? Om du kopierar och klistrar in pusslet i ChatGPT f\u00e5r du r\u00e4tt svar, men den d\u00e4r Wikipedia-sidan fanns med st\u00f6rsta sannolikhet med i tr\u00e4ningsdatan.<\/p>\n

Vad h\u00e4nder om vi g\u00f6r pusslet mycket enklare och \u00e4ndrar det n\u00e5got s\u00e5 att LLM inte kan f\u00f6rlita sig p\u00e5 sina tr\u00e4ningsdata?<\/p>\n

Den brittiske matematikprofessorn Sir William Timothy Gowers visade hur LLM:s of\u00f6rm\u00e5ga att till\u00e4mpa logik l\u00e4tt kan avsl\u00f6jas.<\/p>\n

\"\"
ChatGPT:s misslyckade f\u00f6rs\u00f6k att l\u00f6sa ett f\u00f6renklat pussel f\u00f6r att korsa en flod. K\u00e4llan \u00e4r: X @wtgowers<\/a><\/figcaption><\/figure>\n

Det korrekta svaret p\u00e5 pusslet \u00e4r att endast en resa kr\u00e4vs. Men det verkar som om ChatGPT f\u00f6rs\u00f6ker komma ih\u00e5g ett svar snarare \u00e4n att bara resonera sig igenom pusslet.<\/p>\n

\u00c4r Claude Sonnet 3.5 n\u00e5got b\u00e4ttre?<\/p>\n

Meta Data Scientist Colin Frasers experiment bekr\u00e4ftar att \u00e4ven den ledande AI-modellen som f\u00f6r n\u00e4rvarande finns tillg\u00e4nglig inte kan l\u00f6sa detta enkla pussel.<\/p>\n

\n

Claude<\/span><\/span><\/span> kan fortfarande inte l\u00f6sa det om\u00f6jliga problemet med en bonde, ett f\u00e5r och en b\u00e5t pic.twitter.com\/TU13wermLZ<\/a><\/p>\n

- Colin Fraser (@colin_fraser) 20 juni 2024<\/a><\/p><\/blockquote>\n