{"id":13088,"date":"2024-06-25T13:48:10","date_gmt":"2024-06-25T13:48:10","guid":{"rendered":"https:\/\/dailyai.com\/?p=13088"},"modified":"2024-06-25T14:13:37","modified_gmt":"2024-06-25T14:13:37","slug":"llms-are-really-bad-at-solving-simple-river-crossing-puzzles","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/06\/llms-are-really-bad-at-solving-simple-river-crossing-puzzles\/","title":{"rendered":"LLM-er er veldig d\u00e5rlige til \u00e5 l\u00f8se enkle elvekryssingsoppgaver"},"content":{"rendered":"

Store spr\u00e5kmodeller som GPT-4o kan utf\u00f8re utrolig komplekse oppgaver, men selv de beste modellene sliter med noen grunnleggende resonneringsutfordringer som barn kan l\u00f8se.<\/strong><\/p>\n

I et intervju med CBS sa \"gudfaren til AI\", Geoffrey Hinton, at AI-systemer kan v\u00e6re mer intelligente enn vi vet, og at det er en mulighet for at maskinene kan ta over.<\/p>\n

P\u00e5 sp\u00f8rsm\u00e5l om niv\u00e5et p\u00e5 dagens AI-teknologi sa Hinton: \"Jeg tror vi er p\u00e5 vei inn i en periode der vi for f\u00f8rste gang noensinne kan ha ting som er mer intelligente enn oss.\"<\/p>\n

Metas sjefforsker innen kunstig intelligens, Yann LeCun, vil ha oss til \u00e5 tro at vi er langt unna \u00e5 se kunstig intelligens p\u00e5 \"hundeniv\u00e5\".<\/p>\n

S\u00e5 hva er det?<\/p>\n

Denne uken la brukere p\u00e5 X ut eksempler p\u00e5 den utrolige kodingsevnen Anthropics ny Claude<\/span><\/span><\/span> modell<\/a> utstillinger. Andre kj\u00f8rte eksperimenter for \u00e5 belyse hvordan AI-modeller fortsatt sliter med helt grunnleggende resonnementer.<\/p>\n

Puslespill om elvekryssing<\/h2>\n

Det klassiske elvekryssingspuslespillet har flere varianter, men Wikipedias versjon<\/a> oppsummerer det slik:<\/p>\n

En bonde med en ulv, en geit og et k\u00e5lhode m\u00e5 krysse en elv med b\u00e5t. B\u00e5ten kan bare frakte bonden og en enkelt gjenstand. Hvis de ikke blir passet p\u00e5 sammen, vil ulven spise opp geita, eller geita vil spise opp k\u00e5len. Hvordan kan de krysse elven uten at noe blir spist?<\/p>\n

\u00c5 finne l\u00f8sningen krever litt grunnleggende planlegging og resonnering rundt ulike scenarier, men det er ikke et spesielt vanskelig problem \u00e5 l\u00f8se. Hvis du er et menneske.<\/p>\n

Kan GPT-4o l\u00f8se det? Hvis du kopierer og limer inn puslespillet i ChatGPT, f\u00e5r du riktig svar, men den Wikipedia-siden var nesten helt sikkert med i treningsdataene.<\/p>\n

Hva om vi gjorde puslespillet mye enklere og endret det litt slik at LLM ikke kunne stole p\u00e5 treningsdataene sine?<\/p>\n

Den britiske matematikkprofessoren Sir William Timothy Gowers viste hvordan LLM-ernes manglende evne til \u00e5 anvende logikk er lett \u00e5 avsl\u00f8re.<\/p>\n

\"\"
ChatGPTs mislykkede fors\u00f8k p\u00e5 \u00e5 l\u00f8se en forenklet elvekryssing. Kilde: X @wtgowers<\/a><\/figcaption><\/figure>\n

Det riktige svaret p\u00e5 g\u00e5ten er at det kun er n\u00f8dvendig med \u00e9n tur. Men det virker som om ChatGPT pr\u00f8ver \u00e5 huske et svar i stedet for \u00e5 resonnere seg gjennom g\u00e5ten.<\/p>\n

Er Claude Sonnet 3.5 noe bedre?<\/p>\n

Meta Data Scientist Colin Frasers eksperiment bekrefter at selv den ledende AI-modellen som er tilgjengelig i dag, ikke kan l\u00f8se dette enkle puslespillet.<\/p>\n

\n

Claude<\/span><\/span><\/span> kan fortsatt ikke l\u00f8se det umulige problemet med \u00e9n bonde, \u00e9n sau, \u00e9n b\u00e5t pic.twitter.com\/TU13wermLZ<\/a><\/p>\n

- Colin Fraser (@colin_fraser) 20. juni 2024<\/a><\/p><\/blockquote>\n