{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"LLM:er ger mer felaktiga och partiska resultat med l\u00e4ngre inmatningar"},"content":{"rendered":"

Trots de snabba framstegen inom LLM \u00e4r v\u00e5r f\u00f6rst\u00e5else f\u00f6r hur dessa modeller hanterar l\u00e4ngre inmatningar fortfarande d\u00e5lig.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby och Yoav Goldberg, fr\u00e5n Bar-Ilan University och Allen Institute for AI, unders\u00f6kte hur prestandan hos stora spr\u00e5kmodeller (LLM) varierar med f\u00f6r\u00e4ndringar i l\u00e4ngden p\u00e5 den inmatade text som de f\u00e5r bearbeta.<\/p>\n

De utvecklade ett ramverk f\u00f6r resonemang specifikt f\u00f6r detta \u00e4ndam\u00e5l, vilket gjorde det m\u00f6jligt f\u00f6r dem att analysera hur inputl\u00e4ngden p\u00e5verkar LLM-resonemang i en kontrollerad milj\u00f6.<\/span><\/p>\n

Fr\u00e5geramen f\u00f6reslog olika versioner av samma fr\u00e5ga, var och en inneh\u00e5llande den information som var n\u00f6dv\u00e4ndig f\u00f6r att besvara fr\u00e5gan, utfylld med ytterligare, irrelevant text av varierande l\u00e4ngd och typ.\u00a0<\/span><\/p>\n

Detta g\u00f6r det m\u00f6jligt att isolera ing\u00e5ngsl\u00e4ngden som en variabel, vilket s\u00e4kerst\u00e4ller att f\u00f6r\u00e4ndringar i modellens prestanda kan h\u00e4nf\u00f6ras direkt till ing\u00e5ngsl\u00e4ngden.<\/span><\/p>\n

Viktiga resultat<\/b><\/h3>\n

Levy, Jacoby och Goldberg uppt\u00e4ckte att LLM:er uppvisar en anm\u00e4rkningsv\u00e4rd nedg\u00e5ng i resonemangsprestanda vid indatal\u00e4ngder l\u00e5ngt under vad utvecklarna h\u00e4vdar att de kan hantera. De dokumenterade sina resultat i denna studie<\/a>.<\/span><\/p>\n

Nedg\u00e5ngen observerades konsekvent i alla versioner av datasetet, vilket tyder p\u00e5 ett systemfel i hanteringen av l\u00e4ngre inmatningar snarare \u00e4n ett problem som \u00e4r knutet till specifika datasamplingar eller modellarkitekturer.\u00a0<\/span><\/p>\n

Som forskarna beskriver: \"V\u00e5ra resultat visar en m\u00e4rkbar f\u00f6rs\u00e4mring av LLM:s resonemangsprestanda vid mycket kortare inmatningsl\u00e4ngder \u00e4n deras tekniska maximum. Vi visar att f\u00f6rs\u00e4mringstrenden f\u00f6rekommer i alla versioner av v\u00e5rt dataset, \u00e4ven om det \u00e4r olika intensivt.\"<\/p>\n

 <\/p>\n

\"\"
I takt med att storleken p\u00e5 inmatningen \u00f6kar minskar f\u00f6rm\u00e5gan att utf\u00f6ra resonemangsuppgifter. Dessa inmatningar best\u00e5r av relevant (r\u00f6dmarkerad) och irrelevant (gr\u00e5markerad) text, som h\u00e4mtas fr\u00e5n olika platser och ut\u00f6kas stegvis. F\u00f6r att kunna ge korrekta svar m\u00e5ste man identifiera tv\u00e5 specifika textsegment, som kan vara slumpm\u00e4ssigt placerade i inmatningen. Prestandauppgifterna \u00e4r aggregerade fr\u00e5n 600 prov. K\u00e4llan till uppgifterna: Via ArXiv.<\/a><\/figcaption><\/figure>\n

Studien visar ocks\u00e5 att traditionella m\u00e5tt som perplexitet, som ofta anv\u00e4nds f\u00f6r att utv\u00e4rdera LLM-modeller, inte korrelerar med modellernas prestanda i resonemangsuppgifter med l\u00e5nga inmatningar.\u00a0<\/span><\/p>\n

Ytterligare unders\u00f6kningar visade att den f\u00f6rs\u00e4mrade prestandan inte enbart berodde p\u00e5 f\u00f6rekomsten av irrelevant information (utfyllnad), utan observerades \u00e4ven n\u00e4r utfyllnaden bestod av duplicerad relevant information.<\/span><\/p>\n

\n

N\u00e4r vi h\u00e5ller ihop de tv\u00e5 k\u00e4rnspannen och l\u00e4gger till text runt dem sjunker noggrannheten redan. N\u00e4r vi l\u00e4gger till stycken mellan sp\u00e4nnena sjunker resultaten \u00e4nnu mer. Nedg\u00e5ngen intr\u00e4ffar b\u00e5de n\u00e4r de texter vi l\u00e4gger till liknar uppgiftstexterna och n\u00e4r de \u00e4r helt annorlunda. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26 februari 2024<\/a><\/p><\/blockquote>\n