{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"LLM-er produserer mer un\u00f8yaktige og skjeve utdata med lengre inndata"},"content":{"rendered":"

Til tross for den raske utviklingen av LLM-modeller, har vi fortsatt liten forst\u00e5else av hvordan disse modellene h\u00e5ndterer lengre inndata.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby og Yoav Goldberg, fra Bar-Ilan University og Allen Institute for AI, har unders\u00f8kt hvordan ytelsen til store spr\u00e5kmodeller (LLM-er) varierer med endringer i lengden p\u00e5 inndatateksten de skal behandle.<\/p>\n

De utviklet et resonneringsrammeverk spesielt for dette form\u00e5let, slik at de kunne analysere hvordan lengden p\u00e5 inndataene p\u00e5virker LLM-resonnering i et kontrollert milj\u00f8.<\/span><\/p>\n

Sp\u00f8rsm\u00e5lene inneholdt ulike versjoner av det samme sp\u00f8rsm\u00e5let, som hver inneholdt den informasjonen som var n\u00f8dvendig for \u00e5 svare p\u00e5 sp\u00f8rsm\u00e5let, men som var fylt ut med irrelevant tilleggstekst av varierende lengde og type.\u00a0<\/span><\/p>\n

Dette gj\u00f8r det mulig \u00e5 isolere lengden p\u00e5 inndataene som en variabel, slik at endringer i modellens ytelse kan tilskrives lengden p\u00e5 inndataene direkte.<\/span><\/p>\n

Viktige funn<\/b><\/h3>\n

Levy, Jacoby og Goldberg avdekket at LLM-er utviser en bemerkelsesverdig nedgang i resonneringsytelse ved inputlengder langt under det utviklerne hevder at de kan h\u00e5ndtere. De dokumenterte funnene sine i denne studien<\/a>.<\/span><\/p>\n

Nedgangen ble konsekvent observert i alle versjoner av datasettet, noe som tyder p\u00e5 et systemisk problem med h\u00e5ndtering av lengre inndata snarere enn et problem knyttet til spesifikke datautvalg eller modellarkitekturer.\u00a0<\/span><\/p>\n

Forskerne beskriver det slik: \"Funnene v\u00e5re viser en merkbar forringelse av LLM-enes resonneringsytelse ved mye kortere inputlengder enn deres tekniske maksimum. Vi viser at denne forringelsestrenden dukker opp i alle versjoner av datasettet v\u00e5rt, men med ulik intensitet.\"<\/p>\n

 <\/p>\n

\"\"
Etter hvert som st\u00f8rrelsen p\u00e5 inndataene \u00f8ker, reduseres evnen til \u00e5 utf\u00f8re resonnerende oppgaver. Inndataene best\u00e5r av relevant (uthevet i r\u00f8dt) og irrelevant (vist i gr\u00e5tt) tekst, som hentes fra ulike steder og utvides trinnvis. For \u00e5 kunne gi n\u00f8yaktige svar er det n\u00f8dvendig \u00e5 identifisere to spesifikke tekstsegmenter, som kan v\u00e6re plassert tilfeldig i inndataene. Ytelsesdataene er aggregert fra 600 pr\u00f8ver. Kilde: Google: Via ArXiv.<\/a><\/figcaption><\/figure>\n

Studien viser ogs\u00e5 hvordan tradisjonelle m\u00e5l som perplexity, som ofte brukes til \u00e5 evaluere LLM-modeller, ikke korrelerer med modellenes ytelse p\u00e5 resonneringsoppgaver som involverer lange inndata.\u00a0<\/span><\/p>\n

Videre unders\u00f8kelser viste at den reduserte ytelsen ikke bare var avhengig av tilstedev\u00e6relsen av irrelevant informasjon (padding), men ble observert selv n\u00e5r slik padding besto av duplisert relevant informasjon.<\/span><\/p>\n

\n

N\u00e5r vi holder de to kjernespennene sammen og legger til tekst rundt dem, synker n\u00f8yaktigheten allerede. N\u00e5r vi legger inn avsnitt mellom spennene, synker resultatene enda mer. Nedgangen skjer b\u00e5de n\u00e5r tekstene vi legger til, ligner p\u00e5 oppgavetekstene, og n\u00e5r de er helt forskjellige. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26. februar 2024<\/a><\/p><\/blockquote>\n