{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"LLM'er producerer mere un\u00f8jagtige og forudindtagede output med l\u00e6ngere input"},"content":{"rendered":"

P\u00e5 trods af hurtige fremskridt inden for LLM'er er vores forst\u00e5else af, hvordan disse modeller h\u00e5ndterer l\u00e6ngere input, stadig d\u00e5rlig.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby og Yoav Goldberg fra Bar-Ilan University og Allen Institute for AI unders\u00f8gte, hvordan ydeevnen for store sprogmodeller (LLM'er) varierer med \u00e6ndringer i l\u00e6ngden af den inputtekst, de f\u00e5r til behandling.<\/p>\n

De udviklede et r\u00e6sonnementssystem specifikt til dette form\u00e5l, s\u00e5 de kunne analysere inputl\u00e6ngdens indflydelse p\u00e5 LLM-r\u00e6sonnementet i et kontrolleret milj\u00f8.<\/span><\/p>\n

Sp\u00f8rgerammen foreslog forskellige versioner af det samme sp\u00f8rgsm\u00e5l, som hver is\u00e6r indeholdt de n\u00f8dvendige oplysninger til at besvare sp\u00f8rgsm\u00e5let, men som var fyldt med yderligere, irrelevant tekst af varierende l\u00e6ngde og type.\u00a0<\/span><\/p>\n

Det g\u00f8r det muligt at isolere inputl\u00e6ngden som en variabel og sikre, at \u00e6ndringer i modellens ydeevne kan tilskrives inputl\u00e6ngden direkte.<\/span><\/p>\n

Vigtige resultater<\/b><\/h3>\n

Levy, Jacoby og Goldberg afsl\u00f8rede, at LLM'er udviser et bem\u00e6rkelsesv\u00e6rdigt fald i r\u00e6sonnementspr\u00e6station ved inputl\u00e6ngder langt under, hvad udviklere h\u00e6vder, at de kan h\u00e5ndtere. De dokumenterede deres resultater i denne unders\u00f8gelse<\/a>.<\/span><\/p>\n

Faldet blev konsekvent observeret p\u00e5 tv\u00e6rs af alle versioner af datas\u00e6ttet, hvilket indikerer et systemisk problem med h\u00e5ndtering af l\u00e6ngere input snarere end et problem, der er knyttet til specifikke dataeksempler eller modelarkitekturer.\u00a0<\/span><\/p>\n

Som forskerne beskriver: \"Vores resultater viser en bem\u00e6rkelsesv\u00e6rdig forringelse af LLM'ernes r\u00e6sonnementsevne ved meget kortere inputl\u00e6ngder end deres tekniske maksimum. Vi viser, at tendensen til forringelse optr\u00e6der i alle versioner af vores datas\u00e6t, men med forskellig intensitet.\"<\/p>\n

 <\/p>\n

\"\"
I takt med at st\u00f8rrelsen p\u00e5 input \u00f8ges, mindskes evnen til at udf\u00f8re r\u00e6sonnerende opgaver. Disse input best\u00e5r af relevant (fremh\u00e6vet med r\u00f8dt) og irrelevant (vist med gr\u00e5t) tekst, som kommer fra forskellige steder og udvides gradvist. Det er n\u00f8dvendigt at identificere to specifikke tekstsegmenter, som kan v\u00e6re placeret tilf\u00e6ldigt i inputtet, for at kunne svare pr\u00e6cist. Pr\u00e6stationsdataene er samlet fra 600 pr\u00f8ver. Kilde: Google: Via ArXiv.<\/a><\/figcaption><\/figure>\n

Desuden fremh\u00e6ver unders\u00f8gelsen, hvordan traditionelle m\u00e5linger som perplexitet, der ofte bruges til at evaluere LLM'er, ikke korrelerer med modellernes ydeevne p\u00e5 r\u00e6sonneringsopgaver, der involverer lange input.\u00a0<\/span><\/p>\n

Yderligere unders\u00f8gelser viste, at forringelsen af ydeevnen ikke kun var afh\u00e6ngig af tilstedev\u00e6relsen af irrelevant information (padding), men blev observeret, selv n\u00e5r en s\u00e5dan padding bestod af duplikeret relevant information.<\/span><\/p>\n

\n

N\u00e5r vi holder de to kerneomr\u00e5der sammen og tilf\u00f8jer tekst omkring dem, falder n\u00f8jagtigheden allerede. N\u00e5r vi indf\u00f8rer afsnit mellem sp\u00e6ndene, falder resultaterne meget mere. Faldet sker b\u00e5de, n\u00e5r de tekster, vi tilf\u00f8jer, ligner opgaveteksterne, og n\u00e5r de er helt forskellige. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26. februar 2024<\/a><\/p><\/blockquote>\n