{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"LLM's produceren meer onnauwkeurige en bevooroordeelde uitgangen met langere inputs"},"content":{"rendered":"

Ondanks de snelle vooruitgang in LLM's blijft ons begrip van hoe deze modellen omgaan met langere inputs gebrekkig.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby en Yoav Goldberg van de Bar-Ilan Universiteit en het Allen Instituut voor AI onderzochten hoe de prestaties van grote taalmodellen (LLM's) vari\u00ebren met veranderingen in de lengte van de invoertekst die ze te verwerken krijgen.<\/p>\n

Ze ontwikkelden speciaal voor dit doel een redeneerraamwerk, waarmee ze de invloed van invoerlengte op LLM redeneren in een gecontroleerde omgeving konden ontleden.<\/span><\/p>\n

Het vragenkader stelde verschillende versies van dezelfde vraag voor, die elk de nodige informatie bevatten om de vraag te beantwoorden, opgevuld met bijkomende, irrelevante tekst van verschillende lengte en type.\u00a0<\/span><\/p>\n

Dit maakt het mogelijk om de lengte van de invoer als variabele te isoleren, zodat veranderingen in de prestaties van het model direct kunnen worden toegeschreven aan de lengte van de invoer.<\/span><\/p>\n

Belangrijkste bevindingen<\/b><\/h3>\n

Levy, Jacoby en Goldberg ontdekten dat LLM's een opmerkelijke afname in redeneerprestaties vertonen bij invoerlengtes die veel lager zijn dan wat ontwikkelaars beweren dat ze aankunnen. Ze documenteerden hun bevindingen in deze studie<\/a>.<\/span><\/p>\n

De afname werd consistent waargenomen in alle versies van de dataset, wat duidt op een systematisch probleem met het verwerken van langere invoer in plaats van een probleem dat gebonden is aan specifieke gegevensmonsters of modelarchitecturen.\u00a0<\/span><\/p>\n

Zoals de onderzoekers beschrijven: \"Onze bevindingen laten een opmerkelijke achteruitgang zien in de redeneerprestaties van LLM's bij veel kortere invoerlengtes dan hun technische maximum. We laten zien dat de degradatietrend zich voordoet in elke versie van onze dataset, zij het met verschillende intensiteit.\"<\/p>\n

 <\/p>\n

\"\"
Naarmate de omvang van de invoer toeneemt, neemt het vermogen om redeneertaken uit te voeren af. Deze input bestaat uit relevante (in rood weergegeven) en irrelevante (in grijs weergegeven) tekst, die van verschillende plaatsen afkomstig is en stapsgewijs wordt uitgebreid. Het identificeren van twee specifieke tekstsegmenten, die willekeurig in de input kunnen staan, is nodig om nauwkeurig te kunnen antwoorden. De prestatiegegevens zijn verzameld uit 600 steekproeven. Bron: Via ArXiv.<\/a><\/figcaption><\/figure>\n

Bovendien laat het onderzoek zien hoe traditionele meetmethoden zoals perplexiteit, die vaak worden gebruikt om LLM's te evalueren, niet correleren met de prestaties van de modellen bij redeneertaken met lange invoer.\u00a0<\/span><\/p>\n

Verder onderzoek wees uit dat de prestatieverslechtering niet alleen afhankelijk was van de aanwezigheid van irrelevante informatie (opvulling), maar ook werd waargenomen wanneer deze opvulling bestond uit dubbele relevante informatie.<\/span><\/p>\n

\n

Als we de twee kernoverspanningen bij elkaar houden en er tekst omheen zetten, daalt de nauwkeurigheid al. Als we alinea's tussen de spans toevoegen, dalen de resultaten nog veel meer. De daling treedt zowel op wanneer de teksten die we toevoegen lijken op de teksten van de taak, als wanneer ze totaal verschillend zijn. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26 februari 2024<\/a><\/p><\/blockquote>\n