{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"LLMs produzieren bei l\u00e4ngeren Eingaben ungenauere und verzerrte Ergebnisse"},"content":{"rendered":"

Trotz der rasanten Fortschritte bei den LLMs wissen wir immer noch nicht genau, wie diese Modelle mit l\u00e4ngeren Inputs umgehen.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby und Yoav Goldberg von der Bar-Ilan-Universit\u00e4t und dem Allen Institute for AI untersuchten, wie die Leistung gro\u00dfer Sprachmodelle (LLMs) mit der L\u00e4nge des Eingabetextes, den sie verarbeiten sollen, variiert.<\/p>\n

Zu diesem Zweck entwickelten sie einen Rahmen f\u00fcr das logische Denken, der es ihnen erm\u00f6glichte, den Einfluss der Eingabel\u00e4nge auf das logische Denken in einer kontrollierten Umgebung zu untersuchen.<\/span><\/p>\n

Der Fragerahmen schlug verschiedene Versionen ein und derselben Frage vor, die jeweils die f\u00fcr die Beantwortung der Frage erforderlichen Informationen enthielten und mit zus\u00e4tzlichem, irrelevantem Text unterschiedlicher L\u00e4nge und Art angereichert waren.\u00a0<\/span><\/p>\n

Dies erm\u00f6glicht die Isolierung der Eingabel\u00e4nge als Variable, wodurch sichergestellt wird, dass \u00c4nderungen in der Modellleistung direkt auf die L\u00e4nge des Eingangs zur\u00fcckgef\u00fchrt werden k\u00f6nnen.<\/span><\/p>\n

Wichtigste Ergebnisse<\/b><\/h3>\n

Levy, Jacoby und Goldberg fanden heraus, dass LLMs bei Eingabel\u00e4ngen, die weit unter dem liegen, was die Entwickler behaupten, dass sie damit umgehen k\u00f6nnen, einen bemerkenswerten R\u00fcckgang der Denkleistung aufweisen. Sie dokumentierten ihre Ergebnisse in dieser Studie<\/a>.<\/span><\/p>\n

Der R\u00fcckgang wurde durchg\u00e4ngig bei allen Versionen des Datensatzes beobachtet, was eher auf ein systemisches Problem bei der Verarbeitung l\u00e4ngerer Eingaben als auf ein Problem hinweist, das mit spezifischen Datenproben oder Modellarchitekturen zusammenh\u00e4ngt.\u00a0<\/span><\/p>\n

Die Forscher beschreiben: \"Unsere Ergebnisse zeigen eine bemerkenswerte Verschlechterung der Argumentationsleistung von LLMs bei viel k\u00fcrzeren Eingabel\u00e4ngen als ihrem technischen Maximum. Wir zeigen, dass der Verschlechterungstrend in jeder Version unseres Datensatzes auftritt, wenn auch in unterschiedlicher Intensit\u00e4t\".<\/p>\n

 <\/p>\n

\"\"
Mit zunehmender Gr\u00f6\u00dfe des Inputs nimmt die F\u00e4higkeit zur Durchf\u00fchrung von Argumentationsaufgaben ab. Diese Eingaben bestehen aus relevantem (rot hervorgehoben) und irrelevantem (grau dargestellt) Text, der von verschiedenen Stellen stammt und nach und nach erweitert wird. Um genau zu antworten, m\u00fcssen zwei bestimmte Textsegmente identifiziert werden, die zuf\u00e4llig in der Eingabe vorkommen k\u00f6nnen. Die Leistungsdaten sind aus 600 Stichproben aggregiert. Quelle: \u00dcber ArXiv.<\/a><\/figcaption><\/figure>\n

Dar\u00fcber hinaus zeigt die Studie, dass traditionelle Metriken wie Perplexit\u00e4t, die \u00fcblicherweise zur Bewertung von LLMs verwendet werden, nicht mit der Leistung der Modelle bei logischen Aufgaben mit langen Eingaben korrelieren.\u00a0<\/span><\/p>\n

Weitere Untersuchungen ergaben, dass die Leistungsverschlechterung nicht nur vom Vorhandensein irrelevanter Informationen (Polster) abhing, sondern auch dann zu beobachten war, wenn diese Polster aus doppelten relevanten Informationen bestanden.<\/span><\/p>\n

\n

Wenn wir die beiden Kernabschnitte zusammenhalten und Text um sie herum hinzuf\u00fcgen, sinkt die Genauigkeit bereits. Wenn wir Abs\u00e4tze zwischen den Abschnitten einf\u00fcgen, sinken die Ergebnisse noch st\u00e4rker. Der R\u00fcckgang tritt sowohl auf, wenn die hinzugef\u00fcgten Texte den Aufgabentexten \u00e4hnlich sind, als auch, wenn sie v\u00f6llig anders sind. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26. Februar 2024<\/a><\/p><\/blockquote>\n