{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/fr\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"Les LLM produisent des r\u00e9sultats plus impr\u00e9cis et biais\u00e9s avec des entr\u00e9es plus longues."},"content":{"rendered":"

Malgr\u00e9 les progr\u00e8s rapides des LLM, notre compr\u00e9hension de la mani\u00e8re dont ces mod\u00e8les g\u00e8rent des entr\u00e9es plus longues reste faible.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby et Yoav Goldberg, de l'universit\u00e9 Bar-Ilan et de l'Allen Institute for AI, ont \u00e9tudi\u00e9 la mani\u00e8re dont les performances des grands mod\u00e8les de langage (LLM) varient en fonction de la longueur du texte d'entr\u00e9e qu'ils doivent traiter.<\/p>\n

Ils ont d\u00e9velopp\u00e9 un cadre de raisonnement sp\u00e9cialement \u00e0 cette fin, ce qui leur a permis de diss\u00e9quer l'influence de la longueur de l'entr\u00e9e sur le raisonnement LLM dans un environnement contr\u00f4l\u00e9.<\/span><\/p>\n

Le cadre de questionnement proposait diff\u00e9rentes versions de la m\u00eame question, chacune contenant les informations n\u00e9cessaires pour r\u00e9pondre \u00e0 la question, compl\u00e9t\u00e9es par un texte suppl\u00e9mentaire non pertinent de longueur et de type variables.\u00a0<\/span><\/p>\n

Cela permet d'isoler la longueur de l'entr\u00e9e en tant que variable, garantissant que les changements dans la performance du mod\u00e8le peuvent \u00eatre attribu\u00e9s directement \u00e0 la longueur de l'entr\u00e9e.<\/span><\/p>\n

Principales conclusions<\/b><\/h3>\n

Levy, Jacoby et Goldberg ont d\u00e9couvert que les LLM pr\u00e9sentent une baisse notable des performances de raisonnement \u00e0 des longueurs d'entr\u00e9e bien inf\u00e9rieures \u00e0 ce que les d\u00e9veloppeurs affirment qu'ils peuvent g\u00e9rer. Ils ont document\u00e9 leurs r\u00e9sultats dans cette \u00e9tude<\/a>.<\/span><\/p>\n

Le d\u00e9clin a \u00e9t\u00e9 observ\u00e9 de mani\u00e8re coh\u00e9rente dans toutes les versions de l'ensemble de donn\u00e9es, ce qui indique un probl\u00e8me syst\u00e9mique li\u00e9 au traitement d'entr\u00e9es plus longues plut\u00f4t qu'un probl\u00e8me li\u00e9 \u00e0 des \u00e9chantillons de donn\u00e9es ou \u00e0 des architectures de mod\u00e8les sp\u00e9cifiques.\u00a0<\/span><\/p>\n

Comme le d\u00e9crivent les chercheurs, \"nos r\u00e9sultats montrent une d\u00e9gradation notable des performances de raisonnement des LLM \u00e0 des longueurs d'entr\u00e9e beaucoup plus courtes que leur maximum technique. Nous montrons que la tendance \u00e0 la d\u00e9gradation appara\u00eet dans chaque version de notre ensemble de donn\u00e9es, bien qu'\u00e0 des intensit\u00e9s diff\u00e9rentes\".<\/p>\n

 <\/p>\n

\"\"
Au fur et \u00e0 mesure que la taille de l'entr\u00e9e augmente, la capacit\u00e9 \u00e0 effectuer des t\u00e2ches de raisonnement diminue. Ces entr\u00e9es se composent de textes pertinents (en rouge) et non pertinents (en gris), qui proviennent de diff\u00e9rents endroits et sont d\u00e9velopp\u00e9s progressivement. L'identification de deux segments de texte sp\u00e9cifiques, qui peuvent \u00eatre situ\u00e9s au hasard dans l'entr\u00e9e, est n\u00e9cessaire pour r\u00e9pondre avec pr\u00e9cision. Les donn\u00e9es de performance sont agr\u00e9g\u00e9es \u00e0 partir de 600 \u00e9chantillons. Source de donn\u00e9es : Via ArXiv.<\/a><\/figcaption><\/figure>\n

En outre, l'\u00e9tude met en \u00e9vidence la fa\u00e7on dont les mesures traditionnelles telles que la perplexit\u00e9, couramment utilis\u00e9es pour \u00e9valuer les LLM, ne sont pas en corr\u00e9lation avec la performance des mod\u00e8les sur les t\u00e2ches de raisonnement impliquant de longues entr\u00e9es.\u00a0<\/span><\/p>\n

Un examen plus approfondi a permis de constater que la d\u00e9gradation des performances ne d\u00e9pendait pas uniquement de la pr\u00e9sence d'informations non pertinentes (remplissage), mais qu'elle \u00e9tait observ\u00e9e m\u00eame lorsque le remplissage consistait en une duplication d'informations pertinentes.<\/span><\/p>\n

\n

Lorsque nous conservons les deux trav\u00e9es principales ensemble et que nous ajoutons du texte autour d'elles, la pr\u00e9cision diminue d\u00e9j\u00e0. En introduisant des paragraphes entre les trav\u00e9es, les r\u00e9sultats chutent encore plus. La baisse se produit \u00e0 la fois lorsque les textes que nous ajoutons sont similaires aux textes de la t\u00e2che et lorsqu'ils sont compl\u00e8tement diff\u00e9rents. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26 f\u00e9vrier 2024<\/a><\/p><\/blockquote>\n