{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/es\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"Los LLM producen resultados m\u00e1s imprecisos y sesgados con entradas m\u00e1s largas"},"content":{"rendered":"

A pesar de los r\u00e1pidos avances de los LLM, seguimos sin comprender c\u00f3mo estos modelos hacen frente a entradas m\u00e1s largas.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby y Yoav Goldberg, de la Universidad Bar-Ilan y el Instituto Allen de Inteligencia Artificial, investigaron c\u00f3mo var\u00eda el rendimiento de los grandes modelos ling\u00fc\u00edsticos (LLM) en funci\u00f3n de la longitud del texto de entrada que deben procesar.<\/p>\n

Desarrollaron un marco de razonamiento espec\u00edfico para este fin, que les permiti\u00f3 diseccionar la influencia de la longitud de la entrada en el razonamiento LLM en un entorno controlado.<\/span><\/p>\n

El marco de preguntas propon\u00eda diferentes versiones de la misma pregunta, cada una de las cuales conten\u00eda la informaci\u00f3n necesaria para responder a la pregunta, rellenada con texto adicional irrelevante de longitud y tipo variables.\u00a0<\/span><\/p>\n

Esto permite aislar la longitud de la entrada como variable, garantizando que los cambios en el rendimiento del modelo puedan atribuirse directamente a la longitud de la entrada.<\/span><\/p>\n

Principales resultados<\/b><\/h3>\n

Levy, Jacoby y Goldberg descubrieron que los LLM muestran un notable descenso en el rendimiento del razonamiento a longitudes de entrada muy por debajo de lo que los desarrolladores afirman que pueden manejar. Documentaron sus hallazgos en este estudio<\/a>.<\/span><\/p>\n

El declive se observ\u00f3 sistem\u00e1ticamente en todas las versiones del conjunto de datos, lo que indica un problema sist\u00e9mico con el manejo de entradas m\u00e1s largas en lugar de un problema vinculado a muestras de datos o arquitecturas de modelos espec\u00edficas.\u00a0<\/span><\/p>\n

Como describen los investigadores, \"nuestros hallazgos muestran una notable degradaci\u00f3n en el rendimiento de razonamiento de los LLM a longitudes de entrada mucho m\u00e1s cortas que su m\u00e1ximo t\u00e9cnico. Demostramos que la tendencia a la degradaci\u00f3n aparece en todas las versiones de nuestro conjunto de datos, aunque con diferentes intensidades.\"<\/p>\n

 <\/p>\n

\"\"
A medida que aumenta el tama\u00f1o de la entrada, disminuye la capacidad de realizar tareas de razonamiento. Estas entradas constan de texto relevante (resaltado en rojo) e irrelevante (en gris), que se obtienen de varios lugares y se ampl\u00edan de forma incremental. Para responder con precisi\u00f3n es necesario identificar dos segmentos de texto concretos, que podr\u00edan estar situados aleatoriamente dentro de la entrada. Los datos de rendimiento se han obtenido a partir de 600 muestras. Fuente: V\u00eda ArXiv.<\/a><\/figcaption><\/figure>\n

Adem\u00e1s, el estudio pone de relieve c\u00f3mo las m\u00e9tricas tradicionales como la perplejidad, utilizadas habitualmente para evaluar los LLM, no se correlacionan con el rendimiento de los modelos en tareas de razonamiento que implican entradas largas.\u00a0<\/span><\/p>\n

Una exploraci\u00f3n m\u00e1s profunda descubri\u00f3 que la degradaci\u00f3n del rendimiento no depend\u00eda \u00fanicamente de la presencia de informaci\u00f3n irrelevante (relleno), sino que se observaba incluso cuando dicho relleno consist\u00eda en informaci\u00f3n relevante duplicada.<\/span><\/p>\n

\n

Cuando mantenemos juntos los dos vanos centrales y a\u00f1adimos texto a su alrededor, la precisi\u00f3n ya baja. Introduciendo p\u00e1rrafos entre los espacios, los resultados bajan mucho m\u00e1s. El descenso se produce tanto cuando los textos que a\u00f1adimos son similares a los de la tarea como cuando son completamente diferentes. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26 de febrero de 2024<\/a><\/p><\/blockquote>\n