{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"Os LLMs produzem resultados mais imprecisos e tendenciosos com entradas mais longas"},"content":{"rendered":"

Apesar dos r\u00e1pidos avan\u00e7os nos LLMs, a nossa compreens\u00e3o de como estes modelos lidam com entradas mais longas continua a ser fraca.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby e Yoav Goldberg, da Universidade de Bar-Ilan e do Allen Institute for AI, investigaram a forma como o desempenho dos modelos de linguagem de grande dimens\u00e3o (LLM) varia com as altera\u00e7\u00f5es no comprimento do texto de entrada que lhes \u00e9 dado para processar.<\/p>\n

Desenvolveram uma estrutura de racioc\u00ednio especificamente para este fim, permitindo-lhes dissecar a influ\u00eancia do comprimento da entrada no racioc\u00ednio LLM num ambiente controlado.<\/span><\/p>\n

O quadro de perguntas propunha diferentes vers\u00f5es da mesma pergunta, cada uma contendo a informa\u00e7\u00e3o necess\u00e1ria para responder \u00e0 pergunta, complementada com texto adicional irrelevante de diferentes comprimentos e tipos.\u00a0<\/span><\/p>\n

Isto permite isolar o comprimento da entrada como uma vari\u00e1vel, assegurando que as altera\u00e7\u00f5es no desempenho do modelo podem ser atribu\u00eddas diretamente ao comprimento da entrada.<\/span><\/p>\n

Principais conclus\u00f5es<\/b><\/h3>\n

Levy, Jacoby e Goldberg descobriram que os LLMs exibem um decl\u00ednio not\u00e1vel no desempenho do racioc\u00ednio em comprimentos de entrada muito abaixo do que os programadores afirmam que eles podem lidar. Eles documentaram as suas descobertas neste estudo<\/a>.<\/span><\/p>\n

O decl\u00ednio foi observado de forma consistente em todas as vers\u00f5es do conjunto de dados, indicando um problema sist\u00e9mico com o tratamento de entradas mais longas e n\u00e3o um problema relacionado com amostras de dados ou arquitecturas de modelos espec\u00edficos.\u00a0<\/span><\/p>\n

Como descrevem os investigadores, \"as nossas descobertas mostram uma degrada\u00e7\u00e3o not\u00e1vel no desempenho de racioc\u00ednio dos LLMs com comprimentos de entrada muito mais curtos do que o seu m\u00e1ximo t\u00e9cnico. Mostramos que a tend\u00eancia de degrada\u00e7\u00e3o aparece em todas as vers\u00f5es do nosso conjunto de dados, embora com intensidades diferentes.\"<\/p>\n

 <\/p>\n

\"\"
\u00c0 medida que o tamanho da entrada aumenta, a capacidade de efetuar tarefas de racioc\u00ednio diminui. Estas entradas consistem em texto relevante (real\u00e7ado a vermelho) e irrelevante (mostrado a cinzento), que s\u00e3o obtidos de v\u00e1rios locais e expandidos de forma incremental. Para responder com exatid\u00e3o, \u00e9 necess\u00e1rio identificar dois segmentos de texto espec\u00edficos, que podem estar situados aleatoriamente na entrada. Os dados de desempenho s\u00e3o agregados a partir de 600 amostras. Fonte: Via ArXiv.<\/a><\/figcaption><\/figure>\n

Al\u00e9m disso, o estudo destaca o facto de as m\u00e9tricas tradicionais, como a perplexidade, normalmente utilizadas para avaliar os LLM, n\u00e3o estarem correlacionadas com o desempenho dos modelos em tarefas de racioc\u00ednio que envolvem entradas longas.\u00a0<\/span><\/p>\n

Uma an\u00e1lise mais aprofundada revelou que a degrada\u00e7\u00e3o do desempenho n\u00e3o dependia apenas da presen\u00e7a de informa\u00e7\u00e3o irrelevante (padding), mas era observada mesmo quando esse padding consistia em informa\u00e7\u00e3o relevante duplicada.<\/span><\/p>\n

\n

Quando mantemos os dois v\u00e3os principais juntos e adicionamos texto \u00e0 volta deles, a precis\u00e3o j\u00e1 diminui. Se introduzirmos par\u00e1grafos entre os intervalos, os resultados baixam muito mais. A queda ocorre tanto quando os textos que adicionamos s\u00e3o semelhantes aos textos da tarefa, como quando s\u00e3o completamente diferentes. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26 de fevereiro de 2024<\/a><\/p><\/blockquote>\n