{"id":10434,"date":"2024-02-29T21:55:56","date_gmt":"2024-02-29T21:55:56","guid":{"rendered":"https:\/\/dailyai.com\/?p=10434"},"modified":"2024-03-07T07:21:27","modified_gmt":"2024-03-07T07:21:27","slug":"llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/it\/2024\/02\/llms-produce-more-inaccurate-and-biased-outputs-with-longer-inputs\/","title":{"rendered":"Gli LLM producono risultati pi\u00f9 imprecisi e distorti con ingressi pi\u00f9 lunghi"},"content":{"rendered":"

Nonostante i rapidi progressi dei LLM, la nostra comprensione di come questi modelli affrontino input pi\u00f9 lunghi rimane scarsa.<\/strong><\/p>\n

Mosh Levy, Alon Jacoby e Yoav Goldberg, dell'Universit\u00e0 Bar-Ilan e dell'Allen Institute for AI, hanno studiato come le prestazioni dei modelli linguistici di grandi dimensioni (LLM) variano al variare della lunghezza del testo in ingresso che devono elaborare.<\/p>\n

Hanno sviluppato un framework di ragionamento specifico per questo scopo, che ha permesso di analizzare l'influenza della lunghezza dell'input sul ragionamento LLM in un ambiente controllato.<\/span><\/p>\n

Il quadro delle domande proponeva diverse versioni della stessa domanda, ognuna delle quali conteneva le informazioni necessarie per rispondere alla domanda stessa, infarcite di testo aggiuntivo irrilevante di varia lunghezza e tipologia.\u00a0<\/span><\/p>\n

Ci\u00f2 consente di isolare la lunghezza dell'ingresso come variabile, garantendo che le variazioni delle prestazioni del modello possano essere attribuite direttamente alla lunghezza dell'ingresso.<\/span><\/p>\n

Risultati principali<\/b><\/h3>\n

Levy, Jacoby e Goldberg hanno scoperto che gli LLM mostrano un notevole calo delle prestazioni di ragionamento a lunghezze di input molto inferiori a quelle che gli sviluppatori affermano di poter gestire. Hanno documentato le loro scoperte in questo studio<\/a>.<\/span><\/p>\n

Il declino \u00e8 stato osservato in modo coerente in tutte le versioni del set di dati, indicando un problema sistemico nella gestione di input pi\u00f9 lunghi piuttosto che un problema legato a campioni di dati o architetture di modelli specifici.\u00a0<\/span><\/p>\n

Come descrivono i ricercatori, \"i nostri risultati mostrano un notevole degrado nelle prestazioni di ragionamento dei LLM a lunghezze di input molto inferiori al loro massimo tecnico. Dimostriamo che la tendenza al degrado appare in ogni versione del nostro set di dati, anche se con intensit\u00e0 diverse\".<\/p>\n

 <\/p>\n

\"\"
All'aumentare delle dimensioni dell'input, diminuisce la capacit\u00e0 di eseguire i compiti di ragionamento. Questi input sono costituiti da testi rilevanti (evidenziati in rosso) e irrilevanti (in grigio), che provengono da vari luoghi e vengono ampliati in modo incrementale. Per rispondere con precisione \u00e8 necessario identificare due segmenti di testo specifici, che potrebbero essere situati in modo casuale all'interno dell'input. I dati sulle prestazioni sono aggregati da 600 campioni. Fonte: Via ArXiv.<\/a><\/figcaption><\/figure>\n

Inoltre, lo studio evidenzia come le metriche tradizionali come la perplessit\u00e0, comunemente utilizzate per valutare i LLM, non siano correlate con le prestazioni dei modelli su compiti di ragionamento che prevedono input lunghi.\u00a0<\/span><\/p>\n

Ulteriori approfondimenti hanno evidenziato che il degrado delle prestazioni non dipendeva solo dalla presenza di informazioni irrilevanti (padding), ma si osservava anche quando tale padding consisteva in una duplicazione di informazioni rilevanti.<\/span><\/p>\n

\n

Se teniamo insieme le due campate principali e aggiungiamo del testo intorno ad esse, la precisione cala gi\u00e0. Introducendo paragrafi tra gli intervalli, i risultati calano molto di pi\u00f9. Il calo si verifica sia quando i testi aggiunti sono simili a quelli del compito, sia quando sono completamente diversi. 3\/7 pic.twitter.com\/c91l9uzyme<\/a><\/p>\n

- Mosh Levy (@mosh_levy) 26 febbraio 2024<\/a><\/p><\/blockquote>\n