{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/it\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"Reflection 70B \u00e8 il pi\u00f9 potente LLM open-source o una truffa?"},"content":{"rendered":"

Il fondatore e CEO di HyperWrite, Matt Shumer, ha annunciato che il suo nuovo modello, Reflection 70B, utilizza un semplice trucco per risolvere le allucinazioni LLM e fornisce risultati di benchmark impressionanti che battono modelli pi\u00f9 grandi e persino chiusi come GPT-4o.<\/p>\n

Shumer ha collaborato con il fornitore di dati sintetici Glaive per creare il nuovo modello, basato sul modello Llama 3.1-70B Instruct di Meta.<\/p>\n

Nell'annuncio del lancio su Hugging Face, Shumer ha dichiarato che. \"Reflection Llama-3.1 70B \u00e8 (attualmente) il miglior LLM open-source del mondo, addestrato con una nuova tecnica chiamata Reflection-Tuning che insegna a un LLM a rilevare gli errori nel suo ragionamento e a correggere la rotta\".<\/p>\n

Se Shumer trovasse un modo per risolvere il problema delle allucinazioni dell'intelligenza artificiale, sarebbe incredibile. I benchmark che ha condiviso sembrano indicare che Reflection 70B \u00e8 molto pi\u00f9 avanti di altri modelli.<\/p>\n

\"\"
Risultati del benchmark Reflection 70B forniti da Matt Shumer. Fonte: Viso abbracciato<\/a><\/figcaption><\/figure>\n

Il nome del modello fa riferimento alla sua capacit\u00e0 di autocorreggersi durante l'inferenza. Shumer non svela troppo, ma spiega che il modello riflette sulla sua risposta iniziale a un prompt e la fornisce solo quando \u00e8 convinto che sia corretta.<\/p>\n

Shumer afferma che la versione 405B di Reflection \u00e8 in lavorazione e che, quando sar\u00e0 presentata la prossima settimana, lascer\u00e0 a bocca aperta gli altri modelli, compreso il GPT-4o.<\/p>\n

Reflection 70B \u00e8 una truffa?<\/h2>\n

\u00c8 tutto troppo bello per essere vero? Reflection 70B \u00e8 disponibile per il download su Huging Face, ma i primi tester non sono stati in grado di replicare le impressionanti prestazioni mostrate dai benchmark di Shumer.<\/p>\n

Il Parco giochi di riflessione<\/a> vi fa provare il modello, ma dice che a causa dell'elevata richiesta la demo \u00e8 temporaneamente interrotta. I suggerimenti dei prompt \"Conta le 'r' in fragola\" e \"9,11 vs 9,9\" indicano che il modello \u00e8 in grado di rispondere correttamente a queste richieste difficili. Ma alcuni utenti sostengono che Reflection \u00e8 stato messo a punto appositamente per rispondere a queste richieste.<\/p>\n

\"\"
Il parco giochi Reflection \u00e8 per ora disattivato. Fonte: Parco giochi della riflessione<\/a><\/figcaption><\/figure>\n

Alcuni utenti hanno messo in dubbio gli impressionanti benchmark. Il GSM8K di oltre 99% sembrava particolarmente sospetto.<\/p>\n

\n

Ciao Matt! \u00c8 molto interessante, ma sono piuttosto sorpreso di vedere un punteggio GSM8k di oltre 99%. A mio avviso, \u00e8 probabile che pi\u00f9 di 1% di GSM8k siano etichettati in modo errato (la risposta corretta \u00e8 in realt\u00e0 sbagliata)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5 settembre 2024<\/a><\/p><\/blockquote>\n