{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/fr\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"Reflection 70B est-il le LLM open-source le plus puissant ou une arnaque ?"},"content":{"rendered":"

Matt Shumer, fondateur et PDG d'HyperWrite, a annonc\u00e9 que son nouveau mod\u00e8le, Reflection 70B, utilise une astuce simple pour r\u00e9soudre les hallucinations LLM et fournit des r\u00e9sultats de r\u00e9f\u00e9rence impressionnants qui battent des mod\u00e8les plus grands et m\u00eame ferm\u00e9s comme GPT-4o.<\/p>\n

Shumer a collabor\u00e9 avec le fournisseur de donn\u00e9es synth\u00e9tiques Glaive pour cr\u00e9er le nouveau mod\u00e8le qui est bas\u00e9 sur le mod\u00e8le Llama 3.1-70B Instruct de Meta.<\/p>\n

Dans l'annonce du lancement sur Hugging Face, Shumer a d\u00e9clar\u00e9. \"Reflection Llama-3.1 70B est (actuellement) le meilleur LLM open-source au monde, form\u00e9 avec une nouvelle technique appel\u00e9e Reflection-Tuning qui apprend \u00e0 un LLM \u00e0 d\u00e9tecter les erreurs dans son raisonnement et \u00e0 corriger sa trajectoire.<\/p>\n

Si Shumer trouvait un moyen de r\u00e9soudre le probl\u00e8me des hallucinations de l'IA, ce serait incroyable. Les donn\u00e9es de r\u00e9f\u00e9rence qu'il a partag\u00e9es semblent indiquer que Reflection 70B est tr\u00e8s en avance sur les autres mod\u00e8les.<\/p>\n

\"\"
Les r\u00e9sultats de r\u00e9f\u00e9rence de Reflection 70B sont fournis par Matt Shumer. Source : Visage \u00e9treint<\/a><\/figcaption><\/figure>\n

Le nom du mod\u00e8le fait r\u00e9f\u00e9rence \u00e0 sa capacit\u00e9 \u00e0 s'autocorriger pendant l'inf\u00e9rence. Shumer n'en dit pas trop mais explique que le mod\u00e8le r\u00e9fl\u00e9chit \u00e0 sa r\u00e9ponse initiale \u00e0 une invite et ne la donne que lorsqu'il est convaincu qu'elle est correcte.<\/p>\n

M. Shumer affirme qu'une version 405B de Reflection est en cours d'\u00e9laboration et qu'elle fera p\u00e2lir d'envie les autres mod\u00e8les, y compris le GPT-4o, lorsqu'elle sera d\u00e9voil\u00e9e la semaine prochaine.<\/p>\n

Reflection 70B est-il une escroquerie ?<\/h2>\n

Est-ce trop beau pour \u00eatre vrai ? Reflection 70B est disponible en t\u00e9l\u00e9chargement sur Huging Face, mais les premiers testeurs n'ont pas \u00e9t\u00e9 en mesure de reproduire les performances impressionnantes affich\u00e9es par Shumer dans ses benchmarks.<\/p>\n

Les Terrain de jeux de r\u00e9flexion<\/a> vous permet d'essayer le mod\u00e8le, mais indique qu'en raison de la forte demande, la d\u00e9mo est temporairement interrompue. Les suggestions \"Comptez les 'r' dans fraise\" et \"9.11 vs 9.9\" indiquent que le mod\u00e8le r\u00e9pond correctement \u00e0 ces questions d\u00e9licates. Mais certains utilisateurs affirment que Reflection a \u00e9t\u00e9 sp\u00e9cialement con\u00e7u pour r\u00e9pondre \u00e0 ces questions.<\/p>\n

\"\"
L'aire de jeux Reflection est d\u00e9sactiv\u00e9e pour l'instant. Source : Aire de jeux de r\u00e9flexion<\/a><\/figcaption><\/figure>\n

Certains utilisateurs ont mis en doute les r\u00e9sultats impressionnants obtenus. Le GSM8K de plus de 99% semblait particuli\u00e8rement suspect.<\/p>\n

\n

Hey Matt ! C'est tr\u00e8s int\u00e9ressant, mais je suis assez surpris de voir un score GSM8k de plus de 99%. D'apr\u00e8s ce que j'ai compris, il est probable que plus de 1% du GSM8k soient mal \u00e9tiquet\u00e9s (la bonne r\u00e9ponse est en fait fausse) !<\/p>\n

- Hugh Zhang (@hughbzhang) 5 septembre 2024<\/a><\/p><\/blockquote>\n