Matt Shumer, fondateur et PDG d'HyperWrite, a annoncé que son nouveau modèle, Reflection 70B, utilise une astuce simple pour résoudre les hallucinations LLM et fournit des résultats de référence impressionnants qui battent des modèles plus grands et même fermés comme GPT-4o.
Shumer a collaboré avec le fournisseur de données synthétiques Glaive pour créer le nouveau modèle qui est basé sur le modèle Llama 3.1-70B Instruct de Meta.
Dans l'annonce du lancement sur Hugging Face, Shumer a déclaré. "Reflection Llama-3.1 70B est (actuellement) le meilleur LLM open-source au monde, formé avec une nouvelle technique appelée Reflection-Tuning qui apprend à un LLM à détecter les erreurs dans son raisonnement et à corriger sa trajectoire.
Si Shumer trouvait un moyen de résoudre le problème des hallucinations de l'IA, ce serait incroyable. Les données de référence qu'il a partagées semblent indiquer que Reflection 70B est très en avance sur les autres modèles.
Le nom du modèle fait référence à sa capacité à s'autocorriger pendant l'inférence. Shumer n'en dit pas trop mais explique que le modèle réfléchit à sa réponse initiale à une invite et ne la donne que lorsqu'il est convaincu qu'elle est correcte.
M. Shumer affirme qu'une version 405B de Reflection est en cours d'élaboration et qu'elle fera pâlir d'envie les autres modèles, y compris le GPT-4o, lorsqu'elle sera dévoilée la semaine prochaine.
Reflection 70B est-il une escroquerie ?
Est-ce trop beau pour être vrai ? Reflection 70B est disponible en téléchargement sur Huging Face, mais les premiers testeurs n'ont pas été en mesure de reproduire les performances impressionnantes affichées par Shumer dans ses benchmarks.
Les Terrain de jeux de réflexion vous permet d'essayer le modèle, mais indique qu'en raison de la forte demande, la démo est temporairement interrompue. Les suggestions "Comptez les 'r' dans fraise" et "9.11 vs 9.9" indiquent que le modèle répond correctement à ces questions délicates. Mais certains utilisateurs affirment que Reflection a été spécialement conçu pour répondre à ces questions.
Certains utilisateurs ont mis en doute les résultats impressionnants obtenus. Le GSM8K de plus de 99% semblait particulièrement suspect.
Hey Matt ! C'est très intéressant, mais je suis assez surpris de voir un score GSM8k de plus de 99%. D'après ce que j'ai compris, il est probable que plus de 1% du GSM8k soient mal étiquetés (la bonne réponse est en fait fausse) !
- Hugh Zhang (@hughbzhang) 5 septembre 2024
Certaines des réponses de la vérité de base dans l'ensemble de données du GSM8K sont en fait erronées. En d'autres termes, le seul moyen d'obtenir un score supérieur à 99% sur le GSM8K était de fournir les mêmes réponses incorrectes à ces problèmes.
Après quelques tests, les utilisateurs affirment que Reflection est en fait pire que Llama 3.1 et qu'il s'agit en fait de Llama 3 avec un réglage LoRA.
En réponse aux commentaires négatifs, Shumer a posté une explication sur X en disant : "Mise à jour rapide - nous avons rechargé les poids mais il y a toujours un problème. Nous venons de recommencer l'entraînement pour éliminer tout problème éventuel. Cela devrait être bientôt terminé."
Shumer a expliqué qu'il y avait un problème avec l'API et qu'ils y travaillaient. En attendant, il a donné accès à une API secrète et privée afin que les sceptiques puissent essayer Reflection pendant qu'ils travaillent sur la correction.
Et c'est là que les choses semblent se gâter, car une interrogation attentive semble montrer que l'API n'est en fait qu'une enveloppe de Claude 3.5 Sonnet.
"Reflection API" est un wrapper sonnet 3.5 avec prompt. Et ils sont actuellement en train de le déguiser en filtrant la chaîne 'claude'.https://t.co/c4Oj8Y3Ol1 https://t.co/k0ECeo9a4i pic.twitter.com/jTm2Q85Q7b
- Joseph (@RealJosephus) 8 septembre 2024
Lors de tests ultérieurs, l'API aurait renvoyé des résultats de Llama et de GPT-4o. Shumer insiste sur le fait que les résultats originaux sont exacts et qu'ils travaillent à la correction du modèle téléchargeable.
Les sceptiques ne traitent-ils pas un peu prématurément Shumer d'escroc ? Peut-être que la publication a été mal gérée et que Reflection 70B est vraiment un modèle open-source révolutionnaire. Ou peut-être s'agit-il d'un autre exemple de battage médiatique sur l'IA visant à lever du capital-risque auprès d'investisseurs à la recherche de la prochaine grande nouveauté dans le domaine de l'IA.
Il faudra attendre un jour ou deux pour voir ce qu'il en est.
