{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"Is Reflection 70B de krachtigste open-source LLM of oplichterij?"},"content":{"rendered":"

HyperWrite-oprichter en CEO Matt Shumer kondigde aan dat zijn nieuwe model, Reflection 70B, een eenvoudige truc gebruikt om LLM-hallucinaties op te lossen en indrukwekkende benchmarkresultaten levert die grotere en zelfs gesloten modellen zoals GPT-4o verslaan.<\/p>\n

Shumer werkte samen met de leverancier van synthetische gegevens, Glaive, om het nieuwe model te cre\u00ebren dat is gebaseerd op Meta's Llama 3.1-70B Instruct-model.<\/p>\n

In de aankondiging van de lancering op Hugging Face zei Shumer. \"Reflection Llama-3.1 70B is (momenteel) 's werelds beste open-source LLM, getraind met een nieuwe techniek genaamd Reflection-Tuning die een LLM leert om fouten in zijn redenering op te sporen en koers te corrigeren.\"<\/p>\n

Als Shumer een manier heeft gevonden om het probleem van AI-hallucinaties op te lossen, zou dat ongelooflijk zijn. De benchmarks die hij deelde lijken aan te geven dat Reflection 70B ver voor ligt op andere modellen.<\/p>\n

\"\"
Reflection 70B benchmarkresultaten verstrekt door Matt Shumer. Bron: Knuffelend Gezicht<\/a><\/figcaption><\/figure>\n

De naam van het model verwijst naar het vermogen om zichzelf te corrigeren tijdens de inferentie. Shumer verklapt niet te veel, maar legt uit dat het model nadenkt over zijn initi\u00eble antwoord op een prompt en dit pas uitvoert als het ervan overtuigd is dat het correct is.<\/p>\n

Shumer zegt dat een 405B-versie van Reflection in de maak is en andere modellen, waaronder GPT-4o, zal wegblazen wanneer deze volgende week wordt onthuld.<\/p>\n

Is Reflection 70B oplichterij?<\/h2>\n

Is dit allemaal te mooi om waar te zijn? Reflection 70B is beschikbaar voor download op Huging Face, maar vroege testers waren niet in staat om de indrukwekkende prestaties die Shumer's benchmarks lieten zien te evenaren.<\/p>\n

De Reflectiespeelplaats<\/a> laat je het model uitproberen, maar zegt dat de demo tijdelijk niet beschikbaar is vanwege de grote vraag. De promptsuggesties \"Tel de 'r' in aardbei\" en \"9,11 vs 9,9\" geven aan dat het model deze lastige prompts goed begrijpt. Maar sommige gebruikers beweren dat Reflection speciaal is afgestemd om deze prompts te beantwoorden.<\/p>\n

\"\"
Reflectiespeeltuin is voorlopig uitgeschakeld. Bron: Reflectie Speeltuin<\/a><\/figcaption><\/figure>\n

Sommige gebruikers zetten vraagtekens bij de indrukwekkende benchmarks. Vooral de GSM8K van meer dan 99% zag er verdacht uit.<\/p>\n

\n

Hey Matt! Dit is super interessant, maar ik ben nogal verbaasd om een GSM8k score van meer dan 99% te zien. Ik heb begrepen dat het waarschijnlijk is dat meer dan 1% van GSM8k verkeerd gelabeld is (het goede antwoord is eigenlijk fout)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5 september 2024<\/a><\/p><\/blockquote>\n