{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"\u00c4r Reflection 70B den mest kraftfulla LLM med \u00f6ppen k\u00e4llkod eller en bluff?"},"content":{"rendered":"

HyperWrites grundare och VD Matt Shumer meddelade att hans nya modell, Reflection 70B, anv\u00e4nder ett enkelt trick f\u00f6r att l\u00f6sa LLM-hallucinationer och levererar imponerande benchmarkresultat som sl\u00e5r st\u00f6rre och till och med slutna modeller som GPT-4o.<\/p>\n

Shumer samarbetade med Glaive, leverant\u00f6r av syntetiska data, f\u00f6r att skapa den nya modellen som baseras p\u00e5 Metas Llama 3.1-70B Instruct-modell.<\/p>\n

I lanseringsmeddelandet p\u00e5 Hugging Face sa Shumer. \"Reflection Llama-3.1 70B \u00e4r (f\u00f6r n\u00e4rvarande) v\u00e4rldens b\u00e4sta LLM med \u00f6ppen k\u00e4llkod, tr\u00e4nad med en ny teknik som kallas Reflection-Tuning som l\u00e4r en LLM att uppt\u00e4cka misstag i sitt resonemang och korrigera kursen.\"<\/p>\n

Om Shumer hittade ett s\u00e4tt att l\u00f6sa fr\u00e5gan om AI-hallucinationer s\u00e5 skulle det vara otroligt. De riktm\u00e4rken han delade verkar tyda p\u00e5 att Reflection 70B ligger l\u00e5ngt f\u00f6re andra modeller.<\/p>\n

\"\"
Reflection 70B:s benchmarkresultat tillhandah\u00e5lls av Matt Shumer. K\u00e4llor: Kramande ansikte<\/a><\/figcaption><\/figure>\n

Modellens namn syftar p\u00e5 dess f\u00f6rm\u00e5ga att sj\u00e4lvkorrigera sig under slutledningsprocessen. Shumer avsl\u00f6jar inte f\u00f6r mycket, men f\u00f6rklarar att modellen reflekterar \u00f6ver sitt f\u00f6rsta svar p\u00e5 en fr\u00e5ga och l\u00e4mnar ut det f\u00f6rst n\u00e4r den \u00e4r \u00f6vertygad om att det \u00e4r korrekt.<\/p>\n

Shumer s\u00e4ger att en 405B-version av Reflection \u00e4r p\u00e5 g\u00e5ng och att den kommer att sl\u00e5 andra modeller, inklusive GPT-4o, med h\u00e4pnad n\u00e4r den presenteras n\u00e4sta vecka.<\/p>\n

\u00c4r Reflection 70B en bluff?<\/h2>\n

\u00c4r allt detta f\u00f6r bra f\u00f6r att vara sant? Reflection 70B finns tillg\u00e4nglig f\u00f6r nedladdning p\u00e5 Huging Face men tidiga testare kunde inte upprepa den imponerande prestanda som Shumers benchmarks visade.<\/p>\n

Den Lekplats f\u00f6r reflektion<\/a> l\u00e5ter dig prova modellen men s\u00e4ger att p\u00e5 grund av h\u00f6g efterfr\u00e5gan \u00e4r demot tillf\u00e4lligt nere. Fr\u00e5gef\u00f6rslagen \"R\u00e4kna 'r' i jordgubbe\" och \"9.11 vs 9.9\" antyder att modellen f\u00e5r dessa knepiga uppmaningar r\u00e4tt. Men vissa anv\u00e4ndare h\u00e4vdar att Reflection har anpassats specifikt f\u00f6r att svara p\u00e5 dessa uppmaningar.<\/p>\n

\"\"
Reflection playground \u00e4r nere f\u00f6r tillf\u00e4llet. K\u00e4llan \u00e4r: Lekplats f\u00f6r reflektion<\/a><\/figcaption><\/figure>\n

Vissa anv\u00e4ndare ifr\u00e5gasatte de imponerande riktm\u00e4rkena. GSM8K p\u00e5 \u00f6ver 99% s\u00e5g s\u00e4rskilt misst\u00e4nkt ut.<\/p>\n

\n

Hej Matt! Det h\u00e4r \u00e4r superintressant, men jag \u00e4r ganska f\u00f6rv\u00e5nad \u00f6ver att se en GSM8k-po\u00e4ng p\u00e5 \u00f6ver 99%. Min f\u00f6rst\u00e5else \u00e4r att det \u00e4r troligt att mer \u00e4n 1% av GSM8k \u00e4r felm\u00e4rkt (det r\u00e4tta svaret \u00e4r faktiskt fel)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5 september 2024<\/a><\/p><\/blockquote>\n