{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"Er Reflection 70B den st\u00e6rkeste open source LLM eller et fupnummer?"},"content":{"rendered":"

HyperWrites grundl\u00e6gger og CEO Matt Shumer meddelte, at hans nye model, Reflection 70B, bruger et simpelt trick til at l\u00f8se LLM-hallucinationer og leverer imponerende benchmarkresultater, der sl\u00e5r st\u00f8rre og endda lukkede modeller som GPT-4o.<\/p>\n

Shumer samarbejdede med udbyderen af syntetiske data, Glaive, om at skabe den nye model, som er baseret p\u00e5 Meta's Llama 3.1-70B Instruct-model.<\/p>\n

I lanceringsmeddelelsen p\u00e5 Hugging Face sagde Shumer. \"Reflection Llama-3.1 70B er (i \u00f8jeblikket) verdens bedste open source LLM, tr\u00e6net med en ny teknik kaldet Reflection-Tuning, der l\u00e6rer en LLM at opdage fejl i sit r\u00e6sonnement og korrigere kursen.\"<\/p>\n

Hvis Shumer fandt en m\u00e5de at l\u00f8se problemet med AI-hallucinationer p\u00e5, ville det v\u00e6re utroligt. De benchmarks, han delte, tyder p\u00e5, at Reflection 70B er langt foran andre modeller.<\/p>\n

\"\"
Reflection 70B-benchmarkresultater leveret af Matt Shumer. Kilde: Kramende ansigt<\/a><\/figcaption><\/figure>\n

Modellens navn er en henvisning til dens evne til at korrigere sig selv under udledningen. Shumer afsl\u00f8rer ikke for meget, men forklarer, at modellen reflekterer over sit oprindelige svar p\u00e5 en foresp\u00f8rgsel og f\u00f8rst udsender det, n\u00e5r den er overbevist om, at det er korrekt.<\/p>\n

Shumer siger, at en 405B-version af Reflection er p\u00e5 vej og vil bl\u00e6se andre modeller, inklusive GPT-4o, omkuld, n\u00e5r den afsl\u00f8res i n\u00e6ste uge.<\/p>\n

Er Reflection 70B et fupnummer?<\/h2>\n

Er det hele for godt til at v\u00e6re sandt? Reflection 70B kan downloades p\u00e5 Huging Face, men de f\u00f8rste testere var ikke i stand til at kopiere den imponerende ydeevne, som Shumers benchmarks viste.<\/p>\n

Den Legeplads til refleksion<\/a> lader dig pr\u00f8ve modellen, men siger, at demoen er midlertidigt nede p\u00e5 grund af stor eftersp\u00f8rgsel. Forslagene \"T\u00e6l r'er i jordb\u00e6r\" og \"9.11 vs 9.9\" antyder, at modellen har styr p\u00e5 disse sv\u00e6re opgaver. Men nogle brugere h\u00e6vder, at Reflection er blevet indstillet specifikt til at besvare disse sp\u00f8rgsm\u00e5l.<\/p>\n

\"\"
Reflection Playground er nede indtil videre. Kilde: Refleksionslegeplads<\/a><\/figcaption><\/figure>\n

Nogle brugere satte sp\u00f8rgsm\u00e5lstegn ved de imponerende benchmarks. GSM8K p\u00e5 over 99% s\u00e5 is\u00e6r mist\u00e6nkelig ud.<\/p>\n

\n

Hej Matt! Det er super interessant, men jeg er ret overrasket over at se en GSM8k-score p\u00e5 over 99%. Som jeg forst\u00e5r det, er det sandsynligt, at mere end 1% af GSM8k er forkert m\u00e6rket (det rigtige svar er faktisk forkert)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5. september 2024<\/a><\/p><\/blockquote>\n