{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"Er Reflection 70B den kraftigste LLM-en med \u00e5pen kildekode eller en svindel?"},"content":{"rendered":"

HyperWrite-grunnlegger og administrerende direkt\u00f8r Matt Shumer kunngjorde at hans nye modell, Reflection 70B, bruker et enkelt triks for \u00e5 l\u00f8se LLM-hallusinasjoner og leverer imponerende referanseresultater som sl\u00e5r st\u00f8rre og til og med lukkede modeller som GPT-4o.<\/p>\n

Shumer samarbeidet med leverand\u00f8ren av syntetiske data, Glaive, for \u00e5 lage den nye modellen, som er basert p\u00e5 Metas Llama 3.1-70B Instruct-modell.<\/p>\n

I lanseringsannonsen p\u00e5 Hugging Face sa Shumer. \"Reflection Llama-3.1 70B er (for \u00f8yeblikket) verdens beste LLM med \u00e5pen kildekode, trent med en ny teknikk kalt Reflection-Tuning som l\u00e6rer en LLM \u00e5 oppdage feil i resonnementet sitt og korrigere kursen.\"<\/p>\n

Hvis Shumer fant en m\u00e5te \u00e5 l\u00f8se problemet med AI-hallusinasjoner p\u00e5, ville det v\u00e6re utrolig. Referanseverdiene han delte ser ut til \u00e5 indikere at Reflection 70B ligger langt foran andre modeller.<\/p>\n

\"\"
Reflection 70B-referanseresultater levert av Matt Shumer. Kilde: Klemmende ansikt<\/a><\/figcaption><\/figure>\n

Modellens navn henspiller p\u00e5 dens evne til \u00e5 korrigere seg selv under slutningsprosessen. Shumer r\u00f8per ikke for mye, men forklarer at modellen reflekterer over det opprinnelige svaret p\u00e5 en ledetekst, og at den bare sender ut svaret n\u00e5r den er overbevist om at det er riktig.<\/p>\n

Shumer forteller at en 405B-versjon av Reflection er p\u00e5 trappene, og at den vil bl\u00e5se andre modeller, inkludert GPT-4o, av banen n\u00e5r den presenteres neste uke.<\/p>\n

Er Reflection 70B en svindel?<\/h2>\n

Er alt dette for godt til \u00e5 v\u00e6re sant? Reflection 70B er tilgjengelig for nedlasting p\u00e5 Huging Face, men de f\u00f8rste testerne klarte ikke \u00e5 duplisere den imponerende ytelsen som Shumers benchmarks viste.<\/p>\n

Den Lekeplass for refleksjon<\/a> lar deg pr\u00f8ve modellen, men sier at demoen er midlertidig nede p\u00e5 grunn av stor ettersp\u00f8rsel. Forslagene \"Tell r-er i jordb\u00e6r\" og \"9,11 vs. 9,9\" antyder at modellen svarer riktig p\u00e5 disse vanskelige sp\u00f8rsm\u00e5lene. Men noen brukere hevder at Reflection er innstilt spesielt for \u00e5 svare p\u00e5 disse sp\u00f8rsm\u00e5lene.<\/p>\n

\"\"
Reflection lekeplass er nede for \u00f8yeblikket. Kilde: Refleksjon Lekeplass<\/a><\/figcaption><\/figure>\n

Noen brukere satte sp\u00f8rsm\u00e5lstegn ved de imponerende referansene. GSM8K p\u00e5 over 99% s\u00e5 spesielt mistenkelig ut.<\/p>\n

\n

Hei, Matt! Dette er superinteressant, men jeg er ganske overrasket over \u00e5 se en GSM8k-poengsum p\u00e5 over 99%. Min forst\u00e5else er at det er sannsynlig at mer enn 1% av GSM8k er feilmerket (det riktige svaret er faktisk feil)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5. september 2024<\/a><\/p><\/blockquote>\n