{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"Ist Reflection 70B der leistungsf\u00e4higste Open-Source-LLM oder ein Betrug?"},"content":{"rendered":"

Der Gr\u00fcnder und CEO von HyperWrite, Matt Shumer, gab bekannt, dass sein neues Modell, Reflection 70B, mit einem einfachen Trick LLM-Halluzinationen l\u00f6st und beeindruckende Benchmark-Ergebnisse liefert, die gr\u00f6\u00dfere und sogar geschlossene Modelle wie GPT-4o schlagen.<\/p>\n

Shumer arbeitete mit dem Anbieter synthetischer Daten, Glaive, zusammen, um das neue Modell zu erstellen, das auf dem Llama 3.1-70B Instruct Modell von Meta basiert.<\/p>\n

In der Ank\u00fcndigung zum Start auf Hugging Face sagte Shumer. \"Reflection Llama-3.1 70B ist (derzeit) das weltweit beste Open-Source-LLM, trainiert mit einer neuen Technik namens Reflection-Tuning, die einem LLM beibringt, Fehler in seiner Argumentation zu erkennen und den Kurs zu korrigieren.\"<\/p>\n

Wenn Shumer einen Weg gefunden hat, das Problem der KI-Halluzinationen zu l\u00f6sen, dann w\u00e4re das unglaublich. Die Benchmarks, die er mitgeteilt hat, scheinen darauf hinzudeuten, dass Reflection 70B anderen Modellen weit voraus ist.<\/p>\n

\"\"
Reflection 70B Benchmark-Ergebnisse, zur Verf\u00fcgung gestellt von Matt Shumer. Quelle: Gesicht umarmen<\/a><\/figcaption><\/figure>\n

Der Name des Modells ist eine Anspielung auf seine F\u00e4higkeit zur Selbstkorrektur w\u00e4hrend der Schlussfolgerung. Shumer verr\u00e4t nicht zu viel, erkl\u00e4rt aber, dass das Modell \u00fcber seine urspr\u00fcngliche Antwort auf eine Aufforderung nachdenkt und sie erst dann ausgibt, wenn es \u00fcberzeugt ist, dass sie richtig ist.<\/p>\n

Shumer sagt, dass eine 405B-Version des Reflection in Arbeit ist und andere Modelle, einschlie\u00dflich des GPT-4o, in den Schatten stellen wird, wenn sie n\u00e4chste Woche vorgestellt wird.<\/p>\n

Ist Reflection 70B ein Betrug?<\/h2>\n

Ist das alles zu sch\u00f6n, um wahr zu sein? Reflection 70B kann bei Huging Face heruntergeladen werden, aber die ersten Tester waren nicht in der Lage, die beeindruckende Leistung, die Shumers Benchmarks zeigten, zu wiederholen.<\/p>\n

Die Reflexionsspielplatz<\/a> l\u00e4sst Sie das Modell ausprobieren, sagt aber, dass die Demo wegen der hohen Nachfrage vor\u00fcbergehend nicht verf\u00fcgbar ist. Die Vorschl\u00e4ge \"Z\u00e4hle 'r's in Erdbeere\" und \"9,11 vs. 9,9\" deuten darauf hin, dass das Modell diese kniffligen Fragen richtig beantwortet. Einige Benutzer behaupten jedoch, dass Reflection speziell f\u00fcr die Beantwortung dieser Aufforderungen optimiert wurde.<\/p>\n

\"\"
Der Reflexionsspielplatz ist vorerst abgeschaltet. Quelle: Reflexion Spielplatz<\/a><\/figcaption><\/figure>\n

Einige Nutzer stellten die beeindruckenden Benchmarks in Frage. Der GSM8K von \u00fcber 99% sah besonders verd\u00e4chtig aus.<\/p>\n

\n

Hallo Matt! Das ist super interessant, aber ich bin ziemlich \u00fcberrascht, ein GSM8k Ergebnis von \u00fcber 99% zu sehen. Nach meinem Verst\u00e4ndnis ist es wahrscheinlich, dass mehr als 1% von GSM8k falsch beschriftet sind (die richtige Antwort ist tats\u00e4chlich falsch)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5. September 2024<\/a><\/p><\/blockquote>\n