{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"O Reflection 70B \u00e9 o LLM de fonte aberta mais poderoso ou \u00e9 uma fraude?"},"content":{"rendered":"

O fundador e CEO da HyperWrite, Matt Shumer, anunciou que seu novo modelo, o Reflection 70B, usa um truque simples para resolver alucina\u00e7\u00f5es LLM e fornece resultados de benchmark impressionantes que superam modelos maiores e at\u00e9 mesmo fechados como o GPT-4o.<\/p>\n

Shumer colaborou com o fornecedor de dados sint\u00e9ticos, Glaive, para criar o novo modelo, que se baseia no modelo Llama 3.1-70B Instruct da Meta.<\/p>\n

No an\u00fancio de lan\u00e7amento no Hugging Face, Shumer disse. \"O Reflection Llama-3.1 70B \u00e9 (atualmente) o melhor LLM de c\u00f3digo aberto do mundo, treinado com uma nova t\u00e9cnica chamada Reflection-Tuning que ensina um LLM a detetar erros no seu racioc\u00ednio e a corrigir o curso.\"<\/p>\n

Se Shumer encontrasse uma maneira de resolver o problema das alucina\u00e7\u00f5es da IA, isso seria incr\u00edvel. As refer\u00eancias que partilhou parecem indicar que o Reflection 70B est\u00e1 muito \u00e0 frente de outros modelos.<\/p>\n

\"\"
Resultados de benchmark do Reflection 70B fornecidos por Matt Shumer. Fonte: Cara de abra\u00e7o<\/a><\/figcaption><\/figure>\n

O nome do modelo \u00e9 uma refer\u00eancia \u00e0 sua capacidade de auto-corre\u00e7\u00e3o durante a infer\u00eancia. Shumer n\u00e3o revela muito, mas explica que o modelo reflecte sobre a sua resposta inicial a um pedido e s\u00f3 a emite quando estiver convencido de que est\u00e1 correta.<\/p>\n

Shumer diz que uma vers\u00e3o 405B do Reflection est\u00e1 a ser trabalhada e que vai arrasar com outros modelos, incluindo o GPT-4o, quando for apresentada na pr\u00f3xima semana.<\/p>\n

O Reflection 70B \u00e9 uma fraude?<\/h2>\n

Ser\u00e1 que tudo isso \u00e9 bom demais para ser verdade? O Reflection 70B est\u00e1 dispon\u00edvel para download no Huging Face, mas os primeiros testadores n\u00e3o foram capazes de duplicar o desempenho impressionante que os benchmarks de Shumer mostraram.<\/p>\n

O Parque infantil de reflex\u00e3o<\/a> permite-lhe experimentar o modelo, mas diz que, devido \u00e0 elevada procura, a demonstra\u00e7\u00e3o est\u00e1 temporariamente inativa. As sugest\u00f5es de prompt \"Contar 'r' em morango\" e \"9,11 vs 9,9\" sugerem que o modelo acerta esses prompts complicados. Mas alguns utilizadores afirmam que o Reflection foi especificamente concebido para responder a estas quest\u00f5es.<\/p>\n

\"\"
O recreio Reflection est\u00e1 inativo por enquanto. Fonte: Parque infantil de reflex\u00e3o<\/a><\/figcaption><\/figure>\n

Alguns utilizadores questionaram os impressionantes valores de refer\u00eancia. O GSM8K de mais de 99% parecia especialmente suspeito.<\/p>\n

\n

Ol\u00e1, Matt! Isso \u00e9 muito interessante, mas estou bastante surpreso ao ver uma pontua\u00e7\u00e3o GSM8k de mais de 99%. No meu entender, \u00e9 prov\u00e1vel que mais de 1% do GSM8k estejam mal rotulados (a resposta correta est\u00e1 realmente errada)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5 de setembro de 2024<\/a><\/p><\/blockquote>\n