{"id":14146,"date":"2024-09-09T08:38:43","date_gmt":"2024-09-09T08:38:43","guid":{"rendered":"https:\/\/dailyai.com\/?p=14146"},"modified":"2024-09-09T10:14:04","modified_gmt":"2024-09-09T10:14:04","slug":"is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam","status":"publish","type":"post","link":"https:\/\/dailyai.com\/es\/2024\/09\/is-reflection-70b-the-most-powerful-open-source-llm-or-a-scam\/","title":{"rendered":"\u00bfEs Reflection 70B el LLM de c\u00f3digo abierto m\u00e1s potente o una estafa?"},"content":{"rendered":"

El fundador y consejero delegado de HyperWrite, Matt Shumer, ha anunciado que su nuevo modelo, Reflection 70B, utiliza un sencillo truco para resolver las alucinaciones de LLM y ofrece unos impresionantes resultados de benchmark que superan a modelos m\u00e1s grandes e incluso cerrados como GPT-4o.<\/p>\n

Shumer colabor\u00f3 con Glaive, proveedor de datos sint\u00e9ticos, para crear el nuevo modelo, basado en el modelo Llama 3.1-70B Instruct de Meta.<\/p>\n

En el anuncio de lanzamiento en Hugging Face, Shumer dijo. \"Reflection Llama-3.1 70B es (actualmente) el mejor LLM de c\u00f3digo abierto del mundo, entrenado con una nueva t\u00e9cnica llamada Reflection-Tuning que ense\u00f1a a un LLM a detectar errores en su razonamiento y corregir el rumbo\".<\/p>\n

Si Shumer encontrara una forma de resolver el problema de las alucinaciones de la IA, ser\u00eda incre\u00edble. Los puntos de referencia que comparti\u00f3 parecen indicar que el Reflection 70B est\u00e1 muy por delante de otros modelos.<\/p>\n

\"\"
Resultados de referencia de Reflection 70B proporcionados por Matt Shumer. Fuente: Cara de abrazo<\/a><\/figcaption><\/figure>\n

El nombre del modelo hace referencia a su capacidad de autocorrecci\u00f3n durante la inferencia. Shumer no da demasiados detalles, pero explica que el modelo reflexiona sobre su respuesta inicial a una pregunta y s\u00f3lo la emite cuando est\u00e1 convencido de que es correcta.<\/p>\n

Shumer afirma que se est\u00e1 trabajando en una versi\u00f3n 405B de Reflection que dejar\u00e1 boquiabiertos a otros modelos, incluido el GPT-4o, cuando se presente la semana que viene.<\/p>\n

\u00bfEs Reflection 70B una estafa?<\/h2>\n

\u00bfEs demasiado bueno para ser verdad? Reflection 70B puede descargarse en Huging Face, pero los primeros usuarios no fueron capaces de duplicar el impresionante rendimiento que mostraban los puntos de referencia de Shumer.<\/p>\n

En Parque infantil de reflexi\u00f3n<\/a> te permite probar el modelo, pero dice que, debido a la gran demanda, la demo est\u00e1 temporalmente inactiva. Las sugerencias \"Contar 'r' en fresa\" y \"9,11 frente a 9,9\" indican que el modelo responde correctamente a estas preguntas dif\u00edciles. Pero algunos usuarios afirman que Reflection se ha ajustado espec\u00edficamente para responder a estas preguntas.<\/p>\n

\"\"
La zona de juegos Reflection est\u00e1 desactivada por ahora. Fuente: Parque infantil Reflection<\/a><\/figcaption><\/figure>\n

Algunos usuarios cuestionaron los impresionantes valores de referencia. El GSM8K de m\u00e1s de 99% parec\u00eda especialmente sospechoso.<\/p>\n

\n

\u00a1Hola Matt! Esto es super interesante, pero estoy bastante sorprendido de ver una puntuaci\u00f3n GSM8k de m\u00e1s de 99%. Seg\u00fan tengo entendido, es probable que m\u00e1s de 1% de GSM8k est\u00e9n mal etiquetados (\u00a1la respuesta correcta es en realidad incorrecta)!<\/p>\n

- Hugh Zhang (@hughbzhang) 5 de septiembre de 2024<\/a><\/p><\/blockquote>\n