Salesforce, empresa de software empresarial, ha presentado dos modelos compactos de IA que desafían el paradigma de "más grande es mejor" en IA.
A pesar de su tamaño compacto, los modelos xLAM de 1 y 7 mil millones de parámetros superan a muchos modelos más grandes en tareas de llamada de funciones.
Estas tareas implican que un sistema de IA interprete y traduzca una petición en lenguaje natural en llamadas a funciones específicas o solicitudes de API.
Por ejemplo, si se pide a un sistema de IA que "encuentre vuelos a Nueva York para el próximo fin de semana por debajo de $500", el modelo tiene que entender esta petición, identificar las funciones pertinentes (por ejemplo, search_flights, filter_by_price) y ejecutarlas con los parámetros correctos.
"Demostramos que los modelos entrenados con nuestros conjuntos de datos curados, incluso con sólo 7B parámetros, pueden alcanzar un rendimiento puntero en el Berkeley Function-Calling Benchmark, superando a múltiples modelos GPT-4", escriben los investigadores en su artículo.
"Además, nuestro modelo 1B alcanza un rendimiento excepcional, superando a GPT-3.5-Turbo y Claude-3 Haiku".
En Prueba comparativa de llamadas a funciones de Berkeleyal que se hace referencia en el estudio, es un marco de evaluación diseñado para valorar las capacidades de llamada de funciones de los modelos de IA.
Estadísticas clave del estudio incluyen:
- El modelo xLAM-7B (7.000 millones de parámetros) ocupa el sexto lugar en la clasificación de Berkeley de llamadas a funciones, superando a GPT-4 y Gemini-1.5-Pro.
- El modelo xLAM-1B, más pequeño, superó a modelos más grandes como Claude-3 Haiku y GPT-3.5-Turbo, demostrando una eficiencia excepcional.
Lo que hace que este logro sea especialmente impresionante es el tamaño del modelo en comparación con sus competidores:
- xLAM-1B: 1.000 millones de parámetros
- xLAM-7B: 7.000 millones de parámetros
- GPT-3: 175.000 millones de parámetros
- GPT-4: Estimación de 1,7 billones de parámetros
- Claude-3 Opus: No revelado, pero probablemente cientos de miles de millones.
- Géminis Ultra: No revelado, estimado similar a GPT-4
Esto demuestra que un diseño eficiente y unos datos de entrenamiento de alta calidad pueden ser más importantes que el tamaño.
Conozca a Salesforce Einstein "Tiny Giant". Nuestro modelo xLAM-1B de 1B parámetros es ahora el mejor micromodelo para la llamada a funciones, superando a modelos 7 veces más grandes, incluidos GPT-3.5 & Claude. La inteligencia artificial en los dispositivos ya está aquí. Enhorabuena a Salesforce Research.
Papel: https://t.co/SrntYvgxR5... pic.twitter.com/pPgIzk82xT
- Marc Benioff (@Benioff) 3 de julio de 2024
Para entrenar el modelo específicamente para la llamada de funciones, el equipo de Salesforce desarrolló APIGen, una canalización para crear conjuntos de datos diversos y de alta calidad para tareas de llamada de funciones.
APIGen trabaja tomando muestras de una amplia biblioteca de 3.673 API ejecutables de 21 categorías, creando escenarios realistas de los que la IA puede aprender.
Las aplicaciones potenciales de las capacidades de xLAM-1B incluyen sistemas mejorados de gestión de relaciones con los clientes (CRM), que desarrolla Salesforce, asistentes digitales más capaces, interfaces mejoradas para dispositivos domésticos inteligentes, procesamiento eficiente de IA para vehículos autónomos y traducción de idiomas en tiempo real en dispositivos periféricos.
Estos modelos xLAM desafían a los investigadores a replantearse su arquitectura de IA y sus enfoques de entrenamiento al demostrar que modelos más pequeños y eficientes pueden competir con otros más grandes.
Como explicó Marc Benioff, CEO de Salesforce, Tiny Giant destaca el potencial de la "IA agéntica en el dispositivo", perfecta para smartphones y dispositivos IoT.
El futuro de la IA no se limitará a modelos cada vez más grandes, sino más inteligentes y eficientes, capaces de aportar funciones avanzadas a una gama más amplia de dispositivos y aplicaciones.
