Salesforce, een bedrijf voor bedrijfssoftware, heeft twee compacte AI-modellen onthuld die het "groter is beter"-paradigma in AI uitdagen.
Ondanks hun compacte formaat presteren de xLAM-modellen met 1 en 7 miljard parameters beter dan veel grotere modellen in functie-oproeptaken.
Deze taken houden in dat een AI-systeem een verzoek in natuurlijke taal interpreteert en vertaalt in specifieke functieaanroepen of API-verzoeken.
Als je een AI-systeem bijvoorbeeld vraagt om "vluchten naar New York te vinden voor volgend weekend onder $500", dan moet het model dit verzoek begrijpen, de relevante functies identificeren (bijv. zoeken_vluchten, filteren_op_prijs) en ze uitvoeren met de juiste parameters.
"We tonen aan dat modellen die zijn getraind met onze gecureerde datasets, zelfs met slechts 7B parameters, state-of-the-art prestaties kunnen behalen op de Berkeley Function-Calling Benchmark, waarbij ze meerdere GPT-4 modellen overtreffen," schrijven de onderzoekers in hun paper.
"Bovendien levert ons 1B-model uitzonderlijke prestaties en overtreft het GPT-3.5-Turbo en Claude-3 Haiku."
De Berkeley functie-aanroep benchmarkwaarnaar in het onderzoek wordt verwezen, is een evaluatieraamwerk dat is ontworpen om de functie-oproepcapaciteiten van AI-modellen te beoordelen.
Belangrijkste statistieken van de studie omvatten:
- Het xLAM-7B model (7 miljard parameters) staat op de 6e plaats van de Berkeley Function-Calling Leaderboard en presteert beter dan GPT-4 en Gemini-1.5-Pro.
- Het kleinere xLAM-1B model presteerde beter dan grotere modellen zoals Claude-3 Haiku en GPT-3.5-Turbo en toonde een uitzonderlijke efficiëntie.
Wat deze prestatie bijzonder indrukwekkend maakt, is de grootte van het model in vergelijking met zijn concurrenten:
- xLAM-1B: 1 miljard parameters
- xLAM-7B7 miljard parameters
- GPT-3: 175 miljard parameters
- GPT-4: Geschatte 1,7 biljoen parameters
- Claude-3 Opus: Niet bekend, maar waarschijnlijk honderden miljarden
- Gemini Ultra: Onbekend, geschat vergelijkbaar met GPT-4
Dit toont aan dat een efficiënt ontwerp en hoogwaardige trainingsgegevens belangrijker kunnen zijn dan alleen de grootte.
Maak kennis met Salesforce Einstein "Tiny Giant. Ons 1B-parametermodel xLAM-1B is nu het beste micromodel voor het aanroepen van functies en presteert beter dan modellen die 7x zo groot zijn, waaronder GPT-3.5 & Claude. On-device agentic AI is hier. Gefeliciteerd Salesforce Research!
Papier: https://t.co/SrntYvgxR5... pic.twitter.com/pPgIzk82xT
- Marc Benioff (@Benioff) 3 juli 2024
Om het model specifiek voor function-calling te trainen, ontwikkelde het Salesforce-team APIGen, een pijplijn voor het maken van diverse datasets van hoge kwaliteit voor function-calling-taken.
APIGen werkt door te putten uit een enorme bibliotheek van 3673 uitvoerbare API's in 21 categorieën, waardoor de AI realistische scenario's creëert om van te leren.
Potentiële toepassingen van de mogelijkheden van xLAM-1B zijn onder andere verbeterde CRM-systemen (Customer Relationship Management) die Salesforce ontwikkelt, meer capabele digitale assistenten, verbeterde interfaces voor slimme thuisapparaten, efficiënte AI-verwerking voor autonome voertuigen en real-time taalvertaling op randapparaten.
Deze xLAM-modellen dagen onderzoekers uit om opnieuw na te denken over hun AI-architectuur en trainingsbenaderingen door aan te tonen dat kleinere, efficiëntere modellen kunnen concurreren met grotere modellen.
Zoals Marc Benioff, CEO van Salesforce, uitlegde, benadrukt Tiny Giant het potentieel voor "on-device agentic AI", perfect voor smartphones en IoT-apparaten.
De toekomst van AI zal niet alleen bestaan uit steeds grotere modellen, maar ook uit slimmere, efficiëntere modellen die geavanceerde functies kunnen bieden voor een breder scala aan apparaten en toepassingen.
