Salesforce, ein Unternehmenssoftware-Unternehmen, hat zwei kompakte KI-Modelle vorgestellt, die das Paradigma "größer ist besser" in der KI herausfordern.
Trotz ihrer kompakten Größe übertreffen die xLAM-Modelle mit 1 und 7 Milliarden Parametern viele größere Modelle bei Funktionsaufrufen.
Bei diesen Aufgaben interpretiert und übersetzt ein KI-System eine natürlichsprachliche Anfrage in spezifische Funktionsaufrufe oder API-Anfragen.
Wenn Sie zum Beispiel ein KI-System bitten, "Flüge nach New York für das nächste Wochenende unter $500 zu finden", muss das Modell diese Anfrage verstehen, die relevanten Funktionen (z. B. search_flights, filter_by_price) identifizieren und sie mit den richtigen Parametern ausführen.
"Wir zeigen, dass Modelle, die mit unseren kuratierten Datensätzen trainiert wurden, selbst mit nur 7B Parametern eine Spitzenleistung im Berkeley Function-Calling Benchmark erreichen und mehrere GPT-4-Modelle übertreffen können", schreiben die Forscher in ihrem Papier.
"Außerdem erreicht unser 1B-Modell eine außergewöhnliche Leistung und übertrifft GPT-3.5-Turbo und Claude-3 Haiku."
Die Berkeley-Benchmark für Funktionsaufrufeist ein Bewertungsrahmen, der zur Beurteilung der Funktionsaufrufe von KI-Modellen entwickelt wurde.
Die wichtigsten Statistiken der Studie umfasst:
- Das Modell xLAM-7B (7 Milliarden Parameter) belegte im Berkeley Function-Calling Leaderboard Platz 6 und übertraf damit GPT-4 und Gemini-1.5-Pro.
- Das kleinere Modell xLAM-1B übertraf die größeren Modelle wie Claude-3 Haiku und GPT-3.5-Turbo und bewies damit eine außergewöhnliche Effizienz.
Was diese Leistung besonders beeindruckend macht, ist die Größe des Modells im Vergleich zu seinen Konkurrenten:
- xLAM-1B: 1 Milliarde Parameter
- xLAM-7B: 7 Milliarden Parameter
- GPT-3: 175 Milliarden Parameter
- GPT-4: Geschätzte 1,7 Billionen Parameter
- Claude-3 Opus: Unbekannt, aber wahrscheinlich Hunderte von Milliarden
- Zwillinge Ultra: Nicht bekannt gegeben, geschätzt ähnlich wie GPT-4
Dies zeigt, dass ein effizientes Design und qualitativ hochwertige Trainingsdaten wichtiger sein können als die schiere Größe.
Darf ich vorstellen: Salesforce Einstein "Tiny Giant". Unser 1B-Parameter-Modell xLAM-1B ist jetzt das beste Mikromodell für Funktionsaufrufe und übertrifft Modelle, die 7x so groß sind, einschließlich GPT-3.5 & Claude. Agentenbasierte KI auf dem Gerät ist da. Gratulation an Salesforce Research!
Papier: https://t.co/SrntYvgxR5... pic.twitter.com/pPgIzk82xT
- Marc Benioff (@Benioff) 3. Juli 2024
Um das Modell speziell für die Funktionsaufrufe zu trainieren, entwickelte das Salesforce-Team APIGen, eine Pipeline zur Erstellung verschiedener, hochwertiger Datensätze für Funktionsaufrufe.
APIGen arbeitet mit Stichproben aus einer umfangreichen Bibliothek von 3.673 ausführbaren APIs aus 21 Kategorien, um realistische Szenarien zu schaffen, aus denen die KI lernen kann.
Zu den potenziellen Anwendungen der xLAM-1B-Funktionen gehören verbesserte CRM-Systeme (Customer Relationship Management), die von Salesforce entwickelt werden, leistungsfähigere digitale Assistenten, verbesserte Schnittstellen für Smart-Home-Geräte, effiziente KI-Verarbeitung für autonome Fahrzeuge und Sprachübersetzung in Echtzeit auf Edge-Geräten.
Diese xLAM-Modelle fordern Forscher heraus, ihre KI-Architektur und Trainingsansätze zu überdenken, indem sie zeigen, dass kleinere, effizientere Modelle mit größeren konkurrieren können.
Wie der CEO von Salesforce, Marc Benioff, erklärte, unterstreicht Tiny Giant das Potenzial für "geräteinterne KI", die perfekt für Smartphones und IoT-Geräte geeignet ist.
Die Zukunft der KI wird nicht nur aus immer größeren Modellen bestehen, sondern auch aus intelligenteren, effizienteren Modellen, die fortschrittliche Funktionen für ein breiteres Spektrum von Geräten und Anwendungen bieten können.
