Компания Salesforce, производитель корпоративного программного обеспечения, представила две компактные модели искусственного интеллекта, которые бросают вызов парадигме "больше - значит лучше" в искусственном интеллекте.
Несмотря на компактный размер, модели xLAM с 1 и 7 миллиардами параметров превосходят многие более крупные модели в задачах вызова функций.
В этих задачах система искусственного интеллекта интерпретирует и переводит запрос на естественном языке в конкретные вызовы функций или API-запросы.
Например, если вы попросите систему искусственного интеллекта "найти рейсы в Нью-Йорк на следующие выходные по цене $500", модель должна понять этот запрос, определить соответствующие функции (например, search_flights, filter_by_price) и выполнить их с правильными параметрами.
"Мы демонстрируем, что модели, обученные на наших курируемых наборах данных, даже с параметрами всего 7B, могут достичь современной производительности на Berkeley Function-Calling Benchmark, превосходя многочисленные модели GPT-4", - пишут исследователи в своей статье.
"Более того, наша модель 1B обладает исключительной производительностью, превосходя GPT-3.5-Turbo и Claude-3 Haiku".
Сайт Контрольная работа по вызову функций Беркли, на которую ссылается исследование, представляет собой систему оценки, предназначенную для оценки возможностей моделей ИИ по вызову функций.
Основные статистические данные исследование включает:
- Модель xLAM-7B (7 миллиардов параметров) заняла 6-е место в рейтинге Berkeley Function-Calling Leaderboard, опередив GPT-4 и Gemini-1.5-Pro.
- Меньшая модель xLAM-1B превзошла такие крупные модели, как Claude-3 Haiku и GPT-3.5-Turbo, продемонстрировав исключительную эффективность.
Особенно впечатляют размеры модели по сравнению с конкурентами:
- xLAM-1B: 1 миллиард параметров
- xLAM-7B: 7 миллиардов параметров
- ГПТ-3: 175 миллиардов параметров
- GPT-4: По оценкам, 1,7 триллиона параметров
- Клод-3 Опус: Не раскрывается, но, вероятно, речь идет о сотнях миллиардов.
- Близнецы Ультра: Не раскрыто, по оценкам, аналогичен GPT-4
Это говорит о том, что эффективный дизайн и качественные обучающие данные могут быть важнее, чем их размер.
Встречайте "Крошечного гиганта" Salesforce Einstein. Наша модель xLAM-1B с 1B параметрами стала лучшей микромоделью для вызова функций, превзойдя модели в 7 раз большего размера, включая GPT-3.5 и Claude. Агентский искусственный интеллект на устройствах уже здесь. Поздравляем Salesforce Research!
Бумага: https://t.co/SrntYvgxR5... pic.twitter.com/pPgIzk82xT
- Марк Бениофф (@Benioff) 3 июля 2024 года
Чтобы обучить модель специально для вызова функций, команда Salesforce разработала APIGen, конвейер для создания разнообразных высококачественных наборов данных для задач вызова функций.
APIGen работает на основе выборки из обширной библиотеки из 3 673 исполняемых API в 21 категории, создавая реалистичные сценарии для обучения ИИ.
Потенциальные области применения возможностей xLAM-1B включают в себя усовершенствованные системы управления взаимоотношениями с клиентами (CRM), которые разрабатывает компания Salesforce, более мощные цифровые помощники, улучшенные интерфейсы для устройств "умного дома", эффективную обработку ИИ для автономных транспортных средств и перевод языка в реальном времени на устройствах, расположенных на границе.
Эти модели xLAM заставляют исследователей переосмыслить архитектуру ИИ и подходы к обучению, демонстрируя, что небольшие, более эффективные модели могут конкурировать с большими.
Как объяснил генеральный директор Salesforce Марк Бениофф, Tiny Giant открывает потенциал для "агентского ИИ на устройстве", идеально подходящего для смартфонов и IoT-устройств.
Будущее ИИ - это не просто все более крупные модели, а более умные и эффективные, способные обеспечить расширенный набор функций для широкого круга устройств и приложений.
