Исследователи из Meta и Калифорнийского университета в Сан-Диего (UCSD) разработали ToolVerifier, метод, который улучшает то, как LLM вызывают и взаимодействуют с программными инструментами.
Для того чтобы магистранты стали полезными в качестве ассистентов или агентыИх нужно научить пользоваться различными инструментами или API. Тонкая настройка LLM на использование конкретного инструмента действительно работает, но реальная задача состоит в том, чтобы LLM мог взаимодействовать с новыми инструментами без необходимости тонкой настройки или демонстрации нескольких кадров.
Когда два инструмента очень похожи, LLM может быть особенно сложно выбрать правильный инструмент для достижения своей цели. Текущий метод предоставления нескольких примеров с несколькими снимками для каждого инструмента может занимать большую часть контекстного окна, доступного LLM.
ToolVerifier - это метод самопроверки, который позволяет LLM задавать себе вопросы, чтобы определить, какой инструмент использовать и какие параметры ему передавать.
Чтобы помочь LLM, ToolVerifier сначала выбирает наиболее подходящий инструмент из библиотеки вариантов, а затем генерирует соответствующие параметры. На каждом из этих этапов он генерирует вопросы, чтобы помочь оценить свой выбор и отличить похожие инструменты-кандидаты.
Вот пример из исследовательской работы, показывающий процесс выбора инструмента и уточнения параметров.
ToolVerifier был обучен на данных, состоящих из списка синтетических инструментов, включая инструменты для путешествий, банковских операций и календаря, а также их описания. Он был обучен выбирать подходящий инструмент, основываясь исключительно на названии и описании.
После обучения выбору инструментов и проверке параметров исследователи протестировали ToolVerifier на 4 задачах из бенчмарка ToolBench, в которых Llama 2-70B должна была взаимодействовать с 17 ранее невиданными инструментами.
Результаты опубликовано в газете утверждают, что использование метода ToolVerifier привело к "среднему улучшению на 22% по сравнению с базовыми значениями в несколько выстрелов, даже в сценариях, где различия между инструментами-кандидатами очень тонкие".
Результаты показывают, что ToolVerifier обеспечивает существенное улучшение выбора инструментов LLM и точную генерацию параметров. Метод был обучен и протестирован только для взаимодействия одного, а не нескольких инструментов, но, тем не менее, он многообещающий.
ЛЛМ с инструментальным дополнением - это захватывающее развитие в использовании ИИ в качестве обобщенного агента. Когда LLM научатся использовать несколько инструментов для достижения цели, они станут еще более полезными для нас, чем сейчас.
Будущее, в котором помощник с искусственным интеллектом будет бронировать билеты на самолет, координировать встречу или делать покупки за вас, кажется не таким уж далеким.
