Forskere fra Meta og University of California San Diego (UCSD) har utviklet ToolVerifier, en metode som forbedrer hvordan LLM-er kaller opp og samhandler med programvareverktøy.
For at LLM-er skal bli nyttige som generelle assistenter eller agentermå de læres opp til å bruke ulike verktøy eller API-er. Det fungerer å finjustere en LLM til å bruke et spesifikt verktøy, men den virkelige utfordringen er å få en LLM til å samhandle med nye verktøy uten behov for finjusteringer eller få demonstrasjoner.
Når to verktøy er svært like, kan det være spesielt utfordrende for LLM-en å velge det riktige verktøyet for å oppnå målet. Den nåværende metoden med å gi flere få eksempler for hvert verktøy kan også ta opp mye av kontekstvinduet som er tilgjengelig for en LLM.
ToolVerifier er en selvverifiseringsmetode som gjør det mulig for LLM å stille seg selv spørsmål slik at den kan finne ut hvilket verktøy som skal brukes og hvilke parametere som skal sendes til verktøyet.
For å hjelpe LLM velger ToolVerifier først ut det best egnede verktøyet fra et bibliotek med alternativer, og genererer deretter de riktige parameterne. I hvert av disse trinnene genererer ToolVerifier spørsmål for å evaluere valgene og skille mellom lignende kandidatverktøy.
Her er et eksempel fra forskningsrapporten som viser prosessen med verktøyvalg og parameteravklaring.
![](https://dailyai.com/wp-content/uploads/2024/02/ToolVerifier-example.png)
ToolVerifier ble trent på data bestående av en liste med syntetiske verktøy, inkludert reise-, bank- og kalenderverktøy med tilhørende beskrivelser. ToolVerifier ble trent opp til å velge riktig verktøy utelukkende basert på tittelen og beskrivelsen.
Etter å ha lært opp ToolVerifier i verktøyvalg og parameterverifisering, testet forskerne ToolVerifier med fire oppgaver fra ToolBench-referansen som krevde at Llama 2-70B samhandlet med 17 tidligere ukjente verktøy.
Resultatene publisert i avisen sier at bruk av ToolVerifier-metoden resulterte i "en gjennomsnittlig forbedring på 22% i forhold til baseline med få bilder, selv i scenarier der forskjellene mellom kandidatverktøyene er svært nyanserte".
![](https://dailyai.com/wp-content/uploads/2024/02/ToolVerifier-comparison.png)
Resultatene viser at ToolVerifier gir en betydelig forbedring av LLMs verktøyvalg og nøyaktig parametergenerering. Metoden ble bare trent og testet for interaksjoner med ett verktøy i stedet for flere, men den er likevel lovende.
Verktøyforsterkede LLM-er er en spennende utvikling når det gjelder å bruke AI som en generalisert agent. Når LLM-ene lærer seg å bruke flere verktøy for å nå et mål, vil de bli enda mer nyttige for oss enn de allerede er.
Fremtiden der en AI-assistent bestiller en flyreise, koordinerer et møte eller gjør dagligvareinnkjøpene for deg, virker ikke veldig langt unna.