Forskere fra Meta og University of California San Diego (UCSD) har utviklet ToolVerifier, en metode som forbedrer hvordan LLM-er kaller opp og samhandler med programvareverktøy.
For at LLM-er skal bli nyttige som generelle assistenter eller agentermå de læres opp til å bruke ulike verktøy eller API-er. Det fungerer å finjustere en LLM til å bruke et spesifikt verktøy, men den virkelige utfordringen er å få en LLM til å samhandle med nye verktøy uten behov for finjusteringer eller få demonstrasjoner.
Når to verktøy er svært like, kan det være spesielt utfordrende for LLM-en å velge det riktige verktøyet for å oppnå målet. Den nåværende metoden med å gi flere få eksempler for hvert verktøy kan også ta opp mye av kontekstvinduet som er tilgjengelig for en LLM.
ToolVerifier er en selvverifiseringsmetode som gjør det mulig for LLM å stille seg selv spørsmål slik at den kan finne ut hvilket verktøy som skal brukes og hvilke parametere som skal sendes til verktøyet.
For å hjelpe LLM velger ToolVerifier først ut det best egnede verktøyet fra et bibliotek med alternativer, og genererer deretter de riktige parameterne. I hvert av disse trinnene genererer ToolVerifier spørsmål for å evaluere valgene og skille mellom lignende kandidatverktøy.
Her er et eksempel fra forskningsrapporten som viser prosessen med verktøyvalg og parameteravklaring.
ToolVerifier ble trent på data bestående av en liste med syntetiske verktøy, inkludert reise-, bank- og kalenderverktøy med tilhørende beskrivelser. ToolVerifier ble trent opp til å velge riktig verktøy utelukkende basert på tittelen og beskrivelsen.
Etter å ha lært opp ToolVerifier i verktøyvalg og parameterverifisering, testet forskerne ToolVerifier med fire oppgaver fra ToolBench-referansen som krevde at Llama 2-70B samhandlet med 17 tidligere ukjente verktøy.
Resultatene publisert i avisen sier at bruk av ToolVerifier-metoden resulterte i "en gjennomsnittlig forbedring på 22% i forhold til baseline med få bilder, selv i scenarier der forskjellene mellom kandidatverktøyene er svært nyanserte".
Resultatene viser at ToolVerifier gir en betydelig forbedring av LLMs verktøyvalg og nøyaktig parametergenerering. Metoden ble bare trent og testet for interaksjoner med ett verktøy i stedet for flere, men den er likevel lovende.
Verktøyforsterkede LLM-er er en spennende utvikling når det gjelder å bruke AI som en generalisert agent. Når LLM-ene lærer seg å bruke flere verktøy for å nå et mål, vil de bli enda mer nyttige for oss enn de allerede er.
Fremtiden der en AI-assistent bestiller en flyreise, koordinerer et møte eller gjør dagligvareinnkjøpene for deg, virker ikke veldig langt unna.
