I ricercatori di Meta e dell'Università della California San Diego (UCSD) hanno sviluppato ToolVerifier, un metodo che migliora il modo in cui i LLM chiamano e interagiscono con gli strumenti software.
Per i laureati in Lettere e Filosofia è utile diventare assistenti generici o agentiÈ necessario insegnare loro come utilizzare vari strumenti o API. La messa a punto di un LLM per l'utilizzo di uno strumento specifico funziona, ma la vera sfida è quella di far interagire un LLM con nuovi strumenti senza la necessità di una messa a punto o di poche dimostrazioni.
Quando due strumenti sono molto simili, può essere particolarmente difficile per l'LLM scegliere quello giusto per raggiungere il suo obiettivo. L'attuale metodo di fornire diversi esempi di pochi scatti per ogni strumento può consumare molto della finestra di contesto a disposizione di un LLM.
ToolVerifier è un metodo di autoverifica che consente all'LLM di porsi delle domande per capire quale strumento utilizzare e quali parametri passare allo strumento.
Per aiutare l'LLM, ToolVerifier seleziona prima lo strumento più adatto da una libreria di opzioni e poi genera i parametri appropriati. In ognuna di queste fasi, genera domande che aiutano a valutare le sue scelte e a discriminare tra strumenti candidati simili.
Ecco un esempio tratto dal documento di ricerca che mostra il processo di selezione degli utensili e di chiarificazione dei parametri.
ToolVerifier è stato addestrato su dati costituiti da un elenco di strumenti sintetici, tra cui strumenti di viaggio, bancari e di calendario e le relative descrizioni. È stato addestrato a selezionare lo strumento appropriato sulla base del titolo e della descrizione.
Una volta addestrato alla selezione degli strumenti e alla verifica dei parametri, i ricercatori hanno testato ToolVerifier con 4 compiti del benchmark ToolBench che richiedeva a Llama 2-70B di interagire con 17 strumenti mai visti prima.
I risultati pubblicato sul giornale dicono che l'uso del metodo ToolVerifier ha portato a "un miglioramento medio di 22% rispetto alle linee di base a pochi scatti, anche in scenari in cui le distinzioni tra gli strumenti candidati sono finemente sfumate".
I risultati mostrano che ToolVerifier offre un miglioramento sostanziale nella selezione degli utensili e nella generazione accurata dei parametri di un LLM. Il metodo è stato addestrato e testato solo per interazioni con un singolo utensile piuttosto che con più utensili, ma è comunque promettente.
Gli LLM arricchiti di strumenti sono uno sviluppo entusiasmante nell'utilizzo dell'intelligenza artificiale come agente generalizzato. Quando i LLM impareranno a utilizzare più strumenti per raggiungere un obiettivo, saranno ancora più utili di quanto non lo siano già.
Il futuro in cui un assistente AI prenoterà un volo, coordinerà una riunione o farà la spesa al posto vostro non sembra molto lontano.
