Os investigadores da Meta e da Universidade da Califórnia em San Diego (UCSD) desenvolveram o ToolVerifier, um método que melhora a forma como os LLMs chamam e interagem com as ferramentas de software.
Para que os LLM se tornem úteis como assistentes gerais ou agentesPara isso, é necessário ensiná-los a usar várias ferramentas ou APIs. O ajuste fino de um LLM para usar uma ferramenta específica funciona, mas o verdadeiro desafio é que um LLM interaja com novas ferramentas sem a necessidade de ajustes finos ou de demonstrações pontuais.
Quando duas ferramentas são muito semelhantes, pode ser especialmente difícil para o LLM escolher a ferramenta correcta para atingir o seu objetivo. O método atual de fornecer vários exemplos de poucos disparos para cada ferramenta pode consumir muito da janela de contexto disponível para um LLM também.
O ToolVerifier é um método de auto-verificação que permite ao LLM fazer perguntas a si próprio, de modo a determinar qual a ferramenta a utilizar e quais os parâmetros a passar à ferramenta.
Para ajudar o LLM, o ToolVerifier começa por selecionar a ferramenta mais adequada a partir de uma biblioteca de opções e depois gera os parâmetros apropriados. Em cada uma dessas etapas, ele gera perguntas para ajudar a avaliar suas escolhas e discriminar entre ferramentas candidatas semelhantes.
Eis um exemplo do documento de investigação que mostra o processo de seleção de ferramentas e de clarificação de parâmetros.
O ToolVerifier foi treinado com dados que consistiam numa lista de ferramentas sintéticas, incluindo ferramentas de viagem, bancárias e de calendário e as respectivas descrições. Foi treinado para selecionar a ferramenta adequada com base apenas no título e na descrição.
Uma vez treinado na seleção de ferramentas e na verificação de parâmetros, os investigadores testaram o ToolVerifier com 4 tarefas do benchmark ToolBench que exigiam que a Llama 2-70B interagisse com 17 ferramentas nunca antes vistas.
Os resultados publicado no jornal afirmam que a utilização do método ToolVerifier resultou numa "melhoria média de 22% em relação às linhas de base de poucos disparos, mesmo em cenários em que as distinções entre as ferramentas candidatas são finamente matizadas".
Os resultados mostram que o ToolVerifier proporciona uma melhoria substancial na seleção de ferramentas de um LLM e na geração de parâmetros precisos. O método só foi treinado e testado para interacções com uma única ferramenta e não com várias ferramentas, mas é promissor.
Os LLMs com ferramentas aumentadas são um desenvolvimento interessante na utilização da IA como agente generalizado. Quando os LLMs aprenderem a utilizar várias ferramentas para atingir um objetivo, serão ainda mais úteis do que já são.
O futuro em que um assistente de IA reserva um voo, coordena uma reunião ou faz as compras de mercearia por si, não parece muito distante.
