A OpenAI anunciou que os programadores podem agora afinar o seu modelo GPT-3.5 Turbo utilizando dados personalizados.
O ajuste fino é o processo de pegar na versão base de um modelo como o GPT-3.5 Turbo, que está na base do ChatGPT, e treiná-lo num conjunto de dados personalizado muito específico.
O modelo básico do GPT-3.5 Turbo é muito bom para fazer muitas coisas diferentes. Quando um programador o afina num conjunto de dados focado num caso de utilização específico, torna-se realmente bom a executar um conjunto muito específico de tarefas. É como pegar num faz-tudo e treiná-lo para ser um canalizador muito bom.
As empresas podem agora treinar uma versão do ChatGPT utilizando o GPT-3.5 Turbo para que este forneça resultados adaptados à sua atividade.
Por exemplo, uma empresa pode querer que todas as respostas do ChatGPT estejam num idioma específico ou que forneçam consistentemente respostas mais curtas ou mais longas. As respostas também podem ser treinadas para serem sempre apresentadas num formato específico ou para seguirem um tom consistente de comunicação empresarial.
Se pretender utilizar o ChatGPT para fornecer consistentemente um tipo específico de conclusão de código ou concentrar-se apenas na composição de chamadas de API, pode agora treiná-lo para o fazer com o GPT-3.5 Turbo.
Até agora, os programadores só conseguiram afinar as variantes antigas menos capazes do GPT-3. A utilização de uma versão aperfeiçoada do GPT-3.5 Turbo proporciona um desempenho muito melhor.
No seu anúncio, a OpenAI afirmou que "os primeiros testes mostraram que uma versão aperfeiçoada do GPT-3.5 Turbo pode igualar, ou mesmo superar, as capacidades básicas do nível GPT-4 em determinadas tarefas restritas".
O GPT-3.5 Turbo tem uma janela de contexto de token de 4k, que é o dobro dos modelos de ajuste fino anteriores. Uma versão de 16k do modelo será disponibilizada para ajuste fino ainda este ano.
Acabámos de lançar o ajuste fino para o GPT-3.5 Turbo! O ajuste fino permite-lhe treinar o modelo com os dados da sua empresa e executá-lo em escala. Os primeiros testes mostraram que o GPT-3.5 Turbo com ajuste fino pode igualar ou exceder o GPT-4 em tarefas restritas: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22 de agosto de 2023
Não é gratuito, mas está a ficar mais barato
A OpenAI continua a cobrar pelas chamadas API para os seus modelos, mas a possibilidade de afinar o modelo pode reduzir os custos globais de funcionamento do modelo.
O custo de utilização do GPT-3.5 é de $0.008/1k tokens para treino, $0.012/1k tokens para utilização de entrada e $0.016/1k tokens para utilização de saída.
A quantidade de tokens nos prompts que envia e as respostas que obtém determinarão o custo de ida e volta. Ao afinar um modelo, é possível treiná-lo para responder a pedidos mais curtos. A OpenAI afirma que alguns dos primeiros testadores conseguiram reduzir o comprimento das mensagens em até 90%.
Esta redução na quantidade de tokens enviados reduz os custos associados, mas também torna as chamadas à API muito mais rápidas. A oportunidade de redução de custos através de um ajuste fino é crucial para a OpenAI, uma vez que compete com modelos gratuitos como o Llama 2.
Embora a OpenAI cobre pelas chamadas à API, as eficiências e o desempenho melhorado podem tornar o seu funcionamento mais barato do que o de modelos gratuitos de código aberto como o Llama 2. Os modelos gratuitos continuam a ter de funcionar em algum lado e os custos de computação não são baratos.
A mudança para disponibilizar o GPT-3.5 Turbo para afinação também é oportuna, considerando como A Microsoft tem estado a fazer progressoss para lançar modelos de IA concorrentes na sua plataforma Azure.
E como as preocupações das empresas sobre a segurança dos dados do ChatGPT persistem, a OpenAI teve o cuidado de reafirmar que "Tal como acontece com todas as nossas API, os dados enviados para dentro e para fora da API de afinação são propriedade do cliente e não são utilizados pela OpenAI, ou por qualquer outra organização, para treinar outros modelos".
Resta saber se isso será suficiente para convencer os cépticos. Se a questão se resumir aos custos de processamento e ao desempenho, esta última medida fará com que a oferta da OpenAI se torne uma perspetiva mais apelativa do que os principais modelos de IA gratuitos.
