OpenAI ha annunciato che gli sviluppatori possono ora perfezionare il modello GPT-3.5 Turbo utilizzando dati personalizzati.
La messa a punto è il processo che consiste nel prendere la versione base di un modello come GPT-3.5 Turbo, che è alla base di ChatGPT, e addestrarlo su un insieme di dati personalizzati molto specifici.
Il modello di base di GPT-3.5 Turbo è abbastanza buono per fare molte cose diverse. Una volta che uno sviluppatore lo mette a punto su un insieme di dati incentrati su un caso d'uso specifico, diventa davvero bravo a svolgere un insieme di compiti molto specifici. È come prendere un tuttofare generico e addestrarlo a diventare un ottimo idraulico.
Le aziende possono ora addestrare una versione di ChatGPT utilizzando GPT-3.5 Turbo in modo che fornisca risultati personalizzati per la loro attività.
Ad esempio, un'azienda potrebbe volere che tutte le risposte di ChatGPT siano in una lingua specifica o che forniscano costantemente risposte più brevi o più lunghe. Le risposte possono anche essere addestrate a produrre sempre in un formato specifico o a seguire un tono coerente di comunicazione aziendale.
Se volete usare ChatGPT per fornire costantemente un tipo specifico di completamento del codice o per concentrarvi sulla composizione di chiamate API, ora potete addestrarlo a farlo con GPT-3.5 Turbo.
Finora gli sviluppatori sono stati in grado di mettere a punto solo le varianti legacy di GPT-3 meno performanti. L'uso di una versione ottimizzata di GPT-3.5 Turbo offre prestazioni molto migliori.
Nel suo annuncio, OpenAI ha dichiarato che "i primi test hanno dimostrato che una versione ottimizzata di GPT-3.5 Turbo è in grado di eguagliare, o addirittura superare, le capacità di base del livello GPT-4 in alcuni compiti ristretti".
GPT-3.5 Turbo ha una finestra di contesto per token da 4k, il doppio rispetto ai precedenti modelli con regolazione fine. Una versione a 16k del modello sarà disponibile per la regolazione fine nel corso dell'anno.
Abbiamo appena lanciato il fine-tuning per GPT-3.5 Turbo! Il fine-tuning consente di addestrare il modello sui dati della propria azienda e di eseguirlo su scala. I primi test hanno dimostrato che GPT-3.5 Turbo può eguagliare o superare GPT-4 in compiti ristretti: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22 agosto 2023
Non è gratis, ma sta diventando sempre più conveniente
OpenAI continua a far pagare le chiamate API ai suoi modelli, ma la possibilità di mettere a punto il modello può ridurre i costi complessivi di gestione del modello.
Il costo dell'utilizzo di GPT-3.5 è di $0,008/1k token per l'addestramento, $0,012/1k token per l'utilizzo degli input e $0,016/1k token per l'utilizzo degli output.
La quantità di token nei messaggi inviati e le risposte ottenute determinano il costo di andata e ritorno. Mettendo a punto un modello, è possibile addestrarlo a rispondere a richieste più brevi. OpenAI afferma che i primi tester sono riusciti a ridurre la lunghezza dei messaggi fino a 90%.
Questa riduzione della quantità di token inviati riduce i costi associati, ma rende anche le chiamate API molto più veloci. L'opportunità di ridurre i costi attraverso la messa a punto è cruciale per OpenAI, che si trova a competere con modelli gratuiti come Llama 2.
Anche se OpenAI fa pagare le chiamate API, l'efficienza e le prestazioni migliorate possono renderlo più economico da gestire rispetto ai modelli gratuiti open-source come Llama 2. I modelli gratuiti devono comunque funzionare da qualche parte e i costi di calcolo non sono economici.
La decisione di rendere disponibile GPT-3.5 Turbo per la messa a punto è opportuna anche in considerazione di come Microsoft si è mossadi proporre modelli di intelligenza artificiale concorrenti sulla sua piattaforma Azure.
E mentre persistono le preoccupazioni delle aziende sulla sicurezza dei dati di ChatGPT, OpenAI ha tenuto a ribadire che "come per tutte le nostre API, i dati inviati in entrata e in uscita dall'API di fine-tuning sono di proprietà del cliente e non vengono utilizzati da OpenAI, o da qualsiasi altra organizzazione, per addestrare altri modelli".
Resta da vedere se ciò sarà sufficiente a convincere gli scettici. Se si tratta di costi di elaborazione e prestazioni, allora quest'ultima mossa vedrà l'offerta di OpenAI diventare una prospettiva più interessante rispetto ai principali modelli di IA gratuiti.
