OpenAI heeft aangekondigd dat ontwikkelaars nu hun GPT-3.5 Turbo-model kunnen verfijnen met behulp van aangepaste gegevens.
Fine-tuning is het proces van het nemen van de basisversie van een model zoals GPT-3.5 Turbo, dat ten grondslag ligt aan ChatGPT, en het trainen ervan op een zeer specifieke aangepaste set gegevens.
Het basismodel van GPT-3.5 Turbo is vrij goed in het doen van veel verschillende dingen. Zodra een ontwikkelaar het verfijnd op een dataset gericht op een specifieke use case, wordt het echt goed in het uitvoeren van een zeer specifieke set taken. Het is alsof je een algemene klusjesman opleidt tot een hele goede loodgieter.
Bedrijven kunnen nu een versie van ChatGPT trainen met GPT-3.5 Turbo, zodat het output levert die is afgestemd op hun bedrijf.
Een bedrijf kan bijvoorbeeld willen dat alle antwoorden van ChatGPT in een specifieke taal zijn of consistent kortere of langere antwoorden geven. De antwoorden kunnen ook worden getraind om altijd in een specifiek formaat te antwoorden of om een consistente toon van bedrijfscommunicatie te volgen.
Als je ChatGPT wilt gebruiken om consistent een specifiek type code completion te leveren of je alleen wilt richten op het samenstellen van API-oproepen, dan kun je het nu trainen om dat te doen met GPT-3.5 Turbo.
Tot nu toe waren ontwikkelaars alleen in staat om minder capabele legacy varianten van GPT-3 te fine-tunen. Het gebruik van een verfijnde versie van GPT-3.5 Turbo levert veel betere prestaties.
In de aankondiging zei OpenAI dat "Vroege tests hebben aangetoond dat een verfijnde versie van GPT-3.5 Turbo kan overeenkomen met, of zelfs beter kan presteren dan, basiscapaciteiten op GPT-4-niveau op bepaalde smalle taken."
GPT-3.5 Turbo heeft een 4k token contextvenster dat twee keer zo groot is als dat van eerdere fijnafstembare modellen. Een 16k versie van het model komt later dit jaar beschikbaar voor fijnafstemming.
We hebben zojuist fine-tuning gelanceerd voor GPT-3.5 Turbo! Met fine-tuning kunt u het model trainen op de gegevens van uw bedrijf en op schaal uitvoeren. Uit de eerste tests is gebleken dat GPT-3.5 Turbo met fijnafstemming GPT-4 kan evenaren of zelfs overtreffen op smalle taken: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22 augustus 2023
Het is niet gratis, maar het wordt goedkoper
OpenAI brengt nog steeds kosten in rekening voor API-oproepen naar zijn modellen, maar de mogelijkheid om het model te verfijnen kan de totale kosten voor het uitvoeren van het model verlagen.
De kosten voor het gebruik van GPT-3.5 zijn $0.008/1k tokens voor training, $0.012/1k tokens voor invoergebruik en $0.016/1k tokens voor uitvoergebruik.
Het aantal tokens in de prompts die je verstuurt en de antwoorden die je krijgt bepalen de retourkosten. Door een model te verfijnen kun je het trainen om te reageren op kortere prompts. OpenAI zegt dat sommige vroege testers in staat waren om prompts tot 90% korter te maken.
Deze vermindering van het aantal verzonden tokens verlaagt de bijbehorende kosten, maar maakt de API-aanroepen ook een stuk sneller. De mogelijkheid om de kosten te verlagen door fijnafstelling is cruciaal voor OpenAI omdat het concurreert met gratis modellen zoals Llama 2.
Hoewel OpenAI kosten in rekening brengt voor API-aanroepen, kunnen de efficiëntie en verbeterde prestaties het goedkoper maken om het te gebruiken dan gratis open-source modellen zoals Llama 2. Gratis modellen moeten nog steeds ergens op draaien en computerkosten zijn niet goedkoop.
De stap om GPT-3.5 Turbo beschikbaar te maken voor fijnafstelling komt ook op het juiste moment gezien de manier waarop Microsoft is in bewegings om concurrerende AI-modellen op hun Azure-platform aan te bieden.
En omdat de bezorgdheid van bedrijven over de beveiliging van ChatGPT-gegevens aanhoudt, deed OpenAI er alles aan om opnieuw te bevestigen dat "net als bij al onze API's, de gegevens die in en uit de fine-tuning API worden verzonden eigendom zijn van de klant en niet worden gebruikt door OpenAI, of een andere organisatie, om andere modellen te trainen."
Of dat genoeg is om de sceptici te overtuigen, valt nog te bezien. Als het aankomt op verwerkingskosten en prestaties, dan zal deze laatste stap ervoor zorgen dat het aanbod van OpenAI een aantrekkelijker vooruitzicht wordt dan zelfs de toonaangevende gratis AI-modellen.
