OpenAI har meddelat att utvecklare nu kan finjustera sin GPT-3.5 Turbo-modell med hjälp av anpassade data.
Finjustering är processen där man tar basversionen av en modell som GPT-3.5 Turbo, som ligger till grund för ChatGPT, och tränar den på en mycket specifik anpassad uppsättning data.
Basmodellen för GPT-3.5 Turbo är ganska bra på att göra många olika saker. När en utvecklare finjusterar den på en datauppsättning med fokus på ett specifikt användningsfall blir den riktigt bra på att utföra en mycket specifik uppsättning uppgifter. Det är som att ta en allmän handyman och träna honom för att bli en riktigt bra rörmokare.
Företag kan nu träna en version av ChatGPT med hjälp av GPT-3.5 Turbo så att den levererar resultat som är skräddarsydda för deras verksamhet.
Ett företag kan till exempel vilja att alla ChatGPT:s svar ska vara på ett visst språk eller konsekvent leverera kortare eller längre svar. Svaren kan också tränas för att alltid matas ut i ett visst format eller för att följa en konsekvent ton i företagskommunikationen.
Om du vill använda ChatGPT för att konsekvent leverera en viss typ av kodkomplettering eller bara fokusera på att komponera API-anrop kan du nu träna den att göra det med GPT-3.5 Turbo.
Fram till nu har utvecklare bara kunnat finjustera mindre kapabla äldre varianter av GPT-3. Att använda en finjusterad version av GPT-3.5 Turbo ger mycket bättre prestanda.
I sitt tillkännagivande sa OpenAI att "Tidiga tester har visat att en finjusterad version av GPT-3.5 Turbo kan matcha, eller till och med överträffa, basfunktioner på GPT-4-nivå för vissa smala uppgifter."
GPT-3.5 Turbo har ett 4k token context-fönster, vilket är dubbelt så mycket som tidigare finjusterbara modeller. En 16k-version av modellen kommer att göras tillgänglig för finjustering senare i år.
Vi har precis lanserat finjustering för GPT-3.5 Turbo! Med finjustering kan du träna modellen på ditt företags data och köra den i skala. Tidiga tester har visat att finjusterad GPT-3.5 Turbo kan matcha eller överträffa GPT-4 på smala uppgifter: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22 augusti 2023
Det är inte gratis, men det blir allt billigare
OpenAI tar fortfarande betalt för API-anrop till sina modeller, men möjligheten att finjustera modellen kan minska de totala kostnaderna för att driva modellen.
Kostnaden för att använda GPT-3.5 är $0,008/1k tokens för utbildning, $0,012/1k tokens för användning av indata och $0,016/1k tokens för användning av utdata.
Mängden tokens i de uppmaningar du skickar och de svar du får avgör kostnaden tur och retur. Genom att finjustera en modell kan du träna den att svara på förkortade uppmaningar. OpenAI säger att vissa tidiga testare kunde minska längden på uppmaningarna med upp till 90%.
Denna minskning av antalet tokens som skickas minskar de tillhörande kostnaderna men gör också API-anropen mycket snabbare. Möjligheten till kostnadsminskningar genom finjustering är avgörande för OpenAI när det konkurrerar med gratismodeller som Llama 2.
Även om OpenAI tar betalt för API-anrop kan effektivitetsvinsterna och den förbättrade prestandan göra det billigare att köra än kostnadsfria modeller med öppen källkod som Llama 2. Modeller som är gratis att använda måste ändå köras någonstans och datorkostnader är inte billiga.
Beslutet att göra GPT-3.5 Turbo tillgänglig för finjustering är också lägligt med tanke på hur Microsoft har gjort stora framstegs att pitcha konkurrerande AI-modeller på sin Azure-plattform.
Och eftersom företagens oro över ChatGPT-datasäkerhet kvarstår, var OpenAI noga med att bekräfta att "Som med alla våra API: er ägs data som skickas in och ut ur finjusterings-API: n av kunden och används inte av OpenAI eller någon annan organisation för att träna andra modeller."
Om det kommer att räcka för att övertyga skeptikerna återstår att se. Om det handlar om bearbetningskostnader och prestanda kommer OpenAI:s erbjudande att bli ett mer tilltalande alternativ än till och med de ledande gratis AI-modellerna.
