OpenAI har annonceret, at udviklere nu kan finjustere sin GPT-3.5 Turbo-model ved hjælp af brugerdefinerede data.
Finjustering er den proces, hvor man tager basisversionen af en model som GPT-3.5 Turbo, der ligger til grund for ChatGPT, og træner den på et meget specifikt, tilpasset datasæt.
Grundmodellen i GPT-3.5 Turbo er ret god til at gøre en masse forskellige ting. Når en udvikler finjusterer den på et datasæt med fokus på en bestemt brugssag, bliver den virkelig god til at udføre et meget specifikt sæt opgaver. Det er som at tage en almindelig håndværker og træne ham til at blive en rigtig god blikkenslager.
Virksomheder kan nu træne en version af ChatGPT ved hjælp af GPT-3.5 Turbo, så den leverer output, der er skræddersyet til deres virksomhed.
For eksempel kan en virksomhed ønske, at alle ChatGPT's svar skal være på et bestemt sprog eller konsekvent levere kortere eller længere svar. Svarene kan også trænes til altid at komme i et bestemt format eller til at følge en ensartet tone i virksomhedens kommunikation.
Hvis du vil bruge ChatGPT til konsekvent at levere en bestemt type kodeafslutning eller bare fokusere på at komponere API-kald, kan du nu træne den til at gøre det med GPT-3.5 Turbo.
Indtil nu har udviklere kun været i stand til at finjustere mindre effektive ældre varianter af GPT-3. Ved at bruge en finjusteret version af GPT-3.5 Turbo får man en meget bedre ydelse.
I sin meddelelse sagde OpenAI, at "Tidlige tests har vist, at en finjusteret version af GPT-3.5 Turbo kan matche eller endda overgå basale GPT-4-kapaciteter på visse snævre opgaver."
GPT-3.5 Turbo har et 4k token-kontekstvindue, hvilket er dobbelt så meget som tidligere finjusterbare modeller. En 16k-version af modellen vil blive gjort tilgængelig til finjustering senere på året.
Vi har netop lanceret finjustering til GPT-3.5 Turbo! Med finjustering kan du træne modellen på din virksomheds data og køre den i stor skala. Tidlige tests har vist, at fintunet GPT-3.5 Turbo kan matche eller overgå GPT-4 på snævre opgaver: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22. august 2023
Det er ikke gratis, men det bliver billigere
OpenAI opkræver stadig betaling for API-opkald til sine modeller, men muligheden for at finjustere modellen kan reducere de samlede omkostninger ved at køre modellen.
Omkostningerne ved at bruge GPT-3.5 er $0,008/1k tokens til træning, $0,012/1k tokens til inputbrug og $0,016/1k tokens til outputbrug.
Mængden af tokens i de beskeder, du sender, og de svar, du får, bestemmer prisen for tur/retur. Ved at finjustere en model kan man træne den til at reagere på kortere beskeder. OpenAI siger, at nogle af de første testere var i stand til at reducere længden på beskederne med op til 90%.
Denne reduktion i antallet af sendte tokens reducerer de tilknyttede omkostninger, men gør også API-opkaldene meget hurtigere. Muligheden for at reducere omkostningerne gennem finjustering er afgørende for OpenAI, da det konkurrerer med gratis modeller som Llama 2.
Selv om OpenAI opkræver betaling for API-opkald, kan effektiviteten og den forbedrede ydeevne gøre det billigere at køre end gratis open source-modeller som Llama 2. Modeller, der er gratis at bruge, skal stadig køre et sted, og computeromkostninger er ikke billige.
Skiftet til at gøre GPT-3.5 Turbo tilgængelig for finjustering er også rettidigt i betragtning af, hvordan Microsoft har taget skridts til at pitche konkurrerende AI-modeller på Azure-platformen.
Og da virksomhedernes bekymringer over ChatGPT-datasikkerhed fortsætter, var OpenAI meget omhyggelig med at bekræfte, at "Som med alle vores API'er ejes data, der sendes ind og ud af finjusterings-API'en, af kunden og bruges ikke af OpenAI eller nogen anden organisation til at træne andre modeller."
Om det er nok til at overbevise skeptikerne, må tiden vise. Hvis det kommer til at handle om behandlingsomkostninger og ydeevne, vil dette seneste skridt gøre OpenAI's tilbud mere attraktivt end selv de førende gratis AI-modeller.
