OpenAI har kunngjort at utviklere nå kan finjustere GPT-3.5 Turbo-modellen ved hjelp av egendefinerte data.
Finjustering er prosessen der man tar basisversjonen av en modell som GPT-3.5 Turbo, som ligger til grunn for ChatGPT, og trener den på et svært spesifikt, tilpasset datasett.
Grunnmodellen til GPT-3.5 Turbo er ganske god til å gjøre mange forskjellige ting. Når en utvikler finjusterer den på et datasett med fokus på et spesifikt bruksområde, blir den veldig god til å utføre et veldig spesifikt sett med oppgaver. Det er som å ta en vanlig altmuligmann og lære ham opp til å bli en virkelig god rørlegger.
Bedrifter kan nå trene opp en versjon av ChatGPT ved hjelp av GPT-3.5 Turbo, slik at den leverer resultater som er skreddersydd for deres virksomhet.
En bedrift kan for eksempel ønske at alle svarene fra ChatGPT skal være på et bestemt språk eller konsekvent levere kortere eller lengre svar. Svarene kan også læres opp til alltid å komme i et bestemt format eller til å følge en konsekvent tone i bedriftskommunikasjonen.
Hvis du vil bruke ChatGPT til å konsekvent levere en bestemt type kodekomplettering eller bare fokusere på å komponere API-kall, kan du nå trene den opp til å gjøre det med GPT-3.5 Turbo.
Frem til nå har utviklere bare kunnet finjustere mindre effektive eldre varianter av GPT-3. Ved å bruke en finjustert versjon av GPT-3.5 Turbo får du mye bedre ytelse.
I kunngjøringen sa OpenAI at "Tidlige tester har vist at en finjustert versjon av GPT-3.5 Turbo kan matche, eller til og med overgå, grunnleggende GPT-4-nivå på visse smale oppgaver."
GPT-3.5 Turbo har et 4k token-kontekstvindu, som er dobbelt så stort som tidligere finjusterbare modeller. En 16k-versjon av modellen vil bli gjort tilgjengelig for finjustering senere i år.
Vi har nettopp lansert finjustering for GPT-3.5 Turbo! Med finjustering kan du trene opp modellen på bedriftens data og kjøre den i stor skala. Tidlige tester har vist at finjustert GPT-3.5 Turbo kan matche eller overgå GPT-4 på smale oppgaver: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22. august 2023
Det er ikke gratis, men det blir billigere
OpenAI tar fortsatt betalt for API-anrop til modellene sine, men muligheten til å finjustere modellen kan redusere de samlede kostnadene ved å kjøre modellen.
Kostnaden ved å bruke GPT-3.5 er $0,008/1 000 tokens for opplæring, $0,012/1 000 tokens for inputbruk og $0,016/1 000 tokens for outputbruk.
Antall tokens i instruksjonene du sender, og svarene du får, avgjør tur-retur-kostnaden. Ved å finjustere en modell kan du trene den opp til å svare på kortere beskjeder. OpenAI sier at noen av de første testerne klarte å redusere lengden på meldingene med opptil 90%.
Denne reduksjonen i antall tokens som sendes, reduserer de tilhørende kostnadene, men gjør også API-anropene mye raskere. Muligheten for kostnadsreduksjon gjennom finjustering er avgjørende for OpenAI i konkurransen med gratismodeller som Llama 2.
Selv om OpenAI tar betalt for API-kall, kan effektiviteten og den forbedrede ytelsen gjøre det billigere å kjøre enn gratis modeller med åpen kildekode, som Llama 2. Modeller som er gratis å bruke, må fortsatt kjøres et sted, og databehandlingskostnadene er ikke billige.
Tiltaket med å gjøre GPT-3.5 Turbo tilgjengelig for finjustering er også betimelig med tanke på hvordan Microsoft har gjort en rekke greps til å lansere konkurrerende AI-modeller på Azure-plattformen.
Og ettersom bedriftens bekymring for ChatGPT-datasikkerhet vedvarer, var OpenAI opptatt av å bekrefte at "Som med alle våre API-er, eies data som sendes inn og ut av finjusterings-API-et av kunden og brukes ikke av OpenAI, eller noen annen organisasjon, til å trene opp andre modeller."
Om det vil være nok til å overbevise skeptikerne, gjenstår å se. Hvis det handler om prosesseringskostnader og ytelse, vil OpenAIs tilbud bli mer attraktivt enn selv de ledende gratis AI-modellene.
