OpenAI hat angekündigt, dass Entwickler das GPT-3.5-Turbo-Modell jetzt mit Hilfe von benutzerdefinierten Daten feinabstimmen können.
Bei der Feinabstimmung wird die Basisversion eines Modells wie GPT-3.5 Turbo, das ChatGPT zugrunde liegt, auf einem sehr spezifischen, kundenspezifischen Datensatz trainiert.
Das Basismodell von GPT-3.5 Turbo ist ziemlich gut in der Lage, viele verschiedene Dinge zu tun. Sobald ein Entwickler es auf einen Datensatz für einen bestimmten Anwendungsfall abstimmt, wird es wirklich gut in der Ausführung einer sehr spezifischen Reihe von Aufgaben. Es ist, als würde man einen einfachen Handwerker zu einem wirklich guten Klempner ausbilden.
Unternehmen können nun eine Version von ChatGPT mit GPT-3.5 Turbo trainieren, so dass es Ergebnisse liefert, die auf ihr Unternehmen zugeschnitten sind.
Ein Unternehmen könnte zum Beispiel wollen, dass alle Antworten von ChatGPT in einer bestimmten Sprache verfasst sind oder dass sie durchweg kürzere oder längere Antworten liefern. Die Antworten können auch so trainiert werden, dass sie immer in einem bestimmten Format ausgegeben werden oder dass sie einem einheitlichen Ton der Unternehmenskommunikation folgen.
Wenn Sie ChatGPT verwenden möchten, um eine bestimmte Art von Code-Vervollständigung zu liefern oder sich nur auf das Verfassen von API-Aufrufen zu konzentrieren, können Sie es jetzt mit GPT-3.5 Turbo trainieren, dies zu tun.
Bisher konnten die Entwickler nur die weniger leistungsfähigen Legacy-Varianten von GPT-3 feinabstimmen. Die Verwendung einer feinabgestimmten Version von GPT-3.5 Turbo liefert eine viel bessere Leistung.
In der Ankündigung von OpenAI heißt es: "Frühe Tests haben gezeigt, dass eine fein abgestimmte Version von GPT-3.5 Turbo bei bestimmten Aufgaben mit den Fähigkeiten der Basisversion GPT-4 mithalten oder diese sogar übertreffen kann.
GPT-3.5 Turbo verfügt über ein 4k-Token-Kontextfenster, das doppelt so groß ist wie das früherer feinabstimmbarer Modelle. Eine 16k-Version des Modells wird noch in diesem Jahr für die Feinabstimmung zur Verfügung gestellt werden.
Wir haben gerade die Feinabstimmung für GPT-3.5 Turbo eingeführt! Mit der Feinabstimmung können Sie das Modell mit den Daten Ihres Unternehmens trainieren und in großem Maßstab ausführen. Erste Tests haben gezeigt, dass das fein abgestimmte GPT-3.5 Turbo bei engen Aufgaben mit GPT-4 mithalten oder es sogar übertreffen kann: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22. August 2023
Es ist nicht kostenlos, aber es wird immer billiger
OpenAI erhebt nach wie vor Gebühren für API-Aufrufe zu seinen Modellen, aber die Möglichkeit, das Modell fein abzustimmen, kann die Gesamtkosten für den Betrieb des Modells senken.
Die Kosten für die Verwendung von GPT-3.5 betragen $0.008/1k Token für das Training, $0.012/1k Token für die Eingabe und $0.016/1k Token für die Ausgabe.
Die Anzahl der Token in den gesendeten Aufforderungen und die erhaltenen Antworten bestimmen die Roundtrip-Kosten. Durch Feinabstimmung eines Modells können Sie es darauf trainieren, auf verkürzte Aufforderungen zu reagieren. Laut OpenAI waren einige frühe Tester in der Lage, die Länge der Aufforderungen um bis zu 90% zu reduzieren.
Durch die Verringerung der Anzahl der gesendeten Token werden nicht nur die damit verbundenen Kosten gesenkt, sondern auch die API-Aufrufe erheblich beschleunigt. Die Möglichkeit zur Kostensenkung durch Feinabstimmung ist für OpenAI von entscheidender Bedeutung, da es mit kostenlosen Modellen wie Llama 2 konkurriert.
Auch wenn OpenAI Gebühren für API-Aufrufe erhebt, können die Effizienz und die verbesserte Leistung den Betrieb billiger machen als bei kostenlosen Open-Source-Modellen wie Llama 2. Frei nutzbare Modelle müssen immer noch irgendwo laufen, und Rechenkosten sind nicht billig.
Der Schritt, GPT-3.5 Turbo für die Feinabstimmung zur Verfügung zu stellen, kommt auch zur rechten Zeit, wenn man bedenkt, wie Microsoft hat sich in den letzten Jahrens, um konkurrierende KI-Modelle auf seiner Azure-Plattform zu präsentieren.
Und da die Bedenken der Unternehmen bezüglich der Sicherheit der ChatGPT-Daten weiter bestehen, war OpenAI bemüht, zu bekräftigen, dass "wie bei allen unseren APIs die Daten, die in die und aus der Feinabstimmungs-API gesendet werden, Eigentum des Kunden sind und weder von OpenAI noch von einer anderen Organisation zum Trainieren anderer Modelle verwendet werden".
Ob das ausreicht, um die Skeptiker zu überzeugen, bleibt abzuwarten. Wenn es auf die Verarbeitungskosten und die Leistung ankommt, dann wird das Angebot von OpenAI durch diesen jüngsten Schritt attraktiver als selbst die führenden kostenlosen KI-Modelle.
