Zum Inhalt springen
Sonntag, 22. November 2026Kostenloser Leitfaden
DE
dailyai
Forschung

OpenAI möchte die Grenzen der KI-Entwicklung in “Perplexität” messen – und veröffentlicht eigene Zahlen.

• 2 Minuten Lesezeit
AktieXin

OpenAI schlug am Sonntag vor, dass die KI-Branche ihren Fortschritt mit einer einzigen Kennzahl messen und begrenzen sollte – der Perplexität, also wie gut ein Modell im Durchschnitt das nächste Token vorhersagt, wobei ein niedrigerer Wert besser ist – und veröffentlichte die internen Zahlen, die es zur Verfolgung seines eigenen Vortrainings verwendet.

Der Vorschlag stammt aus dem Essay “Perplexity and Intelligence” von Jakub Pachocki, dem leitenden Wissenschaftler von OpenAI. Er argumentiert, dass sich Entwickler auf “gemeinsame Grenzen” einigen sollten, die kein Labor überschreiten darf, bis konkrete Sicherheitsmeilensteine erreicht sind – beispielsweise ein Nachfolger für die Überwachung der Gedankenkette, die die Argumentation eines Modells auf Anzeichen von Problemen prüft.

Um solche Vergleiche zu ermöglichen, veröffentlichte Pachocki die internen Log-Perplexitätswerte von OpenAI für dessen wichtigsten Evaluierungsdatensatz. GPT-3.5 erreichte etwa 0,99 und GPT-4 etwa 0,91, schreibt er; unter 0,8 verzeichnete das Unternehmen “…“transformative Fähigkeiten in Bereichen wie Cybersicherheit und Mathematik”, und bei etwa 0,76 begann ein Modell “bahnbrechende Ergebnisse” in der Mathematik zu erzielen – einem Gebiet, das die Erkenntnisse noch verarbeitet. KI-gestützte Beweisführung. Er warnt davor, dass “es im Vorfeld keineswegs klar war, dass diese Fähigkeiten auftreten würden, sobald diese spezifischen Perplexitätsschwellen erreicht sind”. Diese Behauptungen stammen von OpenAI und wurden nicht unabhängig überprüft.

Er prognostiziert transformative Fähigkeiten im Bereich von 0,68–0,7 – räumt aber ein: “Ich weiß nicht, welche Fähigkeiten das sein werden” – und sagt eine “Lawine grundlegender Fortschritte im Vortraining” bereits “ab 2027” voraus. Als Schwächen nennt er: Labore trainieren mit unterschiedlichen Daten, die schwer vergleichbar sind; die Perplexität lässt sich keiner relevanten Aufgabe zuordnen; besseres logisches Denken senkt sie nicht; ihr Untergrenze ist unbekannt.

Die Veröffentlichung der Zahlen “erforderte einige Überlegungen”, schreibt er, da sie den Wettbewerbern ein klareres Bild davon vermittelt, wo OpenAI steht – eine Sorge, die seiner Meinung nach jedoch von der “Dringlichkeit der Etablierung gemeinsamer Sicherheitsmaßnahmen in der gesamten Branche” überlagert wird.

Warum das wichtig ist: Es scheint das erste Mal zu sein, dass ein Spitzenlabor interne Vortrainingszahlen offenlegt und damit eine abstrakte Sicherheitsdebatte in eine messbare Größe umwandelt. Sollten andere Labore diese Transparenz verweigern, wird der Vorschlag an der ersten Hürde scheitern, die er selbst benennt: dem Vergleich. Folgen sie diesem Beispiel, könnten zukünftige KI-“Wettrennen” mit Geschwindigkeitsbegrenzungen einhergehen, die in den bereits von Ingenieuren verwendeten Einheiten festgelegt sind.