Forscher der Universität Berkeley, Kalifornien, haben ein KI-Prognosesystem entwickelt, das künftige Ereignisse mit ähnlicher Genauigkeit vorhersagen kann wie die menschliche Crowd Wisdom.
Da LLMs nicht speziell für die Vorhersage von Ereignissen ausgelegt sind, hat das Team ein Vorhersagesystem auf der Grundlage von GPT-4 entwickelt, das einen neuartigen Ansatz namens "retrieval-augmented reasoning" verwendet.
In diesem mehrstufigen Prozess wurde GPT-4 darauf trainiert, nach relevanten Informationen zu suchen, ihre Relevanz zu bewerten und sie in seinen Denkprozess zu integrieren, bevor es eine Vorhersage trifft.
Und so funktioniert es:
- Abruf: Das KI-System verwendet GPT-4, um Suchanfragen auf der Grundlage der Vorhersagefrage und der Unterfragen zu generieren und eine breite Palette potenziell relevanter Nachrichtenartikel zu finden.
- Bewertung der Relevanz: GPT-4 bewertet die Relevanz jedes abgerufenen Artikels und verwirft Artikel mit niedriger Punktzahl, um den Informationspool einzugrenzen.
- Zusammenfassungen: GPT-4 destilliert jeden Artikel auf seine Kernpunkte und konzentriert sich auf Details, die mit der Prognosefrage zusammenhängen.
- Begründung: Mit Hilfe von "Scratchpad-Prompts" analysiert GPT-4 die zusammengefassten Artikel und erstellt eine detaillierte Prognose mit einer erklärenden Begründung. Diese Aufforderungen leiten den Denkprozess des Modells und fördern einen systematischen Ansatz zur Argumentation.
Das Berkeley-Team ging dann noch einen Schritt weiter und führte eine selbstgesteuerte Feinabstimmung des Systems durch.
Sie erstellten eine große Anzahl von KI-Prognosen zu vergangenen Fragen mit bekannten Antworten und wählten Beispiele aus, bei denen die KI die "Weisheit der Masse" - definiert als die aggregierten Vorhersagen menschlicher Prognostiker - übertroffen hatte.
Durch die Feinabstimmung von GPT-4 anhand dieser Beispiele brachten die Forscher dem Modell bei, die Denkmuster nachzuahmen, die die besten Prognosen ergaben.
Ergebnisse
Bei der Prüfung von Vorhersagefragen ab Juni 2023 erreichte die KI eine Brier-Punktzahl von 0,179 im Vergleich zu einer menschlichen Vorhersage von 0,149.
Besonders gut schnitt die KI bei Fragen mit hoher menschlicher Unsicherheit zu Beginn des Vorhersageprozesses ab und wenn sie Zugang zu ausreichend relevanten Artikeln zu einem bestimmten Thema hatte.
(b) Wenn die Menschen unsicher sind, was ihre Vorhersagen angeht (Konfidenzniveau zwischen 0,3 und 0,7), schneidet das System besser ab, mit einem Brier-Wert von 0,199 im Vergleich zu 0,246. Wenn die Menschen jedoch sehr sicher sind (Vorhersagen unter 0,05), schneiden sie besser ab als unser System.
(c) Die Genauigkeit des Systems ist zu Beginn der Informationsbeschaffung höher. Quelle: ArXiv (offener Zugang).
Die Autoren schreiben in der StudieUnseres Wissens ist dies das erste automatisierte System mit Vorhersagefähigkeiten, die sich der menschlichen Menge annähern, die im Allgemeinen stärker ist als einzelne menschliche Vorhersager.
Es gab eine kleine Besonderheit, denn das System schien sich zu verschlechtern, je mehr Artikel zur Verfügung standen und je sicherer die Prognose war. Dies könnte darauf zurückzuführen sein, dass das Modell seine Vorhersagen "absichert".
Die Forscher beschreiben dies wie folgt: "Wir vermuten, dass dies darauf zurückzuführen ist, dass unser Modell aufgrund seines Sicherheitstrainings dazu neigt, Vorhersagen abzusichern."
Auswirkungen
Den Forschern zufolge könnten politische Entscheidungsträger, Unternehmen und Vertreter des öffentlichen Gesundheitswesens von dieser Form der sprachgesteuerten KI-Prognose profitieren.
"Künftig könnten politische Entscheidungsträger die KI dazu befragen, welche Maßnahmen am ehesten zu den gewünschten Ergebnissen führen würden", erklärt Dan Hendrycks vom Center for AI Safety in Kalifornien.
Er schlägt vor, dass Prognosemodelle die bevorstehenden Gefahren der KI bekämpfen könnten. "Prognostizierende Bots würden uns dabei helfen, diese Risiken vorherzusehen und zu vermeiden", so Hendrycks. sagte dem New Scientist.
Es wurden bereits andere Versuche unternommen, komplexe Lebensereignisse mit Hilfe von KI vorherzusagen, darunter ein von dänischen Forschern trainiertes Modell, das das Risiko eines vorzeitigen Todes vorhersagen.
Die Nutzung von KI für prädiktive Anwendungen, die sich auf das Leben der Menschen auswirken, wirft ethische Fragen auf, z. B. die Sicherstellung, dass diese Systeme transparent, unvoreingenommen und ethisch fundiert sind.
Die neue Berkeley-Studie beschreibt, wie KI effektive Prognosen erstellen kann, aber wir können nicht abschätzen, wie genau sie zu ihren Entscheidungen kommt.
Der Einsatz von KI zur Vorhersage wichtiger gesellschaftlicher und individueller Ereignisse mag wie ein dystopisches Konzept erscheinen, ist aber in vielen Teilen der Welt bereits weit verbreitet.
In mehreren demokratischen Ländern, darunter die USA, das Vereinigte Königreich, Brasilien, Australien und die Niederlande, wird KI eingesetzt für PolizeiarbeitÜberwachung, und Fürsorgeentscheidung.
Könnte es sein, dass eine KI jetzt schon Aspekte Ihrer Zukunft vorhersagt? Das ist durchaus möglich.
