OpenAI hat ein Expertenteam mit dem Namen "Preparedness" zusammengestellt, das die mit der KI verbundenen "katastrophalen" Risiken entschärfen soll.
Dies geschieht nicht lange, nachdem OpenAI eine umfassende sich zu einem AGI-zentrierten Unternehmen umbenannt. Das neue Team widmet sich der Risikobewertung aktueller und künftiger KI-Modelle.
Von OpenAI angegebene Risiken individualisierte Überzeugungsarbeit (Anpassung von Nachrichten an die Wünsche des Empfängers), Bedrohungen der Cybersicherheit, autonome Replikation, Anpassung (KI, die sich selbständig verändert) und sogar existenzielle Bedrohungen wie chemische, biologische und nukleare Angriffe.
Die Experten sind sich weitgehend uneinig darüber, ob die existenziellen Risiken der KI ein Hype sind oder praktisch realistisch, obwohl die meisten darin übereinstimmen, dass die aktuellen Probleme, wie z. B. KI-Tiefenfälschungen, bereits eine enorme Störung darstellen.
Die Erklärung von OpenAI zu diesem Thema ist eindeutig: "Wir glauben, dass KI-Modelle, die die Fähigkeiten der fortschrittlichsten bestehenden Modelle übertreffen werden, das Potenzial haben, der gesamten Menschheit zu nutzen. Allerdings bergen sie auch zunehmend schwerwiegende Risiken."
Künstliche allgemeine Intelligenz (Artificial General Intelligence - AGI) definiert KI-Modelle, die der menschlichen Kognition in mehreren Modalitäten ebenbürtig sind und sie übertreffen.
Der CEO von OpenAI, Sam Altman, hat seine Absicht erklärt, die schaffen solche Modelle klaraber das Konzept des AGI in realen Begriffen bleibt höchst spekulativ.
Altman kürzlich im Joe Rogan-Podcast zugegeben dass sich die KI nicht so entwickelt hatte, wie er es erwartet hatte. AGI könnte nicht spontan als "Singularität" auftreten, sondern langsam im Laufe des nächsten Jahrzehnts.
OpenAI zum Thema Bereitschaft
In einem aktueller BlogeintragDie Teams von OpenAI Safety & Alignment und Community betonten das kontinuierliche Engagement der Organisation, das gesamte Spektrum der mit KI verbundenen Sicherheitsrisiken zu adressieren.
Dieser Schritt erfolgt, nachdem OpenAI, zusammen mit anderen prominenten KI-Labors, freiwillig verpflichtet zur Wahrung der Sicherheit und des Vertrauens in die KI-Entwicklung als Teil einer Zusammenarbeit mit dem Weißen Haus.
Das Preparedness-Team wird von OpenAI-Forscher Aleksander Madry geleitet. Das Team wird bei der Beurteilung von Fähigkeiten, der Durchführung von Bewertungen und der Durchführung von internem Red Teaming für Pioniermodelle - von Entwicklungen der nahen Zukunft bis hin zu AGI-Modellen - eine entscheidende Rolle spielen.
Darüber hinaus wird das Team eine risikobasierte Entwicklungspolitik (Risk-Informed Development Policy - RDP) entwickeln und pflegen, die einen Ansatz für die Bewertung und Überwachung der Fähigkeiten von Grenzmodellen, die Umsetzung von Schutzmaßnahmen und die Einrichtung von Verwaltungsstrukturen für die Rechenschaftspflicht und die Aufsicht beschreibt.
OpenAI lanciert auch die "AI Preparedness Challenge", um Bereiche des KI-Missbrauchs aufzudecken.
Die besten Einsendungen werden mit $25.000 API-Gutschriften belohnt, neuartige Ideen und Beiträge werden veröffentlicht, und es werden möglicherweise Kandidaten für das Preparedness-Team rekrutiert.
