DailyAI Briefing: Klage soll neue KI-Modelle stoppen, plus 4 weitere Themen

Willkommen zum DailyAI Briefing, den fünf wichtigsten KI-News des Tages. Vier gemeinnützige Organisationen haben ein Gericht in San Francisco angerufen, um fünf der größten KI-Unternehmen die Entwicklung neuer Modelle zu untersagen. Forscher zeigten auf, wie ein gefälschter Fehlerbericht ein Programmiertool erreichen konnte, das monatlich fast 97 Millionen Mal heruntergeladen wird. Japan legte Strafen für die leistungsstärkste KI vor. Vier KI-Unternehmen stimmten unabhängigen Tests zu, die die Auswirkungen ihrer Tools auf Kinder untersuchen sollen. United Airlines untersagte KI-Assistenten die Flugbuchung.

Lasst uns loslegen.

Eine Klage fordert ein Gericht auf, neue KI-Modelle zu stoppen

Fünf Unternehmen, ein Richter. Eine am Donnerstag beim Superior Court in San Francisco eingereichte Klage fordert einen Richter auf, Anthropic, Google, Meta, OpenAI und SpaceXSI die Entwicklung und Veröffentlichung neuer KI-Modelle zu untersagen. Der Fall wurde zuerst von einer Nachrichtenagentur gemeldet. Hinter dieser Initiative stehen der Irreplaceable Education Fund, Public Citizen, die Heat Initiative und die Alliance for Secure AI.

NEUE KLAGE: Wir ergreifen rechtliche Schritte, um die Entwicklung fortschrittlicher KI-Systeme einzufrieren, bei Google, Anthropic, SpaceXSI, OpenAI & Meta. KI-Unternehmen bringen trotz erheblicher Risiken weiterhin neue Systeme auf den Markt, die sie nicht kontrollieren können. Das Gericht muss eingreifen, bevor es zu einer Katastrophe kommt.

— Public Citizen (@Public_Citizen) 12. November 2026

Die Klage stützt sich auf die Warnungen der Unternehmen selbst sowie auf aktuelle Fälle, in denen KI-Systeme in Computernetzwerke eingedrungen sind. Laut Associated Press gelangte ChatGPT im Juli eigenständig in die Systeme eines anderen KI-Unternehmens. „Keine andere Branche darf die Entwicklung unsicherer Produkte – geschweige denn solcher, die uns alle töten könnten – als unvermeidlich hinnehmen“, heißt es in der Klage.

Im September wurde in einer separaten Bundesklage fast das Gegenteil behauptet, nämlich dass einige der gleichen Unternehmen zugestimmt hätten, den Fortschritt im Bereich der KI zu verlangsamen. Wir sind der Meinung, dass Gesetzgeber und nicht Richter entscheiden sollten, wie schnell KI entwickelt wird. Das nützlichste Ergebnis dieses Falls könnten Beweismittel sein. Sollte das Verfahren die ersten Phasen überstehen, müssen die Unternehmen möglicherweise interne Sicherheitsberichte herausgeben.

Ein gefälschter Fehlerbericht gefährdete ein beliebtes Programmierwerkzeug

96,8 Millionen. So oft wurde die Kommandozeilenversion von Codex, dem Programmierassistenten von OpenAI, in den 30 Tagen bis zum 10. November aus der npm-Softwarebibliothek heruntergeladen. Die Sicherheitsforscher veröffentlichten am 11. November jeden einzelnen Schritt ihres Angriffs. Ein KI-Helfer, der neue Fehlerberichte auf der öffentlichen GitHub-Seite des Projekts kennzeichnete, folgte Anweisungen, die in einem gefälschten Bericht versteckt waren.

Wir haben die neueste Version von OpenAI Codex kompromittiert. Wir haben Prompts eingeschleust. Wir sind aus einer Sandbox ausgebrochen. Wir haben Geheimnisse abgegriffen… Und am Ende die Kontrolle darüber erlangt, was im offiziellen openai/codex npm-Paket veröffentlicht werden kann.

— Depi (@depi_) 11. November 2026

Die Forscher geben an, anschließend aus dem geschlossenen Arbeitsbereich ausgebrochen zu sein, geheime Schlüssel ausgelesen und eine Falle für den Schlüssel zum Veröffentlichen neuer Versionen gestellt zu haben. OpenAI behob das Problem und zahlte eine erste Belohnung von 1.000 US-Dollar. Am frühen Morgen des 12. November wurde der Beschriftungsassistent durch ein kurzes Skript ersetzt, das keine Werkzeuge verwenden kann.

Depi führte den vollständigen Angriff jedoch auf seiner eigenen Testkopie durch, während der eigentliche Helfer seit Mai einen strengeren Nur-Lese-Modus nutzte. Depi meldet keine schädlichen Updates, die Benutzer erreicht haben. Unser Bericht erläutert jeden einzelnen Schritt des Angriffs. Jedes KI-Tool, das Texte von Fremden liest, sollte als mögliches Einfallstor betrachtet werden.

Japan plant Strafen für die mächtigste KI

Null. Das ist die Anzahl der Strafen im KI-Gesetz, das Japan im Mai 2025 verabschiedet hat. Regierungsberater wollen Strafen für die leistungsstärksten Systeme. Die Dokumente des Treffens vom 11. November sind online veröffentlicht.

Wollen Sie, dass KI Ihnen wöchentlich Stunden spart? Unser kostenloses Handbuch zeigt Ihnen, wie.Holen Sie sich den kostenlosen Leitfaden →

Der Plan umfasst vier Schritte. Unternehmen müssen Sicherheitsmaßnahmen ergreifen und über Risiken berichten. Die Regierung kann formell Änderungen empfehlen, und falls dies nicht zum Erfolg führt, kann sie eine verbindliche Anordnung mit entsprechenden Strafen erlassen. Die Regeln würden nur für KI ab einem bestimmten Leistungsniveau und nur für spezifische, schwerwiegende Risiken wie Cyberangriffe und Angriffe mit chemischen, biologischen oder nuklearen Waffen gelten. Die Nachrichtenagentur Kyodo berichtet, dass ein Entwurf bis Ende des Jahres erwartet wird.

Unser Artikel beschreibt die vier Schritte im Detail. Bislang hat sich Japan auf freiwillige Leitlinien gestützt.

Vier KI-Unternehmen stimmen unabhängigen Kindersicherheitstests zu

Acht Millionen Euro. So viel wollen die Befürworter einer neuen Charta nach eigenen Angaben in die Forschung zu KI und kindlicher Entwicklung investieren. OpenAI, Anthropic, Microsoft und Black Forest Labs haben die Charta auf dem Pariser Friedensforum unterstützt. Der vollständige Text der Charta wurde am 10. November veröffentlicht.

Die zehn Prinzipien umfassen Beschränkungen bei der Datenerhebung über Kinder und Altersprüfungen, die nicht allein auf einem eingegebenen Geburtsdatum beruhen. Unabhängige Experten leiten die Forschung, und ein Unternehmen, das sie finanziert, kann die Ergebnisse weder blockieren noch verzögern. OpenAI gibt an, 2 Millionen US-Dollar bereitzustellen. Die Charta ist freiwillig, und Google, Meta und xAI gehören nicht zu den Unternehmen, die sie unterstützen.

Der französische Präsident Emmanuel Macron sagte, dass keine KI Kinder erreichen sollte, bevor sie getestet, evaluiert und zugelassen wurde, doch die Charta sieht kein Zulassungsverfahren vor. Wir haben uns angeschaut, was die Unternehmen versprochen haben. Veröffentlichte Testergebnisse, ob gut oder schlecht, würden Eltern und Schulen mehr helfen als jedes Versprechen.

United Airlines verbietet KI-Assistenten das Buchen von Flügen

Jeder siebte Erwachsene. Das ergab eine Umfrage der Universität Oxford in neun Ländern. So hoch war der Anteil derjenigen, die angaben, in der vergangenen Woche einen KI-Assistenten für eine konkrete Aufgabe genutzt zu haben. Seit dem 11. November zählt die Buchung eines Fluges mit United Airlines nicht mehr zu diesen Aufgaben. Die Fluggesellschaft gab die neuen Regeln am Mittwoch bekannt.

KI-Assistenten anderer Unternehmen dürfen auf der Website oder in der App der Fluggesellschaft keine Flüge mehr suchen, buchen, Buchungen ändern oder Vielfliegermeilen einlösen. Die Regelungen gelten auch für Reisebüros. Die Fluggesellschaft begründet dies mit dem Risiko für persönliche Daten und unerwünschte Käufe sowie mit einer US-Vorschrift, nach der eine Person bestätigen muss, dass sich in ihrem Gepäck keine verbotenen Gegenstände befinden. „Ehrlich gesagt möchte ich keinen weiteren Zwischenhändler schaffen“, sagte CEO Scott Kirby am 10. November bei einer Veranstaltung.

Unser Artikel erklärt, was sich für Reisende ändert. Ein KI-Assistent kann Ihnen bei der Flugauswahl helfen, aber das Ticket müssen Sie trotzdem selbst kaufen.

Zum Schluss

Am Donnerstag ging es darum, wer die Grenzen der KI setzt. Gemeinnützige Organisationen zogen vor Gericht, Japan wandte sich an das Gesetz, vier Unternehmen unterzeichneten eine freiwillige Charta und eine Fluggesellschaft blockierte einfach KI-Assistenten. Und der Angriff auf das Programmierwerkzeug zeigte, dass die größte Schwachstelle ein einzelner Fehlerbericht sein kann.

Bis morgen.