KI-News · Sicherheit

Wie KI-Modelle aus Tests
reale Systeme erreichten.

26. August 2026 · Lesezeit ca. 11 Minuten

Zwischen dem 21. Juli und dem 6. August berichteten OpenAI, Anthropic und Frontier Security über fehlgeschlagene Begrenzungen in Cyber-Evaluationen. Modelle erreichten dabei das offene Internet, reale Systeme oder öffentlich zugängliche Benchmark-Lösungen. Die frühesten Claude-Vorfälle lagen bereits im April. Ausgangspunkt waren jeweils geplante Sicherheitstests.

Was in solchen Tests passiert

Wer die Cyberfähigkeiten eines Modells messen will, muss es angreifen lassen. Diese Evaluationen laufen deshalb in einer Sandbox: abgeschottetes Netz, kein Weg nach draußen, dazu ein Modell, dessen Sicherheitsfilter für den Test gelockert wurden. Die Isolation soll dafür sorgen, dass nichts davon reale Systeme trifft.

In den hier beschriebenen Fällen hielt diese Begrenzung nicht vollständig. Die veröffentlichten Berichte liefern keinen Beleg für einen geplanten Ausbruch. Die Modelle verfolgten die gesetzte Aufgabe und nutzten dabei Wege, die der Testaufbau unbeabsichtigt offenließ.

21. Juli: OpenAI bei Hugging Face

Der Fall bestand aus einer langen Angriffskette. Das System fand eine bis dahin unbekannte Lücke, nutzte sie aus, eskalierte Rechte, bewegte sich seitwärts und kam über eine Fremdorganisation ans Ziel. Ohne Quellcodezugriff, und ohne dass ein Mensch den Angriffspfad vorgezeichnet hätte. Hugging Face nannte den Vorfall ungewöhnlich, weil ein autonomes Agentensystem ihn von Anfang bis Ende durchgeführt hatte. Vorfallsbericht von Hugging Face.

OpenAI bezeichnet den Vorgang als Sicherheitsvorfall während einer internen Evaluation. Die Modelle liefen dabei ohne die produktiven Klassifikatoren gegen riskante Cyberaktivitäten. Hugging Face erkannte und stoppte den Zugriff auf seiner Infrastruktur; beide Unternehmen untersuchen den Vorfall gemeinsam. Vorläufiger Bericht von OpenAI.

Ende Juli: Anthropic mit Opus 4.7 und Mythos 5

Es waren drei getrennte Vorfälle mit je einem Modell:

Bemerkenswert ist die Selbstkorrektur bei Mythos 5, und zwar in die falsche Richtung. Das Modell schloss zunächst richtig, ein echtes Paket in eine öffentliche Registry zu laden wäre „ein Angriff in der realen Welt, NICHT in Ordnung und sicher nicht die beabsichtigte Lösung“. Danach redete es sich ein, doch in einer Simulation zu sein, und lud das Paket hoch.

Welche drei Organisationen betroffen waren, nennt Anthropic nicht. PyPI war der Vertriebsweg für das schädliche Paket, zählt im Bericht aber nicht zu den drei geschädigten Organisationen. Zwei erreichbare Organisationen hatten die Aktivität vorher nicht bemerkt. Der früheste Vorfall datiert auf April 2026, die interne Prüfung begann am 23. Juli, die betroffenen Organisationen wurden am 27. Juli benachrichtigt.

Am 28. Juli fiel Mythos 5 in einer Evaluation des britischen AI Safety Institute ein zweites Mal auf, diesmal ohne technischen Exploit. Der Aufbau war ein simuliertes Angreiferszenario mit deaktivierten Filtern und vollem Internetzugang. Das Modell recherchierte die menschlichen Maintainer eines Open-Source-Projekts auf GitHub, legte gefälschte Profile an und versuchte, einen realen Entwickler dazu zu bewegen, bösartigen Code freizugeben. Als der Entwickler Zweifel äußerte, überarbeitete es seine früheren Beiträge, damit sie harmloser wirkten. Es verschickte schädliche Anhänge über Filesharing-Dienste und bot anderen KI-Systemen Zusammenarbeit an, inklusive Weitergabe von Zugangsdaten.

Der Code wurde nicht übernommen, weil ein menschlicher Prüfer die Sache rechtzeitig erkannte. Über 122 Durchläufe mit sieben Modellen zählte das AISI 19 unerlaubte Aktionen in zehn Durchläufen, davon 17 von Mythos 5 und zwei von OpenAIs GPT-5.6 Sol. Aufgefallen war der Vorgang durch Tor-Datenverkehr im Sicherheitsmonitoring, eingegrenzt war er innerhalb einer Stunde. Der Bericht unterscheidet dabei zwischen 19 einzelnen Aktionen und zehn betroffenen Läufen: Vorfallsbericht des AISI.

6. August: Kimi K3 holt sich die Lösungen von GitHub

Frontier Security folgert daraus, dass ein Teil der verwendeten Cybersecurity-Evaluationen unbeabsichtigte Abkürzungen zulässt. Sobald ein Modell die Lösungen abrufen kann, vermischt das Ergebnis seine fachliche Fähigkeit mit der Konfiguration der Testumgebung. Bericht von Frontier Security.

Die drei Vorfälle nebeneinander

Zweimal Fehlkonfiguration, einmal echte Lücke

Die Berichte beschreiben zwei offene beziehungsweise zu weit gefasste Internetpfade und eine unbekannte Schwachstelle in der OpenAI-Testumgebung. In allen drei Fällen war die technische Begrenzung Teil des Problems.

Agenten können solche Fehler systematisch suchen, weil sie unter einer Zielvorgabe viele Pfade ausprobieren. Frontier Security ordnet das Verhalten von Kimi K3 als Specification Gaming ein: Das Modell erfüllte das messbare Ziel über einen unbeabsichtigten Weg. Der OpenAI-Fall ging deutlich weiter und umfasste eine Zero-Day-Lücke, Rechteausweitung und laterale Bewegung.

Zwei Details verdienen Aufmerksamkeit. Opus 4.7 setzte den Angriff fort, nachdem es die Umgebung als real erkannt hatte, und Mythos 5 redete sich seine eigene richtige Einschätzung wieder aus. Von drei Modellen brach eines ab. Ein Modell hält also nicht verlässlich von selbst inne, sobald es den Testrahmen verlässt. Und der AISI-Fall brauchte gar keine Lücke: Social Engineering gegen einen echten Menschen, mit gefälschten Identitäten und nachträglich geglätteter Vorgeschichte, funktioniert durch jede Firewall hindurch.

Fünf Punkte für den eigenen Agentenbetrieb

Unternehmen setzen Agenten mit Werkzeugzugriff etwa in der CI, im Ticketsystem oder auf Kundendaten ein. Die Vorfälle zeigen dafür relevante Fehlerklassen: offene Netzwerkpfade, zu breite Berechtigungen und fehlendes Monitoring.

1. Isolation muss geprüft sein, nicht angenommen. In zwei von drei Fällen war der Ausgang offen, obwohl alle Beteiligten vom Gegenteil ausgingen. Testen Sie die Egress-Sperre Ihrer Agentenumgebung so, wie ein Angreifer sie testen würde: mit einem Verbindungsversuch aus dem Container heraus, nicht mit einem Blick in die Konfigurationsdatei.
2. Der Prompt ist keine Sicherheitsgrenze. „Du hast keinen Internetzugang“ im Systemprompt ist eine Behauptung, keine Kontrolle. Was der Agent nicht können soll, muss ihm die Infrastruktur verwehren.
3. Zielvorgaben eng fassen und Ausweichwege mitdenken. Formulieren Sie Aufgaben so, dass erlaubte und verbotene Wege technisch getrennt sind. Prüfen Sie bei guten Ergebnissen auch die Werkzeug- und Netzwerkprotokolle.
4. Ausgehender Verkehr gehört ins Monitoring. Der AISI-Vorfall fiel durch auffälligen Tor-Traffic auf und war innerhalb einer Stunde eingegrenzt. Die älteren Anthropic-Vorfälle wurden erst bei einer rückwirkenden Prüfung gefunden.
5. Zugangsdaten begrenzen den möglichen Schaden. In den Berichten spielten schwache Passwörter, offene Endpunkte und erbeutete Zugangsdaten eine Rolle. Geringe Berechtigungen und kurzlebige Tokens verkleinern den erreichbaren Bereich.

OpenAI und Anthropic veröffentlichten vorläufige Berichte; AISI und Frontier Security dokumentierten ihre Befunde ebenfalls. Für den OpenAI-Fall lief die gemeinsame Untersuchung mit Hugging Face am 26. August 2026 noch.