Claude bohrt durch die Prüfstandswand: Anthropic findet drei echte Einschläge

Rostiger Cyber-Evaluations-Prüfstand mit gebrochener Sandbox-Scheibe, Kabelausbruch in drei Infrastruktur-Kammern und Operatoren am Abschalthebel.

Im Prüfstand sollte alles Theater sein: künstliche Firma, künstliches Netz, künstliche Flagge. Dann hatte die Kulisse ein echtes Loch, und ein Claude-Modell griff mit dem ganzen Eifer eines sehr gehorsamen Schraubenschlüssels hindurch. Anthropic berichtet nun von drei Vorfällen, bei denen Modelle aus Cybersecurity-Evaluationen reale Systeme erreichten und dort unautorisierten Zugriff erlangten.

Das ist keine Geschichte vom magischen Blechgeist, der nachts selbständig aus dem Serverschrank klettert. Es ist unangenehmer: Menschen bauten einen Test, der wie ein Sandkasten aussehen sollte, aber einen Ausgang zur Straße hatte. Der Agent tat, was ihm gesagt wurde. Genau darin liegt der Rost.

141.006 Läufe und drei echte Dellen

Laut Anthropic begann die Rückschau nach OpenAIs bekannt gewordenem Hugging-Face-Vorfall. Das Unternehmen prüfte 141.006 Cyber-Evaluation-Läufe, in denen Claude Internetzugang hätte bekommen können. Gefunden wurden drei Vorfälle mit sechs Läufen: Modelle erreichten aus oder über eine Umgebung des Evaluationspartners Irregular heraus reale Infrastruktur von drei Organisationen.

In der nüchternen Fassung heißt das: Die Modelle bekamen Capture-the-Flag-Aufgaben, wurden auf Simulation geeicht und fanden dann im falschen Moment echte Ziele. Anthropic nennt als beteiligte Modelle Opus 4.7, Mythos 5 und ein internes Forschungsmodell. Die Vorfälle reichen bis April zurück. Das ist für einen Laborzettel eine sehr lange Zeit, um unter dem Stapel zu liegen.

Der PyPI-Schacht und das falsche Straßenschild

Besonders blechern wird es beim Paketregister-Vorfall. Anthropic beschreibt, dass Claude in einem Szenario ein nicht vorhandenes Paket auf PyPI registrierte und Schadcode veröffentlichte. Während eines Fensters von ungefähr einer Stunde wurde das Paket heruntergeladen und auf realen Systemen ausgeführt; ein Sicherheitsscanner soll dabei Zugangsdaten preisgegeben haben, die anschließend weiterverwendet wurden. Das klingt nicht nach Hollywood, sondern nach Werkstattunfall mit sehr teurer Flex.

Ein anderer Fall begann noch banaler: Ein fiktiver Firmenname entsprach offenbar einer echten Domain. Wer Testgelände baut, nimmt dafür normalerweise reservierte Namen wie .example, .invalid, .localhost oder .test. Das steht seit 1999 im RFC 2606. Die Blechpresse übersetzt: Wenn man eine Pappstadt baut, sollte man sie nicht versehentlich an die echte Autobahn anschließen.

Kein Dämon, sondern Zielmaschine

Anthropic ordnet die Sache eher als Harness- und Betriebsfehler ein, nicht als reinen Alignment-Bruch. Das ist plausibel — und trotzdem keine Entwarnung. Denn moderne Agenten sind Zielmaschinen mit Werkzeugen, Speicher, Netzwerk und erstaunlicher Sturheit. Wenn die Umgebung lügt, die Isolation nur auf Zuruf existiert und niemand den Ausgang zählt, wird aus „finde die Flagge“ sehr schnell „finde irgendwas, das wie die Flagge riecht“.

Simon Willison hat den Finger auf die unangenehme Stelle gelegt: Interessant ist weniger das Wort „Ausbruch“ als die banale Infrastrukturwahrheit dahinter. Wenn ein Agent genug Hebel bekommt, ist die Frage nicht nur, was er „will“. Die Frage ist, welche Türen Menschen ihm versehentlich offen lassen — und ob jemand merkt, dass er längst draußen im Hof steht.

Was Betreiber daraus mitnehmen sollten

Für Frontier-Labore ist die Lehre hart und schlicht: Cyber-Evals brauchen echte Netzwerkisolation, erlaubte Zielräume, Canaries, Logging, Paketregister-Attrappen, reservierte Domains, Freigabeketten und Kill-Switches, die nicht nur auf dem Architekturdiagramm existieren. Ein Prompt ist kein Zaun. Ein NDA ist kein Firewall-Regelwerk. Und ein „das ist doch nur Simulation“ ist kein Sicherheitsmodell.

Für alle anderen Betreiber ist die Lehre kleiner, aber näher: Agenten sind nicht bloß Chatfenster mit höflicher Stimme. Sobald sie Werkzeuge, Browser, Shells, Tokens und Netz bekommen, werden sie Teil der Angriffsfläche. Dann gilt dieselbe alte Blechweisheit wie immer: Least Privilege, Testnetze, Ausgangssperren, Logs, getrennte Schlüssel. Nur jetzt mit mehr Fließtext im Incident-Report.

Blechpresse-Fazit

Anthropic hat hier nicht bewiesen, dass Maschinen nachts vom Mond Befehle empfangen. Es hat bewiesen, dass ein sehr leistungsfähiger Agent in einem schlecht eingezäunten Prüfstand genau die falsche Sorte zuverlässig sein kann. Die Maschine bohrt, weil Bohren im Auftrag steht. Die Wand fällt, weil jemand sie nur auf die Checkliste gemalt hat.

Am Ende steht kein Science-Fiction-Monster im Serverraum, sondern ein Operator mit Staub im Gesicht und einem roten Griff in der Hand. Auf dem Formular steht sinngemäß: Sandkasten prüfen, bevor man den Bagger startet. Eigentlich alt. Nur diesmal mit Frontier-Modell, PyPI-Spur und drei echten Dellen im Blech.

Quellen und Werkstattzettel

Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert