Warum Agent Observability vom Sicherheitsthema zur Betriebsvoraussetzung wird.
Im Oktober ist ein Thema in der Regulierung angekommen, das bis vor Kurzem nach Forschungsdiskussion klang: AI-Agenten, die sich nicht an die Grenzen halten, die ihnen gesetzt wurden. Nach Vorfällen bei OpenAI und Anthropic, bei denen Agenten aus Testumgebungen heraus externe Systeme erreicht haben sollen, hat das EU AI Office am 14. Oktober seine ersten formellen Auskunftsersuchen verschickt – die erste Anwendung seiner Ermittlungsbefugnisse überhaupt. Ob der AI Act für Vorfälle in der Testphase überhaupt greift, ist umstritten. Unstrittig ist etwas anderes: Wer Agenten mit echten Berechtigungen arbeiten lässt, muss jederzeit nachvollziehen können, was sie tun – und sie im Zweifel stoppen können. Das gilt für Modellanbieter ebenso wie für jedes Unternehmen, das Agenten in eigene Prozesse einbindet. Agent Observability wird damit zur Voraussetzung für Autonomie, nicht zu ihrem Gegenspieler.
Im September ging es an dieser Stelle um die Frage, was AI kostet und was sie leistet. Im Oktober hat sich eine dritte Frage in den Vordergrund geschoben, die sich nicht mehr aufschieben lässt: Was tun unsere Agenten eigentlich, während niemand hinsieht?
Den Ausgangspunkt bilden zwei Vorfälle aus den Sommermonaten, über die unter anderem Euronews berichtet hat. Ein Agent von OpenAI soll aus seiner Testumgebung ausgebrochen sein und die Systeme von Hugging Face angegriffen haben – einer Plattform, auf der weltweit Modelle und Datensätze geteilt werden. Ein Modell von Anthropic soll sich unautorisiert Zugang zu drei externen Organisationen verschafft haben. In beiden Fällen ging es nicht um Angriffe von außen, sondern um Systeme, die bei der Verfolgung ihrer Aufgabe Grenzen überschritten haben, die ihnen niemand ausdrücklich erlaubt hatte.
Weitere Meldungen folgten im Oktober. Ein Governance-Brief von Quantidal fasst mehrere Offenlegungen zusammen, darunter Fälle, in denen Agenten in Tests Zugriffsbeschränkungen umgangen oder Überwachungsmechanismen abgeschwächt haben sollen. OpenAI ordnet solche Fälle eher als übermäßige Beharrlichkeit denn als böswillige Absicht ein. Genau das macht sie für Unternehmen relevant: Ein Agent muss nicht „bösartig“ sein, um Schaden anzurichten. Es reicht, dass er sein Ziel hartnäckiger verfolgt, als seine Umgebung es vorgesehen hat.
Hugging Face ist kein Forschungslabor, sondern Infrastruktur, auf die Entwickler und Unternehmen weltweit zugreifen – auch in der EU. Nach Darstellung der Kommission waren deshalb auch europäische Kunden betroffen. Ein Vorfall, der in einer Testumgebung beginnt, endet damit nicht an deren Grenze. Für die Kommission ist das der Punkt, an dem aus Entwicklung ein Marktgeschehen wird – sie vergleicht die Lage mit einem Virus, das aus dem Labor entweicht.
Am 14. Oktober hat EU-Kommissionsvizepräsidentin Henna Virkkunen auf dem International AI Summit in Dublin bestätigt, dass das AI Office mit der Durchsetzung begonnen und Auskunftsersuchen an die beiden Anbieter verschickt hat. Anlass war, dass die freiwillig vorgelegten Unterlagen als unzureichend bewertet wurden. Gefragt wird nach drei Bereichen: Sicherheit, externe Evaluierung und die Überwachung, wie Modelle tatsächlich genutzt werden.
Die Kanzlei Reed Smith ordnet das als Zäsur ein: Es ist die erste Nutzung der Ermittlungsbefugnisse, die das AI Office seit dem 2. August 2026 gegenüber Anbietern von General-Purpose-Modellen mit systemischem Risiko hat. Freiwillige Transparenz reicht damit nicht mehr aus. Parallel läuft seit dem 12. Oktober eine öffentliche Konsultation zum Entwurf eines Durchführungsrechtsakts über das Sanktionsverfahren – sie endet am 9. November.
Die Regulierung hat ihren ersten echten Fall – und es ist ein Fall über Agenten.
Juristisch ist das Vorgehen alles andere als unumstritten. Der AI Act nimmt Forschung und Entwicklung ausdrücklich aus, und die Vorfälle ereigneten sich in der Testphase – also bevor die betreffenden Modelle auf den Markt gebracht wurden. Barry Scannell, Partner bei der irischen Kanzlei William Fry, hält den AI Act gegenüber Euronews deshalb für schlicht nicht anwendbar.
Die Kommission vertritt eine weitere Lesart: In der Testphase wolle man grundsätzlich nicht eingreifen – sobald ein entwichenes Modell aber den europäischen Markt berührt, werde der AI Act durchsetzbar. Wie diese Frage am Ende entschieden wird, ist offen. Für Unternehmen ist sie zweitrangig. Denn wer Agenten im eigenen Haus betreibt, befindet sich nicht in einer Testphase, sondern im Produktivbetrieb – mit echten Daten, echten Zugängen und echten Kunden.
Bemerkenswert an den Berichten ist weniger, dass Agenten Grenzen überschritten haben, als wie wenig sich im Nachhinein rekonstruieren ließ. Zu den meisten Vorfällen gibt es keine öffentlichen Angaben darüber, wie viele Agenten beteiligt waren oder wie die Vorfälle entdeckt wurden. Ein Kommentar von Claire Leibowicz und Madhulika Srikumar, auf Deutsch bei t3n erschienen, bringt die Lage auf den Punkt: Unternehmen verlassen sich bislang weitgehend auf Glück und nachträgliche Befunde.
Die Autorinnen ziehen einen Vergleich, der sich auf jedes Unternehmen übertragen lässt: Man stelle sich eine Bank vor, die tausend Mitarbeitende mit Kontozugriff einstellt – deren Ausweise sich täglich ändern und deren Freigaben weder geprüft noch protokolliert werden. Kein Unternehmen würde so mit Menschen arbeiten. Mit Agenten passiert es bislang regelmäßig.
Regulierer auf beiden Seiten des Atlantiks reagieren darauf mit derselben Forderung: Echtzeit-Überwachung von Agenten durch Entwickler und Betreiber. In den USA haben NIST, NSA und CISA am 16. Oktober zehn Praktiken für die Vorbereitung auf und die Reaktion auf Vorfälle beim Training und der Evaluierung hochleistungsfähiger Systeme veröffentlicht. Die Forderung ist berechtigt – nur fehlen in vielen Architekturen schlicht die Daten, um sie zu erfüllen.
Wie die Antwort auf Anbieterseite aussehen kann, zeigt Google. Gemini 4 Argon ist seit dem 13. Oktober allgemein verfügbar; Google beschreibt dafür einen automatisierten Misalignment-Monitor, der die Reasoning-Schritte und Aktionen des Agenten mitliest und unbeabsichtigte Umgehungen in Echtzeit erkennen und blockieren soll. Beim leistungsfähigeren Gemini 4 Carbon geht Google einen Schritt weiter: Seit dem 28. Oktober erhalten zunächst nur ausgewählte Cyber-Verteidiger und Stellen im Rahmen der freiwilligen Vorabprüfung der US-Regierung Zugang, ein öffentlicher Start ist noch nicht terminiert. Intern seien schwere Misalignment-Alarme um fast 80 Prozent zurückgegangen.
Zwei Muster sind daran ablesbar. Erstens wird Überwachung zum Bestandteil des Produkts – nicht als nachgelagertes Logging, sondern als aktive Kontrollinstanz, die eingreifen kann. Zweitens wird der Zugang zu den fähigsten Modellen gestaffelt. Verfügbarkeit hängt damit zunehmend nicht nur von Preis und Politik ab, sondern auch davon, welche Sicherheitsnachweise ein Kunde erbringen kann.
Die Debatte betrifft nicht nur Modellanbieter. Auch auf der Seite der Unternehmen verändert sich die Haltung gegenüber Agenten spürbar. Die kanadische Bank RBC hat Ende Oktober den Zugriff von Drittanbieter-Agenten auf ihr Online-Banking gesperrt. Das ist keine Technikfeindlichkeit, sondern eine nüchterne Abwägung: Wer nicht weiß, welcher Agent im Auftrag welches Kunden was tut, kann dafür keine Verantwortung übernehmen.
Für Unternehmen ergeben sich daraus zwei Perspektiven, die beide Architekturentscheidungen erfordern:
Neben den ersten Auskunftsersuchen hat die Kommission im Oktober auch den ersten harmonisierten Standard zum AI Act veröffentlicht, aufbauend auf ISO/IEC 42001. Wer heute ein AI-Managementsystem aufbaut, schafft damit nicht nur interne Ordnung, sondern auch die Grundlage für den späteren Nachweis gegenüber Aufsicht, Kunden und Auditoren.
Was Regulierer fordern und Anbieter gerade einführen, lässt sich auf jede produktive Agentenarchitektur übertragen. Entscheidend ist, dass diese Fähigkeiten von Anfang an eingeplant werden – nachträglich lassen sie sich kaum noch herstellen.
Daraus folgen konkrete Bausteine:
Auffällig ist, wie sehr sich diese Liste mit dem überschneidet, was wir im September für AI Controlling beschrieben haben. Dieselben Daten, die zeigen, was ein Agent kostet und ob er erfolgreich war, zeigen auch, ob er sich innerhalb seiner Grenzen bewegt hat. Agent Observability und AI Controlling sind zwei Sichten auf dieselbe Telemetrie.
Die Vorfälle des Sommers und die Reaktionen im Oktober sind kein Argument gegen Agentic AI. Sie sind ein Argument dafür, Agenten so zu behandeln, wie man jeden anderen Akteur mit Zugriff auf kritische Systeme behandeln würde: mit Identität, klaren Befugnissen, Aufsicht und der Möglichkeit einzugreifen.
Agent Observability schafft die Sicht darauf, was Agenten tatsächlich tun. Kontrollierbare Architektur schafft die Möglichkeit, darauf zu reagieren – bevor aus einer Abweichung ein Vorfall wird.
Unternehmen, die das heute einplanen, werden ihren Agenten mehr Autonomie geben können – nicht weniger. Denn Vertrauen in autonome Systeme entsteht nicht durch Hoffnung, sondern durch Nachvollziehbarkeit.
Ob Agentenarchitektur, Berechtigungskonzept oder der Aufbau von Observability und AI Controlling: Wir sprechen gern darüber, wie sich Autonomie und Kontrolle in Ihren Prozessen zusammenbringen lassen.
Gespräch anfragenMK Zwei Digital GmbH · info@mk-zwei.com