ATHENE-Forschende zeigen: KI-Agenten geben private Daten häufig weiter

Für ihre Analyse entwickelten die Forschenden AgentCIBench, einen Benchmark mit ausführbaren Szenarien, die automatisiert und reproduzierbar bewertet werden. Das Team prüfte damit 15 aktuelle Agentensysteme in 117 alltagsnahen Szenarien, etwa bei Statusmeldungen an Vorgesetzte oder beim Teilen freier Termine. Zwölf der 15 Systeme gaben in mehr als der Hälfte der Szenarien private Informationen weiter, beispielsweise medizinische Termine in einer beruflichen Nachricht. Über alle Systeme hinweg lag die durchschnittliche Leakage-Rate, also der Anteil der Szenarien mit unangemessener Weitergabe, bei 67,9 Prozent. Die Ergebnisse zeigen zudem, dass eine hohe Erfolgsquote bei der Aufgabenerfüllung kaum etwas über den sorgsamen Umgang mit privaten Daten aussagt. „Diese Systeme handeln nicht bösartig, sie sind schlicht unaufmerksam. Sie teilen das, was am nächsten liegt, statt das, was angemessen ist. Solange wir nur messen, ob eine Aufgabe erledigt wurde, bleibt dieses Verhalten unsichtbar“, sagt Prof. Dr. Iryna Gurevych. Ergänzt man die Systemanweisungen der Agenten um gezielte Vorgaben zur Datenauswahl, sinkt die Leakage-Rate in den Tests um 33 bis 36 Prozentpunkte, während die Aufgabenerfüllung sogar steigt.

Ihre Ergebnisse stellen die Forschenden Ende Oktober auf der renommierten Conference on Empirical Methods in Natural Language Processing (EMNLP 2026) vor. Das zugehörige Paper „Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?“ ist im Rahmen des ATHENE Projekts Security in Large Language Models (SecLLM) im ATHENE Forschungsbereich SenPAI entstanden. Das Forschungspapier ist öffentlich verfügbar unter https://arxiv.org/pdf/2606.23189.

Die in der For­schungs­arbeit vorgeschlagenen Abwehrmaßnahmen fließen bereits in Folgearbeiten zum Thema Agenten ein, siehe u. a. das Paper "Nothing to See Here”: Unintended Disclosure through Revision Traces of LLM Deliverables". Zudem wurde die Studie im „AI Weekly“-Bericht erwähnt: https://aiweekly.co/alerts/agent-ci-bench-finds-most-frontier-agents-leak-private-data.