KI-Agenten rechtssicher einsetzen: DSGVO und EU AI Act

Ein KI-Agent liest Daten, bewertet Vorgänge und löst Aktionen in Ihren Systemen aus. Damit berührt er zwei Regelwerke gleichzeitig: die DSGVO, sobald personenbezogene Daten im Spiel sind, und den EU AI Act, der den Einsatz von KI-Systemen nach ihrem Risiko regelt. Dieser Leitfaden zeigt Betreibern, welche Pflichten wann greifen und wie Sie ein Agentenprojekt vor dem Go-live sauber prüfen.

Zwei Regelwerke, ein Agent

Die DSGVO fragt, ob und wie personenbezogene Daten verarbeitet werden dürfen. Der AI Act fragt, welche Anforderungen an ein KI-System selbst und an seinen Einsatz zu stellen sind. Für einen KI-Agenten gelten beide Fragen zugleich, und der AI Act lässt die DSGVO ausdrücklich unberührt. Daraus folgt: Auch ein Agent, der nach dem AI Act kaum Pflichten auslöst, braucht für jede Verarbeitung personenbezogener Daten eine Rechtsgrundlage, ein Löschkonzept und angemessene Sicherheitsmaßnahmen.

Die datenschutzrechtlichen Grundlagen für den Agenteneinsatz haben wir bereits im Beitrag KI-Agenten und Datenschutz nach DSGVO zusammengefasst. Dieser Leitfaden geht weiter und verbindet beide Regelwerke zu einem Prüfweg.

Rollen klären: Anbieter, Betreiber, Verantwortlicher

Rollen nach dem AI Act

Der AI Act unterscheidet vor allem zwischen Anbietern und Betreibern. Anbieter entwickeln ein KI-System oder lassen es entwickeln und bringen es unter eigenem Namen in Verkehr oder nehmen es in Betrieb. Betreiber setzen ein KI-System in eigener Verantwortung beruflich ein. Ein Unternehmen, das einen Agenten für seinen Kundenservice nutzt, ist typischerweise Betreiber. Die Anbieter der zugrunde liegenden Basismodelle haben eigene Pflichten, die seit dem 2. August 2025 gelten und hier nicht im Mittelpunkt stehen.

Die Grenze ist jedoch nicht starr. Wer einen Agenten selbst baut und unter eigenem Namen in Betrieb nimmt, kann für dieses KI-System Anbieter sein, auch wenn das Sprachmodell von einem Dritten stammt. Nach Art. 25 AI Act wird ein Betreiber außerdem zum Anbieter eines Hochrisiko-Systems, wenn er es wesentlich verändert, seinen Namen daraufsetzt oder ein bisher nicht hochriskantes System so umwidmet, dass es hochriskant wird. Halten Sie deshalb schriftlich fest, wer den Agenten entwickelt, wer ihn konfiguriert und für welchen Zweck er bestimmt ist.

Rollen nach der DSGVO

Datenschutzrechtlich ist Ihr Unternehmen in aller Regel Verantwortlicher, weil es über Zwecke und Mittel der Verarbeitung entscheidet. Modellanbieter, Cloud-Plattformen und Integrationsdienstleister handeln meist als Auftragsverarbeiter. Dafür brauchen Sie einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO, der unter anderem die Verarbeitung nur auf dokumentierte Weisung, Vertraulichkeit, Sicherheitsmaßnahmen, Regeln für Unterauftragnehmer sowie Löschung oder Rückgabe der Daten nach Vertragsende festlegt. Prüfen Sie besonders, ob der Anbieter Ihre Eingaben für eigene Zwecke wie das Training seiner Modelle nutzen darf. Ist das der Fall, passt die Rolle des reinen Auftragsverarbeiters nicht mehr.

Wann ein KI-Agent hochriskant wird

Der AI Act stuft KI-Systeme nach ihrem Risiko ein. Bestimmte Praktiken sind verboten, etwa manipulative Techniken oder Emotionserkennung am Arbeitsplatz, von eng gefassten Ausnahmen abgesehen. Hochrisiko-Systeme unterliegen strengen Anforderungen. Für Systeme mit begrenztem Risiko gelten vor allem Transparenzpflichten, für alle übrigen keine besonderen Pflichten aus dem AI Act.

Entscheidend für die meisten Agentenprojekte ist Anhang III. Er nennt acht Bereiche, darunter Beschäftigung und Personalmanagement sowie den Zugang zu wesentlichen privaten und öffentlichen Diensten. Ein Agent wird zum Beispiel hochriskant, wenn er Bewerbungen analysiert und filtert, Entscheidungen über Arbeitsbedingungen, Beförderung oder Kündigung beeinflusst, Leistung und Verhalten von Beschäftigten überwacht und bewertet, die Kreditwürdigkeit von Privatpersonen prüft oder Risiken und Preise in der Lebens- und Krankenversicherung bewertet.

Art. 6 Abs. 3 AI Act enthält eine Ausnahme: Ein System aus diesen Bereichen gilt nicht als hochriskant, wenn es kein erhebliches Risiko birgt, etwa weil es nur eine eng gefasste Verfahrensaufgabe erledigt oder eine vorbereitende Aufgabe übernimmt. Führt das System jedoch ein Profiling natürlicher Personen durch, ist es immer hochriskant. Für Agenten ist diese Ausnahme heikel, weil sie oft mehr tun als ursprünglich geplant. Ein Agent, der Bewerbungen nur zusammenfassen soll, aber eine Reihenfolge vorschlägt, kann die Grenze bereits überschreiten.

Für Hochrisiko-Systeme verlangt Art. 26 AI Act von Betreibern unter anderem den Einsatz gemäß Betriebsanleitung, eine menschliche Aufsicht durch kompetente und befugte Personen, die Überwachung des Betriebs, die Aufbewahrung automatisch erzeugter Protokolle für mindestens sechs Monate und die vorherige Information der Beschäftigtenvertretung und der betroffenen Beschäftigten. Öffentliche Stellen, private Erbringer öffentlicher Dienste und Betreiber von Systemen zur Kreditwürdigkeitsprüfung oder zur Bewertung in der Lebens- und Krankenversicherung müssen zusätzlich eine Grundrechte-Folgenabschätzung nach Art. 27 durchführen.

Zeitplan: Was seit wann gilt

Der AI Act ist am 1. August 2024 in Kraft getreten und gilt gestaffelt. Mit dem Digital Omnibus zur KI, veröffentlicht als Verordnung (EU) 2026/1744 und in Kraft seit dem 27. Juli 2026, hat die EU die Hochrisiko-Fristen verschoben und einzelne Pflichten angepasst. Die Tabelle fasst die für Betreiber relevanten Termine zusammen.

Verstöße gegen die Betreiberpflichten nach Art. 26 oder die Transparenzpflichten nach Art. 50 können nach Art. 99 AI Act mit Geldbußen von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. Für kleine und mittlere Unternehmen gilt der jeweils niedrigere Betrag.

Transparenz und KI-Kompetenz

Transparenzpflichten nach Art. 50

Menschen müssen erfahren, dass sie mit einer KI interagieren, sofern das nicht ohnehin offensichtlich ist. Diese Pflicht richtet sich an den Anbieter, der das System entsprechend gestalten muss. Als Betreiber sollten Sie dennoch sicherstellen, dass Ihr Agent sich im Chat, am Telefon oder in E-Mails als KI zu erkennen gibt, spätestens bei der ersten Interaktion. Haben Sie den Agenten selbst gebaut, sind Sie für diese Gestaltung unmittelbar zuständig. Betreiber selbst müssen nach Art. 50 Abs. 4 offenlegen, wenn sie Deepfakes erzeugen oder KI-generierte Texte veröffentlichen, die die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse informieren sollen. Bei Texten entfällt die Pflicht, wenn ein Mensch sie redaktionell geprüft hat und eine Person die redaktionelle Verantwortung trägt.

KI-Kompetenz nach Art. 4

Seit Februar 2025 müssen Anbieter und Betreiber Maßnahmen zur KI-Kompetenz ihres Personals treffen. Der Omnibus hat die Formulierung abgeschwächt: Statt ein ausreichendes Kompetenzniveau sicherzustellen, müssen Unternehmen nun Maßnahmen ergreifen, die den Aufbau von KI-Kompetenz unterstützen. Die Erwartung bleibt bestehen. Wer mit dem Agenten arbeitet, ihn überwacht oder seine Ergebnisse freigibt, sollte seine Grenzen, typische Fehlerbilder und die eigenen Prüfpflichten kennen. Dokumentieren Sie, welche Schulungen stattgefunden haben. Praxisnahe Formate dafür beschreiben wir unter Workshops und Befähigung.

Datenschutz im Agentenbetrieb

Rechtsgrundlage und Datenminimierung

Jede Verarbeitung braucht eine Rechtsgrundlage nach Art. 6 DSGVO. Für Agenten kommen vor allem die Erfüllung eines Vertrags, berechtigte Interessen mit dokumentierter Abwägung oder eine Einwilligung in Betracht. Für Gesundheitsdaten und andere besondere Kategorien nach Art. 9 gelten strengere Anforderungen. Ebenso wichtig ist die Datenminimierung: Ein Agent sollte nur die Felder lesen, die er für seine Aufgabe braucht. Technisch bedeutet das eng zugeschnittene Schnittstellen, Pseudonymisierung, wo sie möglich ist, und keine pauschalen Lesezugriffe auf ganze Postfächer oder Datenbanken.

Datenschutz-Folgenabschätzung

Eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO ist vorab erforderlich, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten von Personen hat. Das Gesetz nennt ausdrücklich die systematische Bewertung persönlicher Aspekte als Grundlage für Entscheidungen und die umfangreiche Verarbeitung besonderer Datenkategorien. Bei Agenten, die Personen bewerten oder mit sensiblen Daten arbeiten, ist sie deshalb häufig Pflicht. Für Hochrisiko-Systeme lässt sich die Grundrechte-Folgenabschätzung mit der Datenschutz-Folgenabschätzung verbinden.

Automatisierte Entscheidungen nach Art. 22

Betroffene haben das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Der Gerichtshof der EU hat im Urteil SCHUFA Holding (Scoring) vom 7. Dezember 2023, Rechtssache C-634/21, klargestellt, dass bereits ein automatisch ermittelter Wert eine solche Entscheidung sein kann, wenn er für das Ergebnis maßgeblich ist. Für Agenten heißt das: Lehnt der Agent faktisch Anträge ab oder sortiert er Bewerbungen aus, braucht es eine echte menschliche Prüfung, nicht nur eine formale Bestätigung.

Hosting, Drittlandtransfer und Protokollierung

Werden Daten an Anbieter außerhalb des EWR übermittelt, brauchen Sie eine Grundlage nach Kapitel V DSGVO. Für zertifizierte US-Unternehmen gilt derzeit der Angemessenheitsbeschluss zum EU-US Data Privacy Framework. Das Gericht der EU hat ihn 2025 bestätigt, ein Rechtsmittel beim Gerichtshof ist jedoch anhängig. Wer dieses Risiko nicht tragen will, setzt auf Hosting in der EU oder auf Modelle im eigenen Rechenzentrum. Wie das praktisch aussieht, zeigt unsere Seite zu lokaler KI und Datenhoheit.

Protokolle sind für Nachvollziehbarkeit und Fehlersuche unverzichtbar, enthalten aber selbst personenbezogene Daten. Legen Sie fest, was protokolliert wird, wer darauf zugreift und wann gelöscht wird. Für Hochrisiko-Systeme schreibt Art. 26 AI Act eine Aufbewahrung von mindestens sechs Monaten vor, soweit andere Vorschriften nichts anderes bestimmen.

Betriebsrat und Mitbestimmung

Unabhängig von der Risikoklasse nach dem AI Act ist der Betriebsrat früh einzubinden. Nach § 90 Abs. 1 Nr. 3 BetrVG muss der Arbeitgeber ihn rechtzeitig über die Planung von Arbeitsverfahren und Arbeitsabläufen einschließlich des Einsatzes von Künstlicher Intelligenz unterrichten. Kann der Agent Verhalten oder Leistung von Beschäftigten auswerten, greift das Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG. Nach der Rechtsprechung des Bundesarbeitsgerichts genügt dafür bereits die objektive Eignung zur Überwachung, was bei protokollierenden Agenten schnell gegeben ist. Muss der Betriebsrat den Einsatz von KI beurteilen, gilt die Hinzuziehung eines Sachverständigen nach § 80 Abs. 3 BetrVG als erforderlich. Für Hochrisiko-Systeme kommt ab Dezember 2027 die Informationspflicht nach Art. 26 Abs. 7 AI Act hinzu.

In der Praxis bewährt sich eine Rahmenvereinbarung, die Zwecke, Datenarten, Auswertungsverbote und Protokollzugriffe regelt. Neue Agenten lassen sich dann als Anlage ergänzen, statt jedes Mal neu zu verhandeln.

Der Prüfweg vor dem Go-live

Rechtliche Prüfung und technische Umsetzung gehören zusammen. Viele Pflichten lassen sich nur erfüllen, wenn Berechtigungen, Freigaben und Protokolle im Agenten selbst angelegt sind. Der folgende Ablauf hat sich als Reihenfolge bewährt. Ob sich ein Prozess überhaupt für einen Agenten eignet, klären Sie am besten vorher in einer Prozessanalyse mit Business Case.

1. Zweck beschreiben: Welche Aufgabe übernimmt der Agent, welche Daten liest er, welche Aktionen darf er auslösen, und wer ist betroffen?
2. Rollen und Risiko einstufen: Anbieter oder Betreiber, Verantwortlicher oder Auftragsverarbeiter, verbotene Praktik, Hochrisiko nach Anhang III oder nur Transparenzpflichten?
3. Folgenabschätzung und Verträge: Erforderlichkeit einer Datenschutz-Folgenabschätzung prüfen, Auftragsverarbeitungsverträge und Drittlandgrundlagen klären, Verzeichnis der Verarbeitungstätigkeiten ergänzen.
4. Technik und Schulung: Minimale Berechtigungen, Freigabeschritte, Protokolle, Löschfristen und KI-Hinweise umsetzen, Beteiligte schulen, Betriebsrat einbinden.
5. Freigabe und Betrieb: Formale Freigabe dokumentieren und den Agenten im laufenden Betrieb überwachen, damit Abweichungen auffallen, bevor sie zum Rechtsproblem werden.

Der letzte Schritt wird häufig unterschätzt. Modelle, Prompts und angebundene Systeme ändern sich, und mit ihnen das Verhalten des Agenten. Regelmäßige Tests und ein laufendes Monitoring, wie wir sie unter Evaluation und Agent Operations beschreiben, sorgen dafür, dass die dokumentierte Einstufung auch nach Monaten noch zur Realität passt. Welche technischen und organisatorischen Risiken dabei im Blick bleiben sollten, fasst der Ratgeber KI-Agenten: Chancen und Risiken zusammen.

Fazit: Compliance gehört in die Architektur

Für die meisten Agentenprojekte ist die Rechtslage gut handhabbar: DSGVO-Pflichten sauber erfüllen, die Transparenzpflichten umsetzen, Beschäftigte befähigen und den Betriebsrat einbinden. Aufwendiger wird es, sobald ein Agent Menschen bewertet oder über sie mitentscheidet. Dann lohnt es sich, die Hochrisiko-Frage früh zu klären, auch wenn die Pflichten erst ab Dezember 2027 gelten. Behalten Sie zudem die laufenden Verhandlungen über die DSGVO-Änderungen im Digital-Omnibus-Paket im Blick, die bei Redaktionsschluss noch nicht abgeschlossen waren.