Datenschutz & KI: So gelingt der DSGVO-konforme Einsatz von KI-Systemen

Neben der Datenschutz-Grundverordnung (DSGVO) setzt der EU AI Act (KI-Verordnung) einen verbindlichen Rahmen für den Einsatz von KI. Seit dem 2. August 2026 gelten weitere Vorgaben, insbesondere neue Transparenzpflichten für bestimmte KI-Systeme.

Für Unternehmen heißt das: Datenschutz, AI Governance und technische Sicherheit sollten von Beginn an zusammengedacht werden. Das reduziert nicht nur regulatorische Risiken, sondern schafft auch Vertrauen bei Kunden, Mitarbeitenden und Partnern.

Vertrauenswürdige KI ist längst mehr als ein „Nice to have“ – sie entscheidet über Akzeptanz, Marktzugang und Wettbewerbsfähigkeit. Unternehmen, die Datenschutz von Anfang an in ihre KI-Systeme und -strategien integrieren, stärken ihr Markenimage, werden nicht vom Auslaufen von AI-Act-Übergangsfristen überrascht und profitieren von klaren Vorteilen gegenüber weniger transparenten Wettbewerbern.

1. Rechtssicherheit von Anfang an: Sobald personenbezogene Daten verarbeitet werden, gelten die Anforderungen der DSGVO – auch beim Einsatz von KI. Der EU AI Act ergänzt diese um spezifische Vorgaben für KI-Systeme. Datenschutz frühzeitig mitzudenken, hilft Unternehmen, regulatorische Anforderungen strukturiert umzusetzen, statt sie nachträglich in bestehende Anwendungen integrieren zu müssen. Technische Ansätze wie Privacy-Enhancing Technologies (PETs) – beispielsweise Pseudonymisierung, Anonymisierung oder aggregierte Datenauswertung – können dabei helfen, Datenschutz bereits in die technische Konzeption von KI-Lösungen zu integrieren.
2. Risiken frühzeitig erkennen: Fehlerhafte, einseitige oder verzerrte Daten können sich unmittelbar auf die Ergebnisse einer KI auswirken – etwa wenn ein Recruiting-System bestimmte Personengruppen systematisch benachteiligt. Strukturierte Risikoanalysen und ein kontinuierliches Monitoring helfen, solche Risiken frühzeitig zu erkennen und geeignete technische und organisatorische Maßnahmen abzuleiten.
3. Vertrauen durch transparente Governance: Klare Verantwortlichkeiten, nachvollziehbare Prozesse und eine angemessene Dokumentation schaffen Transparenz darüber, wie KI eingesetzt wird und wie mit Risiken umgegangen wird. Das stärkt die Akzeptanz bei Mitarbeitenden, Kunden und Partnern und schafft eine wichtige Voraussetzung für den nachhaltigen Einsatz von KI.

Kurzum: Datenschutz und KI gehören zusammen. Wer Datenschutz, Risikomanagement und Governance frühzeitig verankert, schafft eine belastbare Basis, um KI nicht nur rechtskonform, sondern auch vertrauenswürdig und zukunftsfähig einzusetzen.

Für KI-Projekte können mehrere europäische Regelwerke gleichzeitig relevant sein.

Die DSGVO bleibt die zentrale Grundlage, sobald personenbezogene Daten verarbeitet werden. Unternehmen müssen unter anderem eine geeignete Rechtsgrundlage sicherstellen sowie Zweckbindung, Datenminimierung, Sicherheit der Verarbeitung und Betroffenenrechte berücksichtigen.

Der EU AI Act ergänzt diesen Rahmen um spezifische Anforderungen an KI-Systeme und verfolgt dabei einen risikobasierten Ansatz. Welche Pflichten gelten, hängt unter anderem vom Einsatzgebiet des Systems und von der Rolle des Unternehmens ab – etwa als Anbieter oder Betreiber. Bestimmte KI-Praktiken sind verboten, für andere Anwendungen gelten Transparenzpflichten.

Besonders umfangreiche Anforderungen sieht die KI-Verordnung für Hochrisiko-KI-Systeme vor. Dazu können beispielsweise bestimmte Anwendungen in Recruiting und Beschäftigung, Bildung, kritischer Infrastruktur oder beim Zugang zu wesentlichen Dienstleistungen gehören. Für sie sieht der EU AI Act unter anderem Anforderungen an Risikomanagement, Datenqualität und Data Governance, Dokumentation, menschliche Aufsicht sowie Sicherheit vor.

Die entsprechenden Vorgaben werden stufenweise anwendbar. Unternehmen sollten potenzielle Hochrisiko-Anwendungen dennoch frühzeitig identifizieren und ihre Governance entsprechend vorbereiten.

Hinzu kommt der Data Act. Er regelt insbesondere den Zugang zu und die Nutzung von Daten, beispielsweise aus vernetzten Produkten und verbundenen Diensten, und enthält weitere Vorgaben für die europäische Datenwirtschaft.

Für Unternehmen bedeutet das: Bei KI-Projekten ist nicht nur entscheidend, ob personenbezogene Daten verarbeitet werden, sondern auch, welche KI eingesetzt wird, welchem Zweck sie dient, welche Rolle das Unternehmen einnimmt und welche Datenquellen genutzt werden.

Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 des EU AI Acts. Sie sollen insbesondere dafür sorgen, dass Menschen in bestimmten Situationen erkennen können, wenn sie mit KI interagieren oder KI-generierten beziehungsweise manipulierten Inhalten begegnen.

Für Unternehmen sind unter anderem folgende Fälle relevant:

• Chatbots und andere interaktive KI: Menschen müssen grundsätzlich darüber informiert werden, dass sie mit einem KI-System interagieren, sofern dies nicht ohnehin offensichtlich ist.
• KI-generierte Inhalte: Anbieter bestimmter generativer KI-Systeme müssen dafür sorgen, dass synthetische Inhalte maschinenlesbar als künstlich erzeugt oder manipuliert erkennbar sind.
• Deepfakes: Wer entsprechende KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte einsetzt, muss deren künstlichen Ursprung grundsätzlich offenlegen.
• Emotionserkennung und biometrische Kategorisierung: Betroffene Personen müssen grundsätzlich über den Einsatz entsprechender Systeme informiert werden.
• Texte von öffentlichem Interesse: Für bestimmte KI-generierte oder manipulierte Texte gelten Offenlegungspflichten. Ausnahmen können beispielsweise bei menschlicher redaktioneller Prüfung und redaktioneller Verantwortung greifen.

Wichtig: Nicht jeder KI-generierte oder -manipulierte Inhalt muss automatisch sichtbar als solcher gekennzeichnet werden. Welche Transparenz-, Kennzeichnungs- oder Offenlegungspflichten greifen, hängt vom jeweiligen KI-System, der Art des Inhalts und dem konkreten Anwendungskontext ab.

Mit dem 2. August 2026 rückt zudem die Durchsetzung des EU AI Acts stärker in den Fokus. Für Unternehmen wird damit ein systematischer Überblick über die eingesetzten KI-Systeme umso wichtiger: Nur wer weiß, wo KI zum Einsatz kommt und welche Rolle das Unternehmen dabei einnimmt, kann die jeweils geltenden Anforderungen identifizieren und nachweisbar umsetzen.

Eine KI unterstützt dabei, geeignete Bewerber*innen zu priorisieren. Die verwendeten Daten spiegeln jedoch historische Personalentscheidungen wider – und die KI reproduziert bestehende Verzerrungen.

Neben Datenschutz und Datenqualität sollte hier frühzeitig geprüft werden, wie die Anwendung nach dem EU AI Act einzuordnen ist. KI-Systeme für bestimmte Anwendungen in Recruiting und Personalauswahl zählen zu den besonders sensiblen Anwendungsbereichen der KI-Verordnung und können als Hochrisiko-KI eingestuft werden.

Praxis-Tipp: Datenqualität und Bias regelmäßig überprüfen, Entscheidungswege dokumentieren und eine angemessene menschliche Kontrolle sicherstellen.

Mitarbeitende nutzen generative KI, um Informationen schneller auszuwerten oder Kundenanfragen zu bearbeiten – und geben dabei personenbezogene oder vertrauliche Informationen in ein nicht freigegebenes Tool ein.

Praxis-Tipp: Klare Nutzungsrichtlinien, freigegebene KI-Tools, Datenminimierung und Schulungen reduzieren das Risiko von Datenschutzverletzungen und unkontrollierter KI-Nutzung.

Ein Healthcare-Unternehmen entwickelt eine KI-Anwendung und speichert dafür Trainings- und Validierungsdaten mit sensiblen Gesundheitsinformationen in einer Cloud-Umgebung. Zu weitreichende Zugriffsrechte und eine unzureichend abgesicherte Datenablage führen dazu, dass auch Personen oder Systeme auf Daten zugreifen können, die sie für die Entwicklung und den Betrieb der KI nicht benötigen.

Das Beispiel zeigt: Datenschutz bei KI betrifft nicht nur die Verarbeitung durch das Modell selbst. Auch Trainingsdaten, Datenquellen, Schnittstellen und die technische Infrastruktur rund um das KI-System müssen in das Datenschutz- und Sicherheitskonzept einbezogen werden.

Praxis-Tipp: Sensible Daten konsequent klassifizieren und schützen, Zugriffsrechte nach dem Least-Privilege-Prinzip vergeben sowie Zugriffe kontinuierlich protokollieren und überwachen. Für KI-Projekte sollte bereits bei der Konzeption festgelegt werden, welche Daten das System tatsächlich benötigt und wer beziehungsweise welche Systeme darauf zugreifen dürfen.

Datenschutz und AI Governance müssen sich auch in der technischen Architektur und im laufenden Betrieb widerspiegeln. Welche Maßnahmen erforderlich sind, hängt vom jeweiligen KI-System, den verarbeiteten Daten und dem konkreten Risiko ab.

Zu den zentralen Bausteinen gehören Verschlüsselung und Zugriffsschutz, Datenminimierung und Pseudonymisierung, klar definierte Rollen und Berechtigungen sowie Logging und kontinuierliches Monitoring. Ebenso wichtig ist ein nachvollziehbarer Daten- und Modelllebenszyklus: Unternehmen sollten dokumentieren können, aus welchen Quellen Daten stammen, welche Versionen eingesetzt werden und ob sich Datenqualität oder Modellverhalten im Betrieb verändern. Explainable-AI-Methoden können zusätzlich dabei unterstützen, Modellverhalten und Ergebnisse besser verständlich und überprüfbar zu machen.

Mit KI-Agenten gewinnt diese technisch-organisatorische Absicherung eine neue Dimension. Während klassische KI-Anwendungen häufig auf konkrete Eingaben reagieren, können Agenten selbstständig auf Datenquellen und Anwendungen zugreifen, Aufgaben ausführen und mit anderen Systemen oder Agenten kommunizieren. Aus der Frage „Welche Daten gebe ich in die KI?“ wird damit zunehmend: „Auf welche Daten und Systeme darf die KI selbstständig zugreifen – und was darf sie damit tun?“

Vier Aspekte werden dabei besonders wichtig:

1. Identität: Welcher Agent handelt – und in wessen Auftrag?
2. Berechtigung: Auf welche Daten, Systeme und Funktionen darf der Agent zugreifen?
3. Zweckbindung: Welche personenbezogenen Daten darf er für seine konkrete Aufgabe verarbeiten?
4. Nachvollziehbarkeit: Lassen sich Datenzugriffe und ausgeführte Aktionen zuverlässig protokollieren und im Bedarfsfall für Audits oder Vorfälle nachvollziehen?

Damit gewinnen Prinzipien wie Least Privilege, Zero Trust und kontinuierliche Verifizierung zusätzlich an Bedeutung. Je autonomer KI-Systeme agieren, desto wichtiger wird es, Berechtigungen konsequent zu begrenzen und Aktivitäten nachvollziehbar zu machen. Datenschutz, Informationssicherheit und AI Governance wachsen bei agentischer KI deshalb noch stärker zusammen. 

Datenschutzkonforme KI ist kein reines IT- oder Rechtsthema. Fachbereiche, Datenschutz, Informationssicherheit, IT und AI Governance müssen gemeinsam Verantwortung übernehmen – von der ersten Idee bis zum laufenden Betrieb.

Dafür braucht es klar definierte Rollen und Entscheidungswege:

• Fach- und Projektverantwortliche definieren Zweck und Einsatzgebiet der KI und stellen sicher, dass fachliche Anforderungen und Risiken berücksichtigt werden.
• Datenschutzbeauftragte sollten frühzeitig eingebunden werden, sobald personenbezogene Daten betroffen sind. Sie unterstützen unter anderem bei Rechtsgrundlagen, Informationspflichten und der Frage, ob eine Datenschutz-Folgenabschätzung erforderlich ist.
• IT und Informationssicherheit verantworten technische Schutzmaßnahmen, Zugriffs- und Berechtigungskonzepte sowie den sicheren Betrieb.
• AI-Governance- beziehungsweise Compliance-Verantwortliche unterstützen bei der Einordnung nach dem EU AI Act, bei Risikobewertungen sowie bei übergreifenden Standards und Freigabeprozessen.

Ebenso wichtig sind klare Freigabe- und Eskalationswege: Wer entscheidet, ob ein KI-Use-Case eingesetzt werden darf? Wer wird eingebunden, wenn sich das Risiko verändert? Und wer kann den Einsatz bei kritischen Abweichungen stoppen?

Governance endet deshalb nicht mit dem Go-live. KI-Systeme sollten über ihren gesamten Lebenszyklus überprüft werden – insbesondere wenn sich Modelle, Daten, Anbieter, Einsatzgebiet oder Risikoprofil verändern oder sich Datenqualität und Modellverhalten im Betrieb verschieben. Solche Veränderungen werden auch als Data oder Model Drift bezeichnet.

Bei KI-Agenten kommt eine weitere Ebene hinzu: Organisatorische Verantwortlichkeiten müssen mit technischen Berechtigungs- und Kontrollmechanismen zusammenspielen. Auch wenn ein Agent Aufgaben autonom ausführt, muss eindeutig bleiben, wer für seinen Einsatz verantwortlich ist, welche Handlungsspielräume er besitzt und wann menschliches Eingreifen erforderlich ist.

DSGVO-konforme KI entsteht nicht durch einen einmaligen Compliance-Check kurz vor dem Go-live. Datenschutz, Sicherheit und Governance sollten den gesamten Lebenszyklus einer KI-Anwendung begleiten – von der Auswahl des Use Cases über die technische Umsetzung bis zum laufenden Betrieb.

Mit dem EU AI Act und der zunehmenden Verbreitung von KI-Agenten wird dieser ganzheitliche Blick noch wichtiger. Unternehmen, die Verantwortlichkeiten, Datenzugriffe, Transparenz und technische Kontrolle frühzeitig klären, schaffen eine belastbare Grundlage für vertrauenswürdige und skalierbare KI.

Die Telekom MMS unterstützt Unternehmen dabei, Datenschutz, AI Governance und technische Umsetzung zusammenzuführen – von der ersten Bewertung bis zum sicheren Betrieb.

→ Mehr zur KI-Datenschutzberatung der Telekom MMS