KI als Hacker und Helfer: Neue Chancen und Risiken für die Cybersecurity

Ein gefälschter Videoanruf, 25 Millionen US-Dollar Schaden: 2024 wurde ein Mitarbeiter des Ingenieurunternehmens Arup in einer Videokonferenz mit vermeintlichen Führungskräften getäuscht. Tatsächlich handelte es sich um KI-generierte Deepfakes. Der Mitarbeiter veranlasste daraufhin mehrere betrügerische Überweisungen.

Doch nicht nur Cyberkriminelle nutzen KI für ihre Zwecke. Auch KI-Agenten können selbst zum Sicherheitsrisiko werden. Tests mit autonomen KI-Systemen zeigen, dass diese mitunter unerwartete Aktionen ausführen können – etwa, wenn sie eigenständig mit externen Websites interagieren. Das wirft neue Fragen auf: Wie viel Handlungsspielraum dürfen KI-Agenten erhalten? Und wie lässt sich verhindern, dass sie unbeabsichtigt Schaden anrichten?

Beide Beispiele zeigen: KI verändert die Spielregeln der Cybersecurity grundlegend. Sie macht bekannte Angriffsmethoden überzeugender und schafft durch eigenständig handelnde Systeme neue Angriffsflächen. Gleichzeitig eröffnet dieselbe Technologie neue Möglichkeiten für die Cyberabwehr, zum Beispiel bei der automatisierten Suche nach Sicherheitslücken.

Wie können Unternehmen diese Chancen nutzen und gleichzeitig ihre Mitarbeitenden, Daten und Systeme schützen? Darüber sprechen Matthias Brattig von Telekom MMS und Patrick Weich von Telekom Security im Podcast „Ausgesprochen digital“.

Matthias Brattig ist Sicherheitsberater bei Telekom MMS mit Schwerpunkt Security Awareness und Social Engineering. Als ehemaliger Penetrationstester kennt er auch die technische Seite von Cyberangriffen. Heute beschäftigt er sich insbesondere damit, wie Unternehmen ihre Mitarbeitenden für neue Bedrohungen sensibilisieren.

Patrick Weich ist fachlicher Leiter für automatisiertes Hacking bei Telekom Security. Gemeinsam mit seinem Team entwickelt er KI-gestützte Lösungen, die Penetrationstests effizienter machen und perspektivisch standardisierte Sicherheitsprüfungen weitgehend automatisieren sollen.

Im Podcast diskutieren sie, wie KI menschliche Schwächen ausnutzen kann, welche Sicherheitsrisiken autonome Agentensysteme mit sich bringen und warum KI zugleich neue Möglichkeiten für die Cyberabwehr eröffnet.

Phishing, Social Engineering und Identitätsbetrug sind keine neuen Angriffsmethoden. KI verändert jedoch, wie schnell, gezielt und überzeugend sie eingesetzt werden können.

Angreifer können öffentlich verfügbare Informationen automatisiert auswerten, personalisierte Nachrichten erstellen und mithilfe von Deepfakes vertraute Stimmen oder Gesichter imitieren. Sprachliche Fehler, die früher auf betrügerische E-Mails hindeuteten, sind damit längst kein verlässliches Warnsignal mehr.

Für Matthias Brattig verändert das auch die Anforderungen an Security Awareness. Klassische Phishing-Schulungen allein reichen nicht aus. Mitarbeitende müssen lernen, ungewöhnliche Anfragen kritisch zu hinterfragen und sensible Vorgänge über unabhängige, verifizierte Kommunikationswege abzusichern.

Hinzu kommt der sichere Umgang mit KI-Anwendungen im Arbeitsalltag: Welche Daten dürfen eingegeben werden? Wie verlässlich sind KI-generierte Ergebnisse? Und wann ist menschliche Kontrolle erforderlich?

Entscheidend ist, Mitarbeitende nicht durch immer neue Bedrohungsszenarien zu verunsichern, sondern ihnen Sicherheit im Umgang mit der Technologie zu vermitteln.

Während KI Cyberangriffe verändert, müssen Unternehmen zunehmend auch ihre eigenen KI-Systeme absichern.

Besonders relevant wird das bei KI-Agenten. Anders als reine Chatbots können sie mit entsprechenden Berechtigungen auf Unternehmensdaten zugreifen, Anwendungen steuern und eigenständig Aktionen ausführen. Damit automatisieren sie Geschäftsprozesse, schaffen aber auch neue Sicherheitsrisiken.

Ein Beispiel: Ein KI-Agent verarbeitet eingehende E-Mails und hat Zugriff auf interne Systeme. Enthält eine Nachricht manipulierte Anweisungen, könnte der Agent dazu verleitet werden, Informationen preiszugeben oder unerwünschte Aktionen auszuführen. Solche Angriffe werden als Prompt Injection bezeichnet.

Entscheidend ist deshalb, welche Rechte und Handlungsspielräume Unternehmen ihren KI-Agenten einräumen. Das Least-Privilege-Prinzip begrenzt Zugriffe auf das tatsächlich erforderliche Maß. Hinzu kommen eindeutige Identitäten, technische Isolation, Monitoring und menschliche Freigaben für kritische Aktionen.

Wie viel Autonomie ist sinnvoll – und wo muss der Mensch die Kontrolle behalten? Diese Frage beschäftigt auch Patrick Weich und sein Team bei der Entwicklung eigener KI-Agenten.

Was passiert, wenn KI nicht nur für Cyberangriffe eingesetzt wird, sondern selbst auf die Suche nach Sicherheitslücken geht?

Genau daran arbeitet Patrick Weich mit seinem Team bei Telekom Security. Ziel ist es, KI für autorisierte Penetrationstests einzusetzen, um Schwachstellen effizienter zu erkennen und Security-Expert*innen zu entlasten.

Schon heute kann KI einzelne Aufgaben unterstützen, beispielsweise bei der Analyse technischer Dokumentationen, der Vorbereitung von Tests oder der Erstellung von Berichten. Leistungsfähigere Modelle eröffnen zunehmend auch Möglichkeiten, technische Prüfschritte zu automatisieren.

Doch ein KI-Agent, der selbstständig Sicherheitslücken untersucht, benötigt besonders klare Grenzen. Das betrifft sowohl die Auswahl und den Betrieb der KI-Modelle als auch den Umgang mit sensiblen Daten und die Kontrolle möglicher Aktionen.

Das Team setzt deshalb unter anderem auf isolierte Testumgebungen, in Deutschland betriebene Infrastruktur und menschliche Freigaben bei sicherheitskritischen Aktionen. Neue Funktionen werden schrittweise erprobt, bevor weiterführende Einsatzszenarien infrage kommen.

Das Beispiel zeigt: KI kann die Cyberabwehr leistungsfähiger machen. Ihre eigene Sicherheit und Kontrollierbarkeit müssen dabei jedoch von Anfang an mitgedacht werden.

Ob beim Einsatz von KI-Agenten, beim sogenannten Vibe Coding oder bei automatisierten Sicherheitsprüfungen: Unternehmen müssen Innovation ermöglichen, ohne die Kontrolle über Daten, Systeme und Prozesse zu verlieren.

Dafür braucht es mehr als technische Schutzmaßnahmen. Fachbereiche, IT-Security und Management müssen gemeinsam festlegen, welche KI-Anwendungen eingesetzt werden dürfen, wer Berechtigungen vergibt und welche Entscheidungen eine menschliche Freigabe erfordern.

Geschützte Experimentierräume können Mitarbeitenden ermöglichen, neue KI-Anwendungen auszuprobieren, ohne produktive Systeme zu gefährden. Gleichzeitig sollten KI-generierter Code und automatisierte Aktionen vor dem produktiven Einsatz angemessen geprüft werden.

Nicht jeder Anwendungsfall erfordert dabei autonome KI. Wo klassische Software eine Aufgabe zuverlässiger und kontrollierbarer erfüllt, kann sie die bessere Wahl sein.

Die Herausforderung besteht nicht darin, möglichst viele Regeln aufzustellen, sondern Sicherheit so zu gestalten, dass Innovation möglich bleibt.

KI macht bekannte Cyberangriffe effizienter, schafft durch agentische Systeme neue Angriffsflächen und eröffnet zugleich Chancen für eine leistungsfähigere Cyberabwehr.

Für Unternehmen kommt es deshalb auf drei Dimensionen an: Mitarbeitende für neue Risiken befähigen, KI-Systeme technisch absichern und klare organisatorische Verantwortlichkeiten schaffen.

Daraus ergeben sich fünf Handlungsfelder:

1. KI-gestützte Bedrohungen verstehen: Phishing, Social Engineering und Deepfakes entwickeln sich weiter und erfordern angepasste Schutzmaßnahmen.
2. Mitarbeitende gezielt befähigen: Security Awareness und KI-Kompetenz müssen gemeinsam gedacht werden, damit Menschen digitale Risiken erkennen und angemessen reagieren können.
3. KI-Agenten kontrolliert einsetzen: Klare Berechtigungen, technische Schutzmaßnahmen und menschliche Freigaben reduzieren Risiken autonomer Systeme.
4. KI für die Cyberabwehr nutzen: Automatisierte Sicherheitsanalysen und KI-gestütztes Penetration Testing können Security-Teams entlasten und ihre Leistungsfähigkeit erhöhen.
5. Sichere Experimentierräume schaffen: Innovation braucht Freiräume, aber auch klare Regeln, Datenschutz und geeignete Kontrollmechanismen.

Wie das in der Praxis gelingt, wo KI bereits heute Security-Teams unterstützt und welche Entwicklungen die beiden Experten besonders beschäftigen, erfahren Sie in der aktuellen Folge von „Ausgesprochen digital“.

Moderiert wird die Folge von Steffen Wenzel, Mitgründer und Geschäftsführer von politik-digital, und Stefanie Liße, Senior Sales Managerin bei Telekom MMS.

Die vollständige Folge von „Ausgesprochen digital“ sowie weitere Episoden sind auf Spotify, Apple Podcasts und allen gängigen Podcast-Plattformen verfügbar. Jetzt den Podcast abonnieren, um keine Folge rund um digitale Innovationen, künstliche Intelligenz und die Zukunft der Unternehmenswelt zu verpassen.