Achtung, Manipulation: So missbrauchen Cyberkriminelle die KI

NTT DATA, ein führender Anbieter von digitalen Business- und Technologie-Services, beschreibt die wichtigsten Methoden, die Cyberkriminelle heute einsetzen, woran man die Angriffe erkennen kann und welche Gegenmassnahmen sich bewährt haben.  ​

Künstliche Intelligenz ist ein mächtiges Tool: Die Technologie skaliert nicht nur legitime Geschäftsprozesse, sondern immer häufiger auch illegale Aktivitäten. Mit GenAI beispielsweise lassen sich überzeugende Phishing-Mails formulieren oder Deepfakes erzeugen. Gleichzeitig sind KI-Modelle selbst zu neuen Angriffszielen geworden – etwa durch Data Poisoning oder Prompt Injection.

NTT DATA zeigt, wo die Gefahren lauern und wie Unternehmen sich schützen können:

• Data Poisoning zählt zu den subtilsten Methoden. Angreifer manipulieren gezielt Trainings- oder Validierungsdaten, um ein Modell auf den falschen Weg zu bringen. Ein Spamfilter, der schädliche Inhalte plötzlich nicht mehr erkennt, oder ein Modell für die Anomalienerkennung, das ungewöhnliche Vorgänge fälschlicherweise als «normal» einstuft, sind die Folgen. Hinweise liefern etwa plötzliche Qualitätsabfälle oder statistische Auffälligkeiten in Datensätzen. Wer Herkunft und Versionierung von Daten streng kontrolliert, Integritätsprüfungen vornimmt und Modelle regelmässig neu validiert, macht es Angreifern deutlich schwerer.
• Prompt Injection richtet sich speziell gegen KI-Modelle, die in Anwendungen wie Chatbots oder Assistenten eingebettet sind. Hier versuchen Angreifer, mit geschickt formulierten Eingaben die ursprünglichen Anweisungen auszuhebeln – etwa um vertrauliche Inhalte preiszugeben oder geschützte Aktionen auszulösen. Die Folgen reichen von ungewollten Antworten bis hin zu Datenabflüssen. Hilfreich sind mehrstufige Schutzmassnahmen: Eingabevalidierung, strenge Zugriffsrechte für angebundene Systeme sowie Ausgabefilter und Freigabeprozesse bei sicherheitsrelevanten Funktionen.
• Phishing, Social Engineering und Deepfakes nutzen moderne Text-, Sprach- und Bildgeneratoren, um hochgradig personalisierte oder täuschend echte Inhalte zu erzeugen. Beim Pretexting geben sich Angreifer als Kollegen aus – etwa aus der IT –, um an sensible Daten wie Login-Infos zu kommen. Im Rahmen von Scareware werden Nutzer mit gefälschten Warnungen und Bedrohungen unter Druck gesetzt, damit sie unüberlegt handeln. So steigen die Erfolgschancen für CEO-Fraud oder nicht genehmigte Zahlungsfreigaben. Nachrichten wirken häufig stilistisch perfekt und inhaltlich sehr präzise. Bei Audio- oder Videomaterial fallen allenfalls leichte Unstimmigkeiten auf. Unternehmen stärken ihre Verteidigung, indem sie Identitätsprüfungen bei kritischen Vorgängen fest verankern, Mitarbeitende schulen und technische Werkzeuge zur Erkennung manipulierter Medien einsetzen.
• Adversarial Examples wiederum greifen Modelle auf einer sehr technischen Ebene an: Winzige, für Menschen oft unsichtbare Veränderungen an Bildern, Sensordaten oder Texten können ausreichen, um ein Modell zu einer falschen Klassifikation zu verleiten. Das kann etwa Bilddetektoren oder Industrie-Sensorik aus dem Konzept bringen. Auffällig sind Inkonsistenzen zwischen Modellprognosen und realen Beobachtungen. Ein Schutz der Modelle lässt sich durch gezieltes Nachtrainieren mit manipulierten Beispielen, zusätzliche Validierungsstufen oder die Kombination mehrerer Datenquellen sicherstellen.
• Entwicklung von Malware: Schadprogramme lassen sich schneller variieren, gezielt auf bestimmte Ziele zuschneiden oder vorab gegen Erkennungsmechanismen testen. Dadurch steigt die Zahl potenzieller Varianten, die nur schwer zu entdecken sind. Eine rein signaturbasierte Abwehr reicht nicht mehr aus – gefragt sind verhaltensbasierte Analysen, Sandboxing, Automatisierung im Threat-Intelligence-Prozess und ein schneller Patch-Turnus.

«KI ist ein Werkzeug – und wie jedes Werkzeug kann es sinnvoll genutzt oder eben missbraucht werden. Entscheidend ist, dass Unternehmen ihre Modelle, Datenpipelines und Betriebsprozesse genauso gut absichern wie klassische IT-Komponenten», betont Christian Koch, Senior Vice President Cybersecurity IT/OT, Innovations & Business Development bei NTT DATA DACH. «Nur mit einem ganzheitlichen Ansatz aus Governance, technischen Massnahmen und Prozessen lässt sich verhindern, dass KI zum Einfallstor wird.»