Skip to the main content.

2 minute gelesen

Wer denkt an die Security von KI-Systemen?

Wer denkt an die Security von KI-Systemen?

Künstliche Intelligenz zählt zu den wichtigsten technologischen Entwicklungen unserer Zeit. Sie unterstützt uns heute schon in vielen Bereichen – sei es durch Chatbots, virtuelle Assistenten oder Bilderkennung. Experten sind der Meinung, dass wir die großen Probleme der Menschheit, etwa den Klimawandel oder die Ernährung der Weltbevölkerung, nur mit Hilfe von KI adressieren können. Doch bei allen Vorteilen bringt die neue Technologie auch Security-Herausforderungen, an die bisher kaum jemand denkt. Das muss sich ändern, sonst wird es brandgefährlich. Denn Cyberkriminelle sind bestimmt schon dabei, KI-Anwendungen unter die Lupe zu nehmen.

So lässt sich eine KI beeinflussen

Künstliche Intelligenz arbeitet rein datenbasiert. Sie kann innerhalb von Sekunden Unmengen an Informationen auswerten und komplexe Berechnungen durchführen. Einerseits ist sie dem Menschen dadurch überlegen, denn sie entscheidet blitzschnell und bleibt immer rational. Andererseits hat eine KI aber auch kein Gewissen und keine Moral. Sie unterscheidet nicht zwischen guten und schlechten Daten, richtigem oder falschem Input. Das System ist immer abhängig von den Daten, mit denen man es trainiert, und den Merkmalen, auf die der Algorithmus reagiert. Daher gibt es grundsätzlich zwei Wege, um eine KI zu beeinflussen: Indem man ihre Lerndaten manipuliert oder sie gezielt mit falschen Eingaben austrickst.

Den Algorithmus täuschen

Wer verstanden hat, wie ein Algorithmus funktioniert, findet auch Möglichkeiten, ihn zu beeinflussen. Nichts anderes tun wir übrigens im Bereich der SEO-Optimierung. Ein ganzer Berufszweig beschäftigt sich damit, den Google-Algorithmus zu überlisten. Was beim Suchmaschinen-Ranking etabliert ist, kann in anderen Bereichen Menschenleben gefährden. Stellen wir uns ein autonom fahrendes Auto vor: Es hält an, wenn die Sensoren eine rote Ampel erkennen, und fährt bei Grün. Angreifer könnten jetzt am Straßenrand ein Muster präsentieren, das den Kameras eine grüne Ampel vortäuscht. Die KI entscheidet dann, dass sie fahren darf, und gibt Gas. Dass solche Täuschungsmanöver durchaus denkbar sind, haben bereits Versuche mit Deep Fakes gezeigt: Wissenschaftlern ist es gelungen, aus zwei verschiedenen Passfotos denselben biometrischen Abdruck zu generieren. Beim Test hat der Personalausweis-Scanner beide Ausweise akzeptiert und für dieselbe Person gehalten. Ein Mensch hätte erkannt, dass mit den Bildern etwas nicht stimmt – die Maschine nicht.

Das Problem mit den Daten

Der zweite Angriffsvektor sind die Daten, aus denen die KI lernt. Wenn es Hackern gelingt, die Trainingsdaten zu manipulieren oder das System mit falschen Informationen zu füttern, können sie das Lernverhalten der KI steuern und Fehlfunktionen provozieren. Denn der Algorithmus verändert sich kontinuierlich: Er passt seine internen Parameter an die bereitgestellten Daten an, um Muster zu identifizieren und Zusammenhänge herzustellen. Da in das KI-Modell meist nicht nur die ursprünglichen Trainingsdaten, sondern auch öffentliche Daten aus dem Internet und Nutzereingaben einfließen, lässt sich eine Manipulation oft nur schwer erkennen.
Auch der umgekehrte Weg ist denkbar: Was, wenn es Cyberkriminellen gelingt, Daten aus dem KI-Modell zu extrahieren und Rückschlüsse auf die Quelle zu ziehen? Das wäre nicht nur ein DSGVO-Verstoß, sondern wirft auch Sicherheitsfragen auf. Befindet sich dann zum Beispiel der biometrische Fingerabdruck, der einmal von einem KI-System gescannt wurde, in der Hand der Hacker?

Ein völlig neues Security-Feld

Rund um KI kommen völlig neue Angriffsszenarien auf uns zu, mit denen sich die IT-Security noch kaum auseinandergesetzt hat. Bisher ging es Cyberkriminellen meist darum, in IT-Systeme einzudringen, Daten zu stehlen, zu verschlüsseln oder Systeme lahm zu legen. Auch das wäre im KI-Bereich natürlich denkbar. Noch gefährlicher ist aber das Risiko, eine KI gezielt zu manipulieren. Denn hier greifen unsere etablierten Security-Tools und Best Practices nicht. Es bleibt zu hoffen, dass die ersten Security-Hersteller dieses neue Feld bald adressieren. Der wichtigste Schritt besteht zunächst darin, überhaupt ein Bewusstsein für die Cybersicherheit von KI-Systemen zu schaffen. Das BSI hat einen Anfang gemacht und drei Whitepaper zu diesem Thema veröffentlicht.

Was ist zu tun?

Jede neue Technologie hat ihre Risiken. Bisher überwiegt die Begeisterung darüber, was heute schon funktioniert. Doch wir sollten auch die Schwachstellen von KI aufdecken und frühzeitig adressieren. Warum zum Beispiel nicht gleich Algorithmen mitentwickeln, die gefälschte Eingabedaten und Manipulation erkennen? Außerdem brauchen wir zusätzliche Mechanismen und Software, um die KI vor Fehlentscheidungen zu schützen. Auch die Politik ist in der Pflicht, eine Kontrollinstanz einzuführen. Mit dem AI Act hat die EU zwar einen ersten Gesetzesentwurf zur Regulierung von KI auf den Weg gebracht. Doch dieser adressiert lediglich konkrete risikobehaftete Anwendungsfälle, nicht aber die Gefahren, die durch Manipulation der Systeme entstehen. Es gibt also noch viel zu tun. Wir sollten nicht damit warten, bis es zu spät ist.


Wolfgang Kurz

CEO, indevis

Das könnte Sie auch interessieren:

Konvergenz von IT & OT: Eine gemeinsame Sprache für mehr Sicherheit bei der vernetzten Produktion

2 minuutin luku

Konvergenz von IT & OT: Eine gemeinsame Sprache für mehr Sicherheit bei der vernetzten Produktion

In der digitalisierten Welt verschmelzen zunehmend die Betriebsabteilungen (Operational Technology - OT) und die Informationstechnologie (IT) in Industrieunternehmen. In diesem Artikel werfen wir einen Blick auf die Notwendigkeit einer gemeinsamen Sprache zwischen OT und IT sowie auf grundlegende Maßnahmen zur Gewährleistung der IT-Sicherheit.

Wenn KI Schadcode schreibt: Was bedeutet ChatGPT für die IT-Security?

2 minuutin luku

Wenn KI Schadcode schreibt: Was bedeutet ChatGPT für die IT-Security?

Seit OpenAI das KI-Projekt ChatGPT veröffentlicht hat, stellt sich die Frage, welche neuen Möglichkeiten die Technologie für Cyberkriminelle bietet. ChatGPT könnte zum Beispiel auf Knopfdruck überzeugende Phishing-Mails verfassen. Außerdem beherrscht der Bot verschiedene Programmiersprachen und kann polymorphe Malware erstellen. Kämpft bald KI gegen KI?

IT und OT: Zwei Seiten einer Medaille

3 minuutin luku

IT und OT: Zwei Seiten einer Medaille

In der IT kommt niemand um das Thema Security herum. Doch in der operativen Technik (OT) wiegt Funktionalität häufig immer noch schwerer als die Sicherheit. Dieser Ansatz ist gefährlich und überholt. So bringen Unternehmen den durchgehenden Produktionsbetrieb und regelmäßige Sicherheits-Updates zusammen.