Künstliche Intelligenz hat sich in kürzester Zeit zu einem der wichtigsten Begriffe im Bereich der Cybersicherheit entwickelt. Sicherheitsanbieter werben zunehmend mit KI-gestützter Erkennung, KI-Assistenten, autonomen Sicherheitsagenten und Produkten, die speziell zum Schutz von KI-Systemen selbst entwickelt wurden. Dies hat zwangsläufig auch zu einer Nachfrage nach unabhängigen “KI-Sicherheitstests” geführt.

Wir bei AV-Comparatives sind der Überzeugung, dass unabhängige Tests mit den technologischen Entwicklungen Schritt halten müssen. Eine neue Technologie oder Marketingkategorie bedeutet jedoch nicht automatisch, dass sich darauf aufbauend ein wissenschaftlich fundierter Test entwickeln lässt.

Bevor ein Test eingeführt wird, muss zunächst eine Frage beantwortet werden:

Was genau testen wir, und lassen sich die Ergebnisse objektiv, reproduzierbar und fair messen?

Derzeit sind wir der Ansicht, dass allgemeine “KI-Sicherheitstests” mit erheblichen methodischen Einschränkungen behaftet sind, und zwar aus folgenden Gründen.

KI ist keine einzelne Sicherheitsfunktion

“KI” ist ein äußerst weit gefasster Begriff.

KI- und Machine-Learning-Technologien sind bereits seit Jahren Bestandteil von Cybersicherheitsprodukten. Sie tragen zur Erkennung von Malware, zur Verhaltensanalyse, zum Phishing-Schutz, zur Erkennung von Anomalien, zu EDR-/XDR-Funktionen und zu vielen anderen Sicherheitsfunktionen bei.

AV-Comparatives benötigt keinen separaten “KI-Test”, um diese Technologien zu bewerten, da wir das Ergebnis testen.

Wenn ein Anbieter behauptet, dass KI die Erkennung von Malware verbessert, lautet die entscheidende Frage, ob das Produkt Malware erkennt und dabei eine akzeptable Falsch-Positiv-Rate beibehält. Wenn KI den Schutz von Endgeräten verbessert, lautet die entscheidende Frage, ob Angriffe verhindert werden. Wenn KI die EDR-Funktionen unterstützt, lautet die entscheidende Frage, ob böswillige Aktivitäten erkannt werden und ob nützliche Telemetriedaten generiert werden.

Ob die zugrunde liegende Technologie auf maschinellem Lernen, neuronalen Netzen, Regeln, Signaturen, Verhaltensmodellen, Reputationssystemen oder einer Kombination aus all diesen Elementen basiert, ist im Hinblick auf den Schutz, der dem Nutzer letztendlich geboten wird, zweitrangig.

In den meisten modernen Sicherheitsprodukten arbeiten diese Technologien als Teil eines integrierten Schutzkonzepts zusammen. Aus Sicht externer Tests lässt sich in der Regel nicht feststellen, ob eine bestimmte Erkennung oder Abwehr auf eine KI-Komponente, einen anderen Schutzmechanismus oder eine Kombination mehrerer Technologien zurückzuführen ist.

AV-Comparatives bewertet daher die Sicherheitsleistung des Produkts als Ganzes. Wenn KI zu dieser Leistung beiträgt, spiegelt sich ihr Beitrag zwar naturgemäß in der Leistung des Produkts wider, lässt sich jedoch in der Regel nicht isolieren oder speziell der KI zuordnen.

Daher werden KI-bezogene Funktionen bereits in einer Reihe von AV-Comparatives-Tests und -Bewertungen berücksichtigt, sofern sie Bestandteil des zu bewertenden Produkts oder der zu bewertenden Funktionalität sind.

KI ist daher nicht unbedingt etwas, das einen separaten Test erfordert. Oft ist sie eine von vielen Technologien, die zu einem Sicherheitsergebnis beitragen, das bereits getestet werden kann.

Das Testen der KI selbst ist ein ganz anderes Problem

Die Situation wird komplizierter, wenn es sich bei dem Gegenstand um ein KI-Modell oder ein agentisches System selbst handelt.

Das Ergebnis einer Interaktion kann von mehreren Variablen gleichzeitig abhängen, darunter:

• Das Modell und die Modellversion
• Die Systemaufforderung
• Das Agent-Framework und die verfügbaren Tools
• Berechtigungen und Speicher
• Kontext und externe Informationen
• Configuration

Im Gegensatz zu vielen herkömmlichen Sicherheitsmechanismen können KI- und agentenbasierte Systeme bei identischen Eingaben unterschiedliche Entscheidungen, Handlungen oder Ergebnisse hervorbringen.

Auch Modelle können sich schnell ändern. Cloud-basierte Systeme können aktualisiert werden, ohne dass der Tester die Kontrolle über jedes Detail der Änderung hat oder diese überhaupt kennt.

Folglich lässt sich ein Ergebnis, das heute mit einem bestimmten Modell, Agenten und einer bestimmten Konfiguration erzielt wurde, möglicherweise nicht unbedingt einige Wochen später reproduzieren oder auf eine andere Umgebung übertragen.

Die grundlegende Frage bleibt daher: Was genau würde ein “KI-Sicherheitstest” eigentlich messen?

Ohne einen genau definierten Sicherheitsanspruch und ein klar messbares Ergebnis sagt der Begriff an sich nur sehr wenig aus.

Der Nichtdeterminismus führt zu einem grundlegenden Problem bei der Testung.

Auch bei herkömmlichen Sicherheitstests gibt es Schwankungen, doch KI-Systeme führen eine weitere Ebene der Nichtdeterminierbarkeit ein.

Derselbe Angriff kann bei einer Ausführung erfolgreich sein und bei einer anderen fehlschlagen. Das zugrunde liegende Modell selbst kann eine Anweisung bereits ablehnen, bevor ein Sicherheitsprodukt überhaupt die Möglichkeit hat, einzugreifen.

Ein Tester muss daher feststellen, ob ein Angriff durch das Sicherheitsprodukt verhindert, vom Modell zurückgewiesen, durch die Agentenumgebung beeinflusst oder einfach das Ergebnis einer anderen Modellentscheidung war.

Wiederholte Auswertungen und statistische Analysen können diese Unsicherheit verringern, beseitigen jedoch nicht das zugrunde liegende Attributionsproblem.

Ein prozentualer Wert kann zwar präzise wirken, stellt jedoch ein Ergebnis dar, das in hohem Maße von den Rahmenbedingungen abhängt.

Die Genauigkeit der Darstellung sollte nicht mit wissenschaftlicher Gewissheit verwechselt werden.

Ein “KI-Test” kann schnell veraltet sein

Eine weitere Herausforderung besteht darin, repräsentative Testfälle auszuwählen.

Agentische Systeme können über verschiedene Mechanismen angegriffen werden, darunter:

• Direkte Eingabeaufforderungen und indirekte Eingabeaufforderungseinfügung
• Schädliche abgerufene Inhalte
• Tools, Plugins und MCP-Server
• Speichermanipulation
• Kommunikation zwischen den Agenten

Diese Angriffe können zudem stark vom jeweiligen Modell und der verwendeten Agentenarchitektur abhängen.

Ein Test, der auf einer festen Sammlung von Eingabeaufforderungen basiert, misst daher in erster Linie, wie ein bestimmtes System mit diesen konkreten Eingabeaufforderungen in dieser bestimmten Umgebung umgeht.

Das Fachgebiet entwickelt sich zudem so rasant, dass sich Angriffstechniken, Modelle und Abwehrmechanismen innerhalb kurzer Zeit erheblich verändern können.

Eine Testumgebung oder eine Reihe von Szenarien, die heute repräsentativ erscheinen, bieten daher möglicherweise nur begrenzte Einblicke in ein anderes Modell, eine andere Agentenarchitektur oder eine zukünftige Version davon.

Die sich abzeichnenden Leitlinien sind wertvoll, stellen jedoch noch keine ausgereifte Testmethodik dar.

Leitlinien der aufstrebenden Branche für Tests im Bereich KI und agentische Sicherheit sind wichtig und zu begrüßen. Diese Arbeit trägt dazu bei, relevante Angriffsvektoren, Fachbegriffe, Testumgebungen und Anforderungen an die Berichterstattung zu identifizieren.

Außerdem werden darin einige der oben beschriebenen Herausforderungen anerkannt, darunter Modellabhängigkeit, Abhängigkeit von Agent und Host, Nichtdeterminismus sowie der begrenzte Reifegrad einiger Angriffsszenarien mit Agenten.

Diese Bemühungen sind nützliche Schritte auf dem Weg zu zukünftigen Testmethoden. Die Festlegung allgemeiner Grundsätze für die Herangehensweise an Tests ist jedoch nicht gleichbedeutend mit einer ausgereiften Methodik, die reproduzierbare, repräsentative und aussagekräftige Sicherheitsergebnisse liefert.

AV-Comparatives ist der Ansicht, dass diese Unterscheidung von Bedeutung ist.

Was lässt sich heute sinnvoll testen?

Das bedeutet jedoch keineswegs, dass Sicherheitsfunktionen im Zusammenhang mit KI nicht getestet werden können.

Entscheidend ist, eine konkrete Sicherheitsbehauptung zu prüfen und nicht “KI” als abstrakte Kategorie. Schon klar definierte funktionale und szenariobasierte Bewertungen können nützliche Informationen liefern.

Beispielsweise könnte ein Produkt, das angeblich einen KI-Agenten vor indirekter Prompt-Injektion schützt, kontrollierten bösartigen Inhalten ausgesetzt werden, wobei im Rahmen der Bewertung ermittelt wird, ob der Angriff zu einer unbefugten Aktion oder zur Offenlegung von Daten führt.

Produkte könnten in ähnlicher Weise anhand definierter Szenarien bewertet werden, die den Einsatz bösartiger Tools, die Einfügung von Eingabeaufforderungen, den unbefugten Datenzugriff oder versuchte Datenexfiltration beinhalten.

Solche Bewertungen können eine konkret formulierte Frage beantworten:

Hat die Sicherheitsmaßnahme diesen definierten Angriff unter diesen definierten Bedingungen verhindert?

Das ist ein aussagekräftiges und messbares Ergebnis.

Was ein solcher Test jedoch nicht belegt, ist, dass die “KI-Sicherheit” insgesamt getestet wurde.

Aus diesem Grund hält AV-Comparatives gezielte Funktionsanalysen, einzelne Produktbewertungen und spezielle Forschungsprojekte derzeit für geeigneter für neue KI-Sicherheitstechnologien als umfassende “KI-Sicherheitstests”.

Das Ergebnis ist wichtiger als die KI-Bezeichnung

“KI-gestützt” ist zu einem weit verbreiteten Marketingbegriff geworden. Die Tatsache, dass ein Produkt KI enthält, ist an sich noch kein Beweis für mehr Sicherheit, und die Verwendung des Begriffs “KI” im Zusammenhang mit einem Test führt nicht automatisch zur Entstehung einer neuen Testdisziplin.

Bei unabhängigen Tests sollte vermieden werden, die Terminologie zu validieren; stattdessen sollten die Ergebnisse validiert werden.

Wenn KI ein Sicherheitsprodukt tatsächlich verbessert, sollte sich diese Verbesserung letztendlich in einem besseren Schutz, einer besseren Erkennung, weniger Fehlalarmen, verbesserten Reaktionsmöglichkeiten oder anderen messbaren Vorteilen niederschlagen. Diese Vorteile können und sollten getestet werden. Die zugrunde liegende Technologie, mit der sie erzielt werden, erfordert nicht unbedingt einen separaten “KI-Test”.

Unser Ansatz für Sicherheitstests im Bereich KI

AV-Comparatives bewertet kontinuierlich neue Technologien und Angriffstechniken und integriert relevante Entwicklungen, wo immer dies sinnvoll ist, in seine Methoden.

Außerdem verfolgen wir aufmerksam die Entwicklungen im Bereich der KI-Agenten, der Prompt-Injection, der agentenbasierten Sicherheitskontrollen und neuer Testframeworks.

Wir sind jedoch der Ansicht, dass unabhängige Prüfstellen die Verantwortung haben, keine Tests zu entwickeln, nur weil ein Thema im Markt große Beachtung findet.

Ein Test sollte einen klar definierten Gegenstand, messbare Sicherheitsergebnisse und eine Methodik aufweisen, die ausreichend objektiv, wiederholbar, repräsentativ und fair ist.

Mit der Weiterentwicklung der KI-Technologien und der damit verbundenen Testmethodik wird AV-Comparatives auch weiterhin neue Methoden evaluieren und entwickeln, sofern diese aussagekräftige, reproduzierbare und nützliche Erkenntnisse zur Sicherheit liefern können.

Unabhängige Tests sollten das messen, was nachweisbar ist, und nicht das, was gerade im Trend liegt.

Andreas Clementi, Geschäftsführer und Mitbegründer von AV-Comparatives