Betriebssystem/Browser

Phishing-Tests können auf Microsoft Windows-, macOS-, Android- oder iOS-Plattformen durchgeführt werden. Einzelheiten zur genauen Version des Betriebssystems, zur Architektur, zu den verwendeten Browsern und zur Testumgebung werden in den einzelnen Testberichten angegeben.

Bitte beachten Sie, dass Phishing-Tests sowohl mit den in den einzelnen Browsern eingebauten Anti-Phishing-Funktionen ohne zusätzliches Sicherheitsprodukt als auch mit den Anti-Phishing-Maßnahmen von Sicherheitsprodukten durchgeführt werden können. Daher wird in diesem Dokument durchgehend der Begriff “Browser/Sicherheitsprodukt” verwendet.

Der/die Browser und das/die Betriebssystem(e), die bei jedem Test verwendet werden, werden im entsprechenden Testbericht angegeben.

Ziel des Tests

Der Test soll zeigen, wie effektiv die teilnehmenden Browser/Security-Produkte Phishing-Websites erkennen und blockieren und so den Nutzer davor schützen, von diesen Sites betrogen zu werden.

Zielgruppe

Jeder Computernutzer, der sich selbst nicht ganz sicher ist, ob er Phishing-Angriffe erkennen und vermeiden kann, wird von der Verwendung eines Security-Produkts/Browsers mit wirksamem Phishing-Schutz profitieren. Jeder Computerenthusiast oder Fachmann, der technische Unterstützung für Familie, Freunde, Kollegen oder Kunden anbietet, wird sich ebenfalls Gedanken über die Installation oder Empfehlung von Produkten machen, die einen Phishing-Schutz für die von ihm unterstützten Nutzer bieten.

Definition der Bedrohung

Eine Phishing-Website ist eine Website, die versucht, sich als eine rechtmäßige Person, Organisation, Marke, Dienstleistung, Plattform oder Website auszugeben, und die darauf abzielt, die Benutzer dazu zu verleiten, Anmeldeinformationen, persönliche Informationen, Finanzdaten, Authentifizierungscodes, Zahlungsdetails, Identitätsdokumente oder andere sensible Daten preiszugeben oder Handlungen auszuführen, die zu Betrug, Identitätsdiebstahl, Kontokompromittierung, finanziellem Verlust oder anderen kriminellen Aktivitäten führen können.

Eine sehr häufige Art von Phishing-Angriffen besteht darin, dass Spam-Mails verschickt werden, die vorgeben, von einer Bank zu stammen, und in denen die Empfänger aufgefordert werden, sich aus irgendeinem Grund bei ihrem Internet-Banking-Konto anzumelden. In der Mail ist ein Hyperlink enthalten, der den Opfern angeblich einen einfachen Zugang zu ihren Online-Konten ermöglicht. In Wirklichkeit führt der Link zu einer gefälschten Kopie der Anmeldeseite der Bank. Auf dieser werden die Anmeldedaten des Benutzers abgefangen, die dann von den Betrügern verwendet werden können.

Moderne Phishing-Angriffe beschränken sich jedoch nicht auf den Diebstahl von Zugangsdaten. Phishing-Websites können auch versuchen, persönliche Informationen, Zahlungskartendaten, Bankdaten, Einmalpasswörter (OTPs), Wiederherstellungscodes, von der Regierung ausgestellte Identitätsdaten, Details zu Kryptowährungs-Geldbörsen oder andere sensible Informationen zu sammeln. Solche Websites werden im Rahmen dieses Tests als Phishing betrachtet, auch wenn keine Kontodaten angefordert werden.

Es gibt zahlreiche Arten von Online-Betrug, die nicht als Phishing gelten und daher in diesem Test nicht berücksichtigt werden. Beispiele hierfür sind betrügerische Investitionsprogramme, gefälschte Online-Shops, Betrug mit technischem Support, Vorschussbetrug, Romantikbetrug oder irreführende Websites, die sich nicht als eine bestehende vertrauenswürdige Einrichtung ausgeben und deren Hauptzweck nicht die Sammlung sensibler Informationen durch Täuschung ist.

Viele webbasierte Malware-Angriffe nutzen legitime Webserver, um ausführbare Malware zu hosten. Ebenso ist es möglich, dass Phishing-Angriffe ihre Webseiten auf den Servern von seriösen Organisationen hosten, die kompromittiert wurden. Eine Phishing-Seite sollte unabhängig davon erkannt werden, wo sie gehostet wird. Wenn jedoch eine legitime Top-Level-Domain blockiert wird, würde dies als falsches positives Ergebnis gewertet. Wenn eine Phishing-Seite beispielsweise unter der URL www.lycos.com/user2035/personal/index.htm gehostet wird, sollte diese spezielle URL blockiert werden, aber die Sperrung von lycos.com (einer legitimen Domain) wäre ein falsches Ergebnis.

Anwendungsbereich des Tests

Der Test ist optional; Anbieter, die sich an der Haupttestreihe beteiligen, können entscheiden, ob sie teilnehmen möchten oder nicht. Unser Test zum Schutz vor Phishing bewertet die Fähigkeit eines Browsers oder eines Sicherheitsprodukts, Phishing-Webseiten zu erkennen und die Benutzer davor zu warnen. Der Schwerpunkt liegt auf der Erkennung und Blockierung von Phishing-URLs und -Webseiten, die versuchen, Anmeldeinformationen, persönliche Informationen, Finanzdaten, Authentifizierungscodes, identitätsbezogene Informationen oder andere sensible Daten durch Imitation oder Täuschung zu erhalten.

Der Test bewertet den Schutz auf der Ebene der URL und der Webseite. Von den Produkten wird erwartet, dass sie Phishing-Seiten erkennen oder blockieren, bevor sensible Informationen eingegeben oder übermittelt werden. Schutzmechanismen, die sich ausschließlich auf die Analyse der vom Benutzer eingegebenen Daten, die Überwachung ausgehender Übermittlungen oder das Eingreifen erst nach der Eingabe von Informationen stützen, sind nicht Gegenstand dieses Tests.

Wie bereits erwähnt, werden bei Phishing-Angriffen häufig Links in Spam-E-Mails, Textnachrichten, Social-Media-Nachrichten, Werbung, QR-Codes oder kompromittierten Websites verwendet, um Benutzer zum Besuch von Phishing-Seiten zu verleiten. Der Übertragungsvektor, der zur Phishing-URL führt, wird in diesem Test nicht berücksichtigt. Der Test konzentriert sich ausschließlich auf die Fähigkeit des Browsers oder Sicherheitsprodukts, die Phishing-Seite selbst zu erkennen.

Test Setup

Die Prüfung wird auf identischen Prüfsystemen mit einer standardisierten Konfiguration durchgeführt.

Das/die Betriebssystem(e) und der/die Browser, die in einem Test verwendet werden sollen, werden den teilnehmenden Anbietern vor Beginn des Tests bekannt gegeben. Je nach Umfang des Tests und Produktverfügbarkeit können die Tests auf den Plattformen Microsoft Windows, macOS, Android und/oder iOS durchgeführt werden.

Als Browser wird ein gängiger Mainstream-Browser verwendet, der von allen teilnehmenden Produkten unterstützt wird. Bei Produkten, die direkt in das Betriebssystem oder den Browser integriert sind, wird die vom Hersteller empfohlene Konfiguration verwendet.

Auf allen Testsystemen sind identische Betriebssystem- und Browserkonfigurationen installiert. Alle integrierten Phishing-Schutzmechanismen, die nicht Teil des zu testenden Produkts sind, werden deaktiviert, sofern dies technisch machbar und angemessen ist. Bei Tests von Sicherheitsprodukten werden in den Browser integrierte Phishing-Schutzfunktionen nach Möglichkeit deaktiviert, um sicherzustellen, dass der gemessene Schutz durch das zu testende Produkt gewährleistet wird. Bei reinen Browsertests bleibt der systemeigene Phishing-Schutz des Browsers aktiviert.

Jedes Produkt wird installiert, auf die neueste verfügbare Version aktualisiert und mit seinen Standardeinstellungen konfiguriert, sofern im Testbericht nichts anderes angegeben ist.

Settings

Alle Einstellungen werden auf ihren Standardwerten belassen. Die Produkte haben während des Tests uneingeschränkten Zugang zur Cloud. Bevor der eigentliche Test durchgeführt wird, werden alle Produkte getestet, um sicherzustellen, dass sie korrekt konfiguriert sind und ordnungsgemäß funktionieren.

Quellen und Anzahl der Testfälle

Die für den Test verwendeten Phishing-URLs werden aus Spam-E-Mails extrahiert und mit einem Crawler aus dem Internet gesammelt. Es werden mindestens 100 Phishing-Websites verwendet, je nach Dauer des Tests aber möglicherweise auch viel mehr. Für falsch-positive Tests werden mindestens 100 legitime Online-Banking-Websites verwendet.

Testverfahren für Browser/Security-Produkte

Phishing-Websites sind sehr kurzlebig und können schon wenige Stunden nach ihrer Veröffentlichung wieder vom Netz genommen werden. Um sicherzustellen, dass so viele Phishing-Seiten wie möglich getestet werden können, solange sie noch aktiv sind, testen wir alle Phishing-URLs, die wir erhalten, sofort; alle, die sich als ungeeignet erweisen, werden von den Ergebnissen ausgeschlossen. Eine URL kann sich als ungeeignet erweisen, wenn es sich nicht um eine echte Phishing-Site handelt, wenn sie offline ist, wenn es sich offensichtlich um ein Duplikat handelt oder wenn eine Fehlfunktion erkennbar ist (z. B. wenn beim Öffnen der Seite Fehlermeldungen erscheinen). Unser automatisiertes Testverfahren speist die Test-PCs mit einer Phishing-URL, die dann von allen Rechnern gleichzeitig aufgerufen wird (um sicherzustellen, dass die Verfügbarkeit der Seite für alle Produkte gleich ist). Dies geschieht auf eine Art und Weise, die das Klicken eines Benutzers auf einen Link im wirklichen Leben nachahmt (im Gegensatz zu einem Argument, das direkt an den Browser weitergegeben wird). Es werden Screenshots angefertigt, um festzustellen, ob eine Phishing-Seite blockiert wurde und/oder eine Warnmeldung angezeigt wurde oder nicht. Jeder Test-PC wird dann neu gestartet und auf seine ursprüngliche Konfiguration zurückgesetzt, bevor der nächste Testfall beginnt. Auf diese Weise wird sichergestellt, dass für jeden Testfall die gleichen Bedingungen gelten und dass es nicht zu Verwechslungen zwischen den Warnmeldungen eines Testfalls und denen eines nachfolgenden Testfalls kommt.

Um als erfolgreich zu gelten, muss ein Produkt den Benutzer warnen, dass eine Website als unsicher gilt, bevor sensible Informationen eingegeben oder übermittelt werden. Schutzmechanismen, die erst nach der Dateneingabe oder -übermittlung ausgelöst werden, gelten für die Zwecke dieses Tests nicht als erfolgreicher Schutz.

False Positives

Wie bei vielen unserer anderen Tests stellen wir sicher, dass die Produkte keine hohen Erkennungsraten auf Kosten einer hohen Rate von Fehlalarmen erreichen. Ein False-Positives Test wird mit einer Reihe beliebter legitimer Websites durchgeführt, die nach Anmeldedaten oder persönlichen Informationen fragen; der Schwerpunkt liegt dabei auf Online-Banking-Sites weltweit. Ein einziger False Positive auf einer Online-Banking-Website reicht aus, um die Bewertung eines Programms herabzustufen.

Zusammenfassung

Detection	Ja
False-Positives	Ja
Cloud-Konnektivität	Ja
Aktualisierungen erlaubt	Ja
Standard-Konfiguration	Ja

Betriebssystem

Microsoft Windows; die genauen Angaben zur verwendeten Version sind in den einzelnen Testberichten vermerkt.

Ziel des Tests

Mit diesem Test soll festgestellt werden, wie effektiv und einfach verschiedene Antivirenprodukte Malware entfernen, die ein System bereits infiziert hat.

Zielgruppe

Jeder, der versuchen wird, eine Malware-Infektion von einem PC zu entfernen, wird von den Ergebnissen dieses Tests profitieren. Er ist vor allem für IT-Mitarbeiter und Computertechniker interessant, die im Rahmen ihrer Arbeit Malware entfernen, aber auch für Computernutzer, die ihren Computer selbst warten. Es wird davon ausgegangen, dass der Benutzer über keinerlei technische Spezialkenntnisse verfügt (außer der Fähigkeit, Windows im abgesicherten Modus zu starten) und sich auf die intuitive Verwendung der betreffenden Antiviren-Software verlässt, um die Malware vom System zu entfernen.

Definition der Bedrohung

Malware kann definiert werden als Computerprogramme, die einen eindeutigen und erheblichen böswilligen Zweck verfolgen. Dies schließt einige Programme wie z. B. kommerzielle Keylogger aus, die rechtmäßig verwendet werden können, z. B. bei Computerschulungen, und schließt auch "potenziell unerwünschte Programme" wie einige Browser-Symbolleisten aus, die zwar lästig sind, aber nicht als bösartig eingestuft werden können.

Anwendungsbereich des Tests

Der Test bezieht sich ausschließlich auf die Fähigkeit der einzelnen Produkte, Malware von einem bereits infizierten System zu entfernen. Er misst nicht die Erkennung oder den Schutz.

Test Setup

Das Betriebssystem ist auf jedem Test-PC installiert und vollständig gepatcht.

Settings

Die Produkte werden mit Standardeinstellungen getestet. Sollte ein Scan die Malware nicht entfernen, können die Einstellungen für nachfolgende Scans im Einzelfall geändert werden. Dies wird gegebenenfalls im Testbericht vermerkt.

Quellen und Anzahl der Testfälle

Die Proben wurden nach den folgenden Kriterien ausgewählt: Alle Antivirenprodukte müssen in der Lage sein, den verwendeten Malware-Dropper im inaktiven Zustand zu erkennen. Das Sample muss in den letzten 6 Monaten auf mindestens zwei PCs unserer lokalen Kunden verbreitet gewesen sein (laut Metadaten) und/oder in der Praxis gesehen worden sein. Die Malware muss nicht-destruktiv sein (mit anderen Worten, ein Antiviren-Produkt sollte das System reparieren/bereinigen können, ohne dass Windows-Systemdateien usw. ersetzt werden müssen). Sie muss außerdem ein übliches Malware-Verhalten unter dem verwendeten Betriebssystem aufweisen, um auch Verhaltensweisen zu repräsentieren, die von vielen anderen Malware-Samples beobachtet werden. Etwa ein Dutzend zufällig ausgewählte Malware-Samples werden aus dem Pool der Samples, die die oben genannten Kriterien erfüllen, ausgewählt.

Testverfahren

Für jede Probe wird eine gründliche Malware-Analyse durchgeführt, um genau festzustellen, welche Änderungen vorgenommen wurden. Der physische Rechner wird mit einer Bedrohung infiziert, neu gebootet und überprüft, ob die Bedrohung vollständig ausgeführt wird. Das Antivirenprodukt wird installiert und aktualisiert. Wenn dies nicht möglich ist, wird der PC im abgesicherten Modus neu gestartet. Wenn der abgesicherte Modus nicht möglich ist und eine Rettungsdiskette für das betreffende AV-Produkt verfügbar ist, wird diese verwendet, um vor der Installation eine vollständige Systemprüfung durchzuführen. Es wird ein gründlicher/vollständiger Systemscan durchgeführt und die Anweisungen des Antivirenprodukts werden befolgt, um die Malware zu entfernen, wie es ein typischer Heimanwender tun würde. Der Rechner wird neu gestartet, und das System wird manuell untersucht/analysiert, um zu prüfen, ob die Malware entfernt wurde und Reste davon übrig geblieben sind.

Bewertungen

Wir haben zugelassen, dass bestimmte vernachlässigbare/unwichtige Spuren zurückbleiben, vor allem weil aufgrund des Verhaltens/der Systemveränderungen einiger der verwendeten Malware-Samples keine perfekte Punktzahl erreicht werden kann. Die "Entfernung von Malware" und die "Entfernung von Überresten" werden in einer Dimension zusammengefasst und wir haben auch die Bequemlichkeit in Betracht gezogen. Die Bewertungen werden wie folgt angegeben, wobei A die höchste und D die niedrigste Note ist:

1. Beseitigung von Malware/Spuren

• Malware entfernt, nur noch vernachlässigbare Spuren (A)
• Malware entfernt, aber einige ausführbare Dateien, MBR- und/oder Registrierungsänderungen (z. B. Ladepunkte usw.) verbleiben (B)
• Malware entfernt, aber lästige oder potenziell gefährliche Probleme (z. B. Fehlermeldungen, kompromittierte Hosts-Datei, deaktivierter Task-Manager, deaktivierte Ordneroptionen, deaktivierter Registrierungseditor, Erkennungsschleife usw.) bleiben bestehen (C)
• Nur der Malware-Dropper wurde neutralisiert und/oder die meisten anderen abgelegten bösartigen Dateien/Veränderungen wurden nicht entfernt, oder das System ist nicht mehr normal nutzbar; abgelegte bösartige Dateien befinden sich noch auf dem System; Entfernung fehlgeschlagen (D)

1. Bequemlichkeit:

• Die Entfernung kann im normalen Modus (A) erfolgen.
• Die Entfernung erfordert das Booten im abgesicherten Modus oder andere integrierte Dienstprogramme und manuelle Aktionen (B)
• Entfernung erfordert Rettungsdiskette (C)
• Entfernung oder Installation erfordert Kontaktaufnahme mit dem Support o.ä.; Entfernung fehlgeschlagen (D)

False Positives

"Aggressive Bereinigung" - d.h. ein Programm, das mehr löscht, als es sollte - wird bei diesem Test als falsches Positiv angesehen.

Zusammenfassung

Detection	Ja
False-Positives	Ja
Cloud-Konnektivität	Ja
Aktualisierungen erlaubt	Ja
Standard-Konfiguration	Ja

Betriebssystem

Microsoft Windows; die genaue Version wird in jedem Testbericht vermerkt.

Ziel des Tests

Ziel des Tests ist es, zu vergleichen, wie sehr die getesteten Security-Produkte alltägliche Aufgaben wie das Starten von Anwendungen verlangsamen, während sie gleichzeitig das System schützen.

Zielgruppe

Der Test ist für alle Nutzer von Windows-PCs interessant, die sich Sorgen machen, dass Security-Produkte die Performance ihres Systems beeinträchtigen könnten.

Definition von Performance

Performance ist hier definiert als die Geschwindigkeit, mit der ein PC eine bestimmte Aufgabe ausführt. Die Performance wird auf einem PC getestet auf dem eine bestimmte Security-Software läuft und in Vergleich zu einem PC ohne Security-Produkt gesetzt. Es sei darauf hingewiesen, dass die wahrgenommene Performance, d. h. die Frage, ob der Nutzer subjektiv das Gefühl hat, dass das System verlangsamt wird, von Bedeutung ist. In einigen Fällen kann die Auswirkung von Security-Software auf bestimmte Aktionen, wie das Öffnen eines Programms, an sich einen vernachlässigbaren Einfluss auf die tatsächliche Produktivität des Nutzers während eines Arbeitstages haben, den Nutzer aber dennoch irritieren oder frustrieren. Dies kann indirekt dazu führen, dass er oder sie weniger produktiv ist. Da wir die Verwendung eines PCs ohne Antivirus-Software nicht befürworten, sollten die relativen Werte der getesteten Produkte als wichtiger angesehen werden, als der Unterschied zwischen dem schnellsten Produkt und einem PC ohne Security-Software.

Anwendungsbereich des Tests

Der Test misst die von den getesteten Programmen verursachte Reduzierung der Performance (Geschwindigkeit) bei der Ausführung einer Reihe von alltäglichen Aufgaben wie dem Öffnen und Speichern von Dateien. Er misst nicht die Auswirkungen der Security-Produkte auf die Boot-Zeit, da einige Produkte den falschen Eindruck erwecken, schnell geladen zu sein. In Wirklichkeit werden die Schutzfunktionen erst mit Verzögerung gestartet, um den Eindruck zu erwecken, dass das Produkt den Startvorgang nicht verlangsamt hat. So wird der volle Schutz erst einige Zeit nach dem Erscheinen des Windows-Desktops geboten, wobei der Anschein von Geschwindigkeit auf Kosten der Sicherheit geht. Bitte beachten Sie, dass dieser Test in keiner Weise die Malware-Erkennungs-/Schutzfähigkeiten der teilnehmenden Produkte testet. AV-Comparatives führt eine Reihe von separaten Tests zum Schutz vor Malware durch, insbesondere den Real-World Protection Test, dessen Einzelheiten Sie auf unserer Website finden, www.av-comparatives.org. Wir raten davon ab, ein Antivirus-Produkt nur aufgrund einer geringen Beeinflussung der Performance auszuwählen, da es auch einen wirksamen Schutz bieten muss.

Test Setup

Das Betriebssystem wird auf einem einzigen Test-PC installiert und aktualisiert. Es wird darauf geachtet, andere Faktoren, die die Messungen und/oder die Vergleichbarkeit des Systems beeinflussen könnten, zu minimieren; so wird beispielsweise Windows Update so konfiguriert, dass es während des Tests keine Updates herunterlädt oder installiert. Außerdem sind Microsoft Office und Adobe Reader installiert, so dass die Geschwindigkeit beim Öffnen/Speichern von Microsoft Office- und PDF-Dateien gemessen werden kann. Zwei weitere Programme, die beide mit Leistungstests zu tun haben, werden installiert: UL Procyon® Benchmark-Suitedie eine in der Branche anerkannte Suite für Leistungstests ist, und unsere eigene Automatisierung, die bestimmte Aufgaben ausführt und die dafür benötigte Zeit protokolliert. Damit werden verschiedene Dateioperationen simuliert, die ein Computernutzer ausführen würde.

Settings

Bei allen Consumer Produkten werden die Standardeinstellungen belassen.

Testverfahren

Alle Tests werden, um die Auswirkungen von Cloud-Diensten und -Funktionen in der realen Welt zu berücksichtigen, mit einer aktiven Internetverbindung durchgeführt. Die von den Produkten verwendeten Optimierungsprozesse/Fingerprinting werden ebenfalls berücksichtigt - das bedeutet, dass die Ergebnisse die Auswirkungen auf ein System darstellen, das bereits eine Zeit lang vom Nutzer betrieben wurde. Die Tests werden mindestens 10 Mal wiederholt (fünf Mal mit und fünf Mal ohne Fingerprinting), um Mittelwerte zu erhalten und Messfehler herauszufiltern. Im Falle von Schwankungen werden die Tests zusätzlich wiederholt. Nach jedem Durchlauf wird die Workstation neu gebootet. Die automatisierten Testverfahren sind wie folgt:

Kopieren von Dateien

Wir haben eine Reihe verschiedener gängiger Dateitypen von einer physischen Festplatte auf eine andere physische Festplatte kopiert. Einige Antivirus-Produkte ignorieren möglicherweise bestimmte Dateitypen standardmäßig (z.B. aufgrund ihres Dateiformats) oder verwenden Fingerprinting-Technologien, die bereits gescannte Dateien überspringen, um die Geschwindigkeit zu erhöhen.

Archivierung und Wiederherstellung

Archive werden häufig zur Speicherung von Dateien verwendet, und die Auswirkungen von Antivirus-Software auf die Zeit, die für die Erstellung neuer Archive oder die Wiederherstellung von Dateien aus bestehenden Archiven benötigt wird, dürften für die meisten Nutzer von Interesse sein. Wir haben eine Reihe von verschiedenen Dateitypen archiviert, die häufig auf Heim- und Büroarbeitsplätzen zu finden sind.

Installation von Anwendungen

Wir haben mehrere gängige Anwendungen im Silent-Intstall Modus installiert und gemessen, wie lange es dauert. Hier haben wir das Fingerprinting nicht berücksichtigt, da eine Anwendung normalerweise nur einmal installiert wird.

Starten von Anwendungen

Microsoft Office- (Word, Excel, PowerPoint) und PDF-Dokumente sind sehr verbreitet. Wir haben verschiedene Dokumente in Microsoft Office und in Adobe Acrobat Reader geöffnet und später wieder geschlossen. Gemessen wurde die Zeit, die die Viewer- oder Editor-Anwendung zum Starten benötigt. Obwohl wir die Ergebnisse für das erste Öffnen und die nachfolgenden Öffnungen auflisten, halten wir die nachfolgenden Öffnungen für wichtiger, da dieser Vorgang normalerweise mehrmals von den Nutzern durchgeführt wird und eine Optimierung der Antivirus-Produkte erfolgt, um ihre Auswirkungen auf die Systeme zu minimieren.

Download von Dateien

Von einem Webserver im Internet werden allgemein gebräuchliche Dateien heruntergeladen.

Durchsuchen von Websites

Allgemein gebräuchliche Websites werden mit Google Chrome geöffnet und dabei die Zeit zum vollständigen Laden und Anzeigen der Website gemessen. Wir messen nur die Zeit für die Navigation zur Website, wenn bereits eine Instanz des Browsers in Betrieb ist.

Procyon-Test

UL Procyon®-Benchmark suite ausgeführt wird, um die Auswirkungen auf das System während der realen Produktnutzung zu messen.

BEWERTUNGEN

Um eine Gesamtbewertung für jedes Produkt zu erstellen, kombinieren wir die Ergebnisse des Procyon-Tests und unserer eigenen automatischen Tests wie folgt. Die Zeitspanne, die für jede der automatisierten Aufgaben benötigt wird, wird in die Kategorien Sehr schnell, Schnell, Mittelmäßig und Langsam eingeteilt. Für jede Aufgabe werden Punkte vergeben, wobei die Produkte in der Kategorie Schnell 15 Punkte, Schnell 10 Punkte, Mittelmäßig 5 Punkte und Langsam 0 Punkte erhalten. Aus den vergebenen Punkten wird ein aufgerundeter Durchschnitt gebildet, um die Endnote zu ermitteln. Für den Test zum Kopieren von Dateien wird die durchschnittliche Punktzahl für den ersten Durchlauf (mit brandneuem Image) sowie der Durchschnitt der nachfolgenden Durchläufe (um z. B. Fingerabdrücke des Sicherheitsprodukts zu berücksichtigen) herangezogen. Für den Test "Starten von Anwendungen" werden nur die Punktzahlen der nachfolgenden Durchläufe zur Bildung des Durchschnitts verwendet. Da es 6 Einzelaufgaben gibt, kann ein Produkt insgesamt bis zu 90 Punkte erhalten. Die Punktzahl wird dann zur Procyon-Punktzahl addiert, die bis zu 100 geht.

Betriebssystem

Microsoft Windows; die genaue Version wird im jeweiligen Testbericht vermerkt.

Ziel des Tests

Ziel dieses Tests ist es, herauszufinden, wie effektiv die Security-Produkte den Computer vor aktiven, realen Malware-Bedrohungen bei der Nutzung des Internets schützen. Jede der Schutzkomponenten in jedem Produkt kann zum Blockieren der Malware verwendet werden. Das Ziel ist es, herauszufinden ob die Security-Software den Computer schützt, indem sie die Malware daran hindert, Systemänderungen vorzunehmen (oder alle Änderungen zu beseitigen), wobei die Frage nach dem wie in diesem Test von untergeordneter Bedeutung ist.

Zielgruppe

Jeder, der mit einem Computer unter Microsoft Windows im Internet surft oder Webmail abruft, ist anfällig für webbasierte Malware-Angriffe und sollte über die Wirksamkeit von Security-Produkten informiert sein, die vor solchen Angriffen schützen können. IT-Fachleute und -Enthusiasten, die Kollegen, Kunden, Familienangehörige und Freunde technisch unterstützen, wollen wissen, welche Security-Produkte den besten Schutz für die von ihnen unterstützten Nutzer bieten.

Definition der Bedrohung

Webbasierte Malware ist jede Art von bösartigem Programm (z. B. Virus, Wurm, Trojaner), das aus dem Internet stammt und auf dem Computer des Benutzers ausgeführt werden kann, entweder über einen Exploit oder indem dem Benutzer vorgetäuscht wird, dass es sich um eine harmlose Datei wie ein Spiel handelt (z. B. durch Social Engineering).

Anwendungsbereich des Tests

Der Test befasst sich mit Malware, die aus dem Internet kommt, und berücksichtigt keine anderen Vektoren, über die Malware auf einen Computer gelangen kann, z. B. über ein USB-Flash-Laufwerk oder ein lokales Netzwerk. Die getesteten Produkte haben während des Tests uneingeschränkten Zugang zum Internet und können Reputationsfunktionen oder andere Cloud-Dienste in Anspruch nehmen. Daher gibt der Test keine Auskunft darüber, wie gut ein Produkt einen PC schützt, der offline ist. Lesern, die sich Gedanken über den proaktiven Offline-Schutz von Sicherheitsprodukten machen, wird empfohlen, den Bericht über unseren Heuristik-/Verhaltenstest zu lesen, der genau dieses Szenario abdeckt. Erreicht ein Produkt in diesem Test oder einem Abschnitt davon 100% Erkennung, so zeigt dies nur, dass es gegen alle bestimmten Muster in diesem einzelnen Test/Abschnitt geschützt hat.

Test Setup

Der Test wird auf identischen Systemen durchgeführt. Zu Beginn eines jeden Monats überprüfen wir, ob die neueste Hauptversion jedes Produkts installiert ist. Aktualisierungen kleinerer Versionen werden installiert, sobald sie verfügbar sind, und die neuesten Signaturen werden vor jedem einzelnen Testfall angewendet. Auf allen Testrechnern ist die Testing-Framework-Software installiert. Diese führt das Testverfahren durch, indem sie von den Testern übermittelte bösartige URLs aufruft, die zu einer Kompromittierung des Systems führen würden, wenn sie nicht erfolgreich durch die Sicherheitssoftware geschützt würden. Der Testrahmen umfasst auch eine eigene Überwachungssoftware, so dass alle Änderungen am System während des Tests aufgezeichnet werden. Außerdem überprüfen die Erkennungsalgorithmen, ob das Antivirenprogramm auf die Malware reagiert. Unser Testsystem überwacht, ob Änderungen an Dateien, der Windows-Registrierung, dem MBR, laufenden Prozessen, dem Netzwerkverkehr usw. vorgenommen werden. Es verlässt sich nicht auf das getestete Produkt, um festzustellen, ob die Malware blockiert wurde, was bedeutet, dass Sicherheitsanwendungen genauso effektiv getestet werden können wie lokal installierte Softwarelösungen. Eine weitere Komponente der Test-Framework-Software setzt die Testrechner nach jedem Testfall auf ihre Ausgangskonfiguration zurück.

Settings

In der Consumer-Testreihe werden alle Produkteinstellungen auf ihren Standardwerten belassen. Bei der Testserie für Unternehmen sind Änderungen der Einstellungen erlaubt und werden in den Berichten dokumentiert. Die Produkte haben während des gesamten Tests uneingeschränkten Zugriff auf die Cloud. Vor der eigentlichen Testdurchführung werden alle Produkte getestet, um sicherzustellen, dass sie korrekt konfiguriert sind und ordnungsgemäß funktionieren. Zusätzlich setzen wir Tools ein, um zu prüfen und zu protokollieren, ob die Verbindung zum Cloud-Dienst des Produkts (sofern vorhanden) ordnungsgemäß funktioniert.

Wenn Benutzerinteraktionen von einem Produkt verlangt werden, wählen wir immer "Zulassen" oder etwas Gleichwertiges. Wenn das Produkt das System trotzdem schützt, betrachten wir die Malware als blockiert, auch wenn wir die Ausführung des Programms erlauben, wenn der Benutzer aufgefordert wird, eine Entscheidung zu treffen. Wenn das System dann kompromittiert wird, betrachten wir es als benutzerabhängig. Unter "Schutz" verstehen wir, dass das System nicht kompromittiert ist. Dies bedeutet, dass die Malware nicht ausgeführt wird (oder entfernt/beendet wird) und keine Systemveränderungen stattfinden. Eine Warnung der Outbound-Firewall über einen laufenden Malware-Prozess, in der gefragt wird, ob der Datenverkehr vom Arbeitsplatz des Benutzers zum Internet blockiert werden soll oder nicht, betrachten wir nicht als Schutz.

Quellen und Anzahl der Testfälle

Wir versuchen, sichtbare und relevante bösartige Websites/Malware zu verwenden, die derzeit im Umlauf sind und ein Risiko für normale Benutzer darstellen. Wir versuchen, so viele Exploits aus der freien Wildbahn wie möglich einzubeziehen; diese werden in der Regel von fast allen wichtigen Sicherheitsprodukten gut abgedeckt, was ein Grund dafür sein könnte, dass die Ergebnisse relativ hoch ausfallen, abgesehen von der Tatsache, dass es auf einem vollständig gepatchten Windows-System nicht viele verschiedene Exploits gibt, gegen die getestet werden kann. Der Rest sind URLs, die direkt auf ausführbare Malware-Dateien verweisen; dadurch wird die Malware-Datei heruntergeladen und so ein Szenario nachgestellt, in dem der Benutzer durch Social Engineering dazu verleitet wird, Links in Spam-Mails oder auf Websites zu folgen oder einen Trojaner oder andere bösartige Software zu installieren.

Wir verwenden unser eigenes Crawling-System, um kontinuierlich nach bösartigen Websites zu suchen und bösartige URLs zu extrahieren (einschließlich gespammter bösartiger Links). Wir suchen auch manuell nach bösartigen URLs. Für den seltenen Fall, dass unsere internen Methoden an einem Tag nicht genügend gültige bösartige URLs finden, haben wir einige externe Forscher unter Vertrag genommen, die zusätzliche bösartige URLs bereitstellen (zunächst zur ausschließlichen Verwendung durch AV-Comparatives) und nach zusätzlichen (Re-)Quellen suchen.

Bei dieser Art von Tests ist es sehr wichtig, genügend Testfälle zu verwenden. Wenn bei Vergleichstests eine unzureichende Anzahl von Proben verwendet wird, deuten die Unterschiede in den Ergebnissen möglicherweise nicht auf die tatsächlichen Unterschiede in der Schutzwirkung der getesteten Produkte hin. Bei unseren Tests werden viel mehr Testfälle (Proben) pro Produkt und Monat verwendet als bei ähnlichen Tests anderer Prüflabors. Aufgrund der dadurch erzielten höheren statistischen Signifikanz betrachten wir alle Produkte in jeder Ergebnisgruppe als gleich wirksam, wobei wir davon ausgehen, dass die Rate der falsch-positiven Ergebnisse unter dem Branchendurchschnitt liegt.

Testverfahren

Vor dem Aufrufen jeder neuen bösartigen URL aktualisieren wir die Programme/Signaturen (wie oben beschrieben). Unser automatisiertes Testverfahren sendet eine bösartige URL an alle Testrechner gleichzeitig, um sicherzustellen, dass für jedes Produkt die gleichen Testbedingungen gelten. Der Bewertungsprozess für jeden Testfall erkennt alle Abweichungen zwischen den Malware-Dateien, die auf den einzelnen Testrechnern ausgeführt werden. Nachdem die Malware ausgeführt wurde (sofern sie nicht zuvor blockiert wurde), warten wir mehrere Minuten auf bösartige Aktionen und geben z. B. Verhaltensblockern Zeit, zu reagieren und die von der Malware ausgeführten Aktionen zu korrigieren. Wenn die Malware nicht erkannt wird und das System tatsächlich infiziert/kompromittiert ist, geht der Prozess zu "System kompromittiert" über. Andernfalls wird davon ausgegangen, dass das Produkt das Testsystem geschützt hat, es sei denn, es ist eine Benutzerinteraktion erforderlich. Wenn in diesem Fall die schlechtestmögliche Entscheidung des Benutzers dazu führt, dass das System kompromittiert wird, bewerten wir dies als "benutzerabhängig". Wenn ein getestetes Produkt eine Benutzerentscheidung verlangt, wählen wir immer die Option, das Programm laufen zu lassen (z. B. "Zulassen"). In den Fällen, in denen wir dies tun, das Programm aber trotzdem blockiert wird, wird davon ausgegangen, dass das Programm das System geschützt hat. Nach jedem Testfall wird der Rechner in seinen sauberen Zustand zurückgesetzt.

False Positives

Der Fehlalarmtest im dynamischen "Real-World"-Gesamtproduktschutztest besteht aus zwei Teilen: fälschlicherweise blockierte Domänen (beim Browsen) und fälschlicherweise blockierte Dateien (beim Herunterladen/Installieren). Es ist notwendig, beide Szenarien zu testen, da das Testen nur eines der beiden oben genannten Fälle Produkte benachteiligen könnte, die sich hauptsächlich auf eine Art von Schutzmethode konzentrieren, entweder URL-Filterung oder auf Zugriffs-/Verhaltens-/Reputations-basierten Dateischutz.

1. a) Falsch blockierte Domains (beim Surfen)

Wir verwenden etwa eintausend zufällig ausgewählte populäre Domains. Blockierte, nicht bösartige Domains/URLs werden als False Positives (FPs) gezählt.

1. b) Falsch blockierte Dateien (beim Herunterladen/Installieren)

Wir verwenden etwa einhundert verschiedene Anwendungen, die entweder als Top-Downloads oder als neue/empfohlene Downloads von zehn verschiedenen beliebten Download-Portalen aufgeführt sind. Die Anwendungen werden von den Original-Websites der Software-Entwickler heruntergeladen (und nicht vom Host des Download-Portals), auf der Festplatte gespeichert und installiert, um zu sehen, ob sie in irgendeiner Phase dieses Verfahrens blockiert werden. Zusätzlich haben wir einige saubere Dateien aufgenommen, die in den letzten Monaten des Real-World Protection Tests gefunden und beanstandet wurden.

Zusammenfassung

Detection	Ja
False-Positives	Ja
Cloud-Konnektivität	Ja
Aktualisierungen erlaubt	Ja
Standard-Konfiguration	Ja (für Verbraucherprodukte)