Microsoftはウイルス対策テストでsymantecよりも優れています

AV-Comparativesの最新のオンデマンドテストでは、誤検知によりポイントを失った製品がかなりありました。有効なプログラムを誤ってマルウェアとして識別していました。 シマンテックとマイクロソフトは、マルウェアサンプルの検出に基づいてほぼ同じスコアを付けましたが、シマンテックは誤検知によりポイントを失いました。 ただし、それだけではありません。

オンデマンドスキャン

オンデマンドスキャンテストでは、テスト対象の各製品を「過去数週間/数か月間のサンプルを現場でユーザーに当てている/した」サンプルのコレクションに公開します。 サンプルはさらに分析され、同様のファイルが分類され、サンプルセットのサイズが削減されます。そのため、「各ミスは1つのミスグループを表すことを目的としています」。 この特定のテストでは、136, 610個の最近のサンプルを使用しています。 製品の初期スコアは、検出されたサンプルの割合です。

驚くべきことに、SymantecのNorton AntiVirusは、91.2％の検出率で、最も低い検出率を示しました（誤検知を考慮する前）。 Microsoft Security Essentialsは、サンプルの92％を検出し、より高い値を示しました。 99.9％の検出で、G Data AntiVirusはリストのトップを占めました。 他の何人かは99パーセント以上をうまく管理しました。

偽陽性

AV-Comparativesの研究者はクラスタリング技術を使用して、ADVANCED +（最高評価）をADVANCEDから、ADVANCEDをSTANDARDから分離するカットオフポイントを特定します。 それが出発点ですが、多数（16から50）の誤検出がある製品は1つの評価レベルを失い、非常に多数（51から100）の製品は2を失います。 製品の初期評価に関係なく、製品に「非常に多く」（100以上）の誤検知が表示された場合、製品は常にTESTEDの非合格評価を受けます。

テストした20の製品のうち9つは、多くの誤検知により1つの評価レベルを失いました。 少なくとも、それらのどれも非常に多くまたは「クレイジーな」FPを持っていません。 標準の評価から始まるノートンは、AhnLabと同様にTESTEDに沈みました。 ADVANCED +の評価の受賞者サークルには、Avira、Bitdefender、BullGuard、F-Secure、Kasperskyがあります。 完全なレポートを表示するには、ここをクリックしてください。

Microsoftは表彰セクションにリストされていないことに注意してください。 最初はこれは見落としだと思っていましたが、AV-Comparativesの共同設立者Peter Stelzhammerが私を率直に考えました。 「アワードセクションにマイクロソフトをリストアップしないことを決定しました（さらにテストを行うこともありません）」とStelzhammer氏は説明します。 同様に、AV-TestはMicrosoftのスコアを最小ベースラインとして扱うことを選択しました。

加重誤検知

シマンテックは、誤検知の単純なカウントは役に立たないことに長年にわたって満足してきました。 シマンテックの研究者は、誤検知テストには、関係するファイルの普及率に基づく重み付けを含めることを推奨しています。 彼らは、Norton Insight分析システムが、有病率の低いファイルを除くすべてのファイルで誤検知の可能性を排除していると主張しています。 AV-Comparativesの二次資料は、彼らが正しいかもしれないことを示唆しています。

オンデマンドレポートの付録「False Positives」には、各製品が誤ってマルウェアとして検出したすべてのファイル、使用されているマルウェア名、および有病率の推定値がリストされています。 「おそらく100人未満のユーザー」から「おそらく数十万（または数百万）」までの5つのレベルを特定しました。

ご覧のように、各レベルで代表的なユーザー数を選択します。最初のレベルでは50ユーザー、上位レベルでは10倍、最も一般的なプログラムは500, 000ユーザーです。 次に、各製品の誤検知の影響を受ける可能性のあるユーザーの数を計算しました。 下のグラフに示されている結果は、AV-Comparativesが同様の加重FP計算を使用することを検討する必要があることを示唆しています。

このチャートでは、誤検知により評価レベルを失った製品は太字の斜体で表示されます。 私の加重計算では、Norton FPが13, 750人のユーザーに影響を与える可能性があります。 勝者のKasperskyやF-Secureなど、FPの数に基づいて色あせなかったいくつかの製品は、実際にシマンテックよりも大きな効果がありました。

Emsisoftは全体で最大38の誤検知がありました。 ひどいですね しかし、2つの最高レベルの有病率はなかったため、その理論的効果は、合計6 FPのソフォス、または9 FPのESETよりも低くなります。

McAfeeは、基本的なオンデマンドテストで高度な評価を獲得しました。 15の誤検知では、評価レベルを失う原因となる数が不足しています。 しかし、私の加重計算では、ノートンのほぼ16倍の20万人を超えるユーザーに影響を与える可能性があります。

これらは実世界の数字ではなく、誤検知の測定に有病率を使用することの意味を理解するための単なる思考実験です。 この演習を終えた後、AV-Comparativesが有病率を偽陽性テストに含める方法を見つけることを期待しています。 明らかに数字を数えるだけでは十分ではありません。