多くのセキュリティスイートは、実際のテストでの保護を改善します

インスブルックに本拠を置くAV-Comparativesの研究者は、実世界のユーザーエクスペリエンスに可能な限り近い方法でセキュリティスイートの保護力をテストするために精力的に取り組んでいます。 毎日20近いスイートを実際のマルウェア攻撃にさらし、自動化されたシステムを使用して、製品がテストにどれだけ耐えたかを記録します。 過去6か月の間に、3, 000以上のテストケースを経験しました。 半年間の結果が出ており、前回の報告以来、印象的な数の製品が改善されました。

サンプルサイズの重要性

このようなテストでは、より大きなサンプルセットでより正確な結果が得られることは直感的に明らかですが、今回はAV-Comparativesについて、サンプルセットが小さすぎる場合の結果を明確に説明しました。 簡単な別のレポートに統計が記載されており、それらは少し驚くべきものです。

特定の製品が10, 000個のマルウェアサンプルのセットから80％を検出したとします。 同じコレクションからランダムに10個のサンプルを選択するとします。 レポートは、考えられるすべての結果のチャートを使用して、同じ検出率、高い検出率、または低い検出率を達成する可能性がほぼすべて等しいことを示しています。 はい、10個のサンプルに削減することは極端な場合ですが、それは確かに重要です。

試験方法

自動および手動の検索方法を使用して、研究チームは実際の悪意のあるURLを毎日収集しています。 具体的には、マルウェアファイルへの直接リンクとドライブバイダウンロードサイトの組み合わせを選択します。 その日のサンプルを1つずつ調べて、すべての製品を特定のURLに同時に公開し、各製品の反応を観察します。 スイートのコンポーネントがマルウェアを回避する場合、それは成功です。 マルウェアがすり抜けてハウスキーピングを設定する場合、それは失敗です。

時々、スイートは 何かを 見つけたという通知とともにポップアップし、それをブロックするか許可するかをユーザーに尋ねます。 テスト目的で、AV-Comparativesアナリストは常にアクションを許可することを選択します。 このアクションにもかかわらずシステムを正常に防御する製品は、完全な信用を得ます。 ユーザーの誤った選択によりシステムが危険にさらされる製品は、半分のクレジットを取得します。

特定のテストケースが完了すると、すべてのテストシステムがマルウェア対策前の状態に再イメージ化され、次のテストケースの準備が整います。

偽陽性

セキュリティソフトウェアが正当なファイルまたはWebサイトへのアクセスを誤ってブロックすると、誤検知が発生します。 セキュリティスイートで有効なファイルを削除したり、無害なWebサイトから遠ざけたりするのは望ましくありません。 AV-Comparativesは、約1000のランダムに選択されたドメインと約100の新しい人気のあるプログラムで各製品をテストしました。 テストの目的で、彼らはダウンロードポータルからではなく、開発者のサイトから各プログラムをダウンロードしました。

このレポートでは、統計および評判に基づくセキュリティ分析により、新しいプログラムやサイトがブロックまたは警告されることがよくあると指摘しています。 「このような保護技術は…高得点を獲得するのに役立ちますが…これは、それらが…新しすぎるという理由だけで、無実/クリーンなファイルとURLの検出/ブロックにつながる可能性があります」と述べています。 この種の検出の強力な支持者であるノートンは、AV-Comparativesテストに参加していません。

大幅な改善

現在のレポートに含まれる製品の半数以上が、このレポートの前版よりもスコアが高くなっています。 ヴィプレ、マカフィー、フォーティネットはすべて最後に失敗し、最低の合格点である標準を獲得することさえできませんでした。 今回、フォーティネットとマカフィーはADVANCEDを評価し、VipreはSTANDARDになりました。 3つはすべて、誤検知により評価が低下しました。 検出のみに基づいて、マカフィーとフォーティネットは最高の評価であるADVANCED +を評価しました。

avast！でeScanはSTANDARDからADVANCED +にジャンプしました。 、ESET、Trend MicroはADVANCEDからADVANCED +に移行しました。 以前にSTANDARDを評価していた他の数人が、今回はADVANCEDの評価を管理しました。

Bitdefenderは、独立したラボテストで定期的にトップスコアを獲得しています。 マルウェアの検出に基づいて、前回と同様にADVANCED +を評価しましたが、誤検出によりADVANCEDにノックダウンされました。 F-SecureとBullGuardでも同じことが起こりました。

AV-Comparativesの全製品動的テストは、私が遭遇した中で最も労働集約的なテストの1つです。 研究所がインスブルック大学とオーストリア政府からの支援に依存していることは驚くことではありません。 それは多くの作業ですが、最終結果は、製品が実際のユーザーをどれだけ保護するかを非常に厳密に近似するテストです。