ウイルス対策およびセキュリティソフトウェアのテスト方法

すべてのウイルス対策製品またはセキュリティスイート製品は、多数のセキュリティリスクと迷惑からあなたを保護することを約束します。 しかし、彼らは実際に彼らの約束を果たしていますか？ これらの製品をレビューのために評価するとき、さまざまな方法でテストに彼らの主張を置きます。 各レビューでは、テストの結果と製品の実地体験が報告されます。 この記事では、これらのテストがどのように機能するかを詳しく説明します。

もちろん、すべてのテストがすべての製品に適しているわけではありません。 多くのウイルス対策ユーティリティにはフィッシングからの保護が含まれていますが、そうでないものもあります。 ほとんどのスイートにはスパムフィルタリングが含まれていますが、一部のスイートにはこの機能が省略されており、一部のウイルス対策製品にはボーナスとして追加されています。 特定の製品が提供する機能が何であれ、私たちはそれらをテストします。

リアルタイムアンチウイルスのテスト

すべての強力なウイルス対策ツールには、既存のマルウェアの侵入を探して破壊するオンデマンドスキャナーと、新しい攻撃を防ぐためのリアルタイムモニターが含まれています。 過去には、実際にはマルウェアに感染した仮想マシンのコレクションを維持して、既存のマルウェアを削除する各製品の機能をテストしてきました。 マルウェアコーディングの進歩により、ライブマルウェアでのテストは非常に危険になりましたが、各製品のリアルタイム保護を引き続き実行できます。

ほとんどのセキュリティベンダーが毎年の更新サイクルを終了する春の早い時期に、このテストのためにマルウェアサンプルの新しいコレクションを収集します。 マルウェアをホストする最新のURLのフィードから開始し、数百のサンプルをダウンロードして、管理可能な数まで選別します。

さまざまな手書きのツールを使用して、各サンプルを分析します。 サンプルの一部は、仮想マシンで実行されていることを検出し、悪意のある活動を控えています。 単にそれらを使用しません。 さまざまな種類を探し、ファイルシステムとレジストリを変更するサンプルを探します。 多少の努力を払って、コレクションを管理可能な数に減らし、各サンプルがどのシステム変更を行ったかを正確に記録します。

製品のマルウェアブロック機能をテストするために、クラウドストレージからサンプルのフォルダーをダウンロードします。 一部の製品のリアルタイム保護はすぐに開始され、既知のマルウェアを一掃します。 リアルタイム保護をトリガーする必要がある場合は、各サンプルをシングルクリックするか、コレクションを新しいフォルダーにコピーします。 アンチウイルスがサイト上で削除するサンプルの数に注意します。

次に、残りの各サンプルを起動し、ウイルス対策がそれを検出したかどうかを確認します。 検出がいつ発生したかに関係なく、検出された合計パーセンテージを記録します。

マルウェア攻撃の検出だけでは不十分です。 アンチウイルスは実際に攻撃を防ぐ必要があります。 小さな社内プログラムがシステムをチェックして、マルウェアがレジストリを変更したか、ファイルをインストールしたかどうかを判断します。 実行可能ファイルの場合、それらのプロセスのいずれかが実際に実行されているかどうかもチェックします。 そして、測定が完了するとすぐに、仮想マシンをシャットダウンします。

製品がマルウェアサンプルによるすべての実行可能トレースのインストールを妨げる場合、非実行可能トレースでシステムが乱雑になるのをどれだけ防いだかに応じて、8、9、または10ポイントを獲得します。 マルウェアを検出したが、実行可能コンポーネントのインストールを妨げなかった場合、半分のクレジット、5ポイントが得られます。 最後に、ウイルス対策による保護の試みにもかかわらず、1つ以上のマルウェアプロセスが実際に実行されている場合、それはわずか3ポイントの価値があります。 これらすべてのスコアの平均が、製品の最終的なマルウェアブロックスコアになります。

悪意のあるURLブロッキングのテスト

マルウェアを駆除する最適な時期は、マルウェアがコンピューターに到達する前です。 多くのウイルス対策製品はブラウザと統合され、既知のマルウェアホスティングURLからそれらを誘導します。 そのレベルで保護が機能しない場合、ダウンロード中またはダウンロード直後にマルウェアペイロードを一掃する機会が常にあります。

マルウェアの基本的なブロックテストでは、季節ごとに同じサンプルセットを使用しますが、Webベースの保護のテストに使用するマルウェアホスティングURLは毎回異なります。 ロンドンに本拠を置くMRG-Effitasから最新の悪意のあるURLのフィードを取得し、通常は1日以内のURLを使用します。

専用の小さなユーティリティを使用して、リストを下って各URLを順番に起動します。 実際にマルウェアのダウンロードを指し示していないものや、エラーメッセージを返すものはすべて破棄します。 残りについては、アンチウイルスがURLへのアクセスを防止するか、ダウンロードを消去するか、何もしないかどうかに注意します。 結果を記録した後、ユーティリティはリスト内の同じドメインにない次のURLにジャンプします。 5MBを超えるファイルはスキップし、同じテストで既に出現したファイルもスキップします。 少なくとも100の検証済みのマルウェアホスティングURLのデータを蓄積するまで、それを維持します。

このテストのスコアは、URLへのアクセスを完全に遮断するか、ダウンロードしたファイルを消去することにより、マルウェアのダウンロードを防止したURLの割合です。 スコアは大きく異なりますが、最高のセキュリティツールが90％以上を管理します。

フィッシング検出のテスト

人々をだましてパスワードをgivingめさせることができるのに、なぜ手の込んだデータを盗むトロイの木馬に頼るのですか？ それが、フィッシングWebサイトを作成および管理する悪意のある人々の考え方です。 これらの詐欺サイトは銀行やその他の機密サイトを模倣しています。 ログイン資格情報を入力すると、王国のキーが渡されます。 また、フィッシングはプラットフォームに依存しません。 Webの閲覧をサポートするすべてのオペレーティングシステムで動作します。

これらの偽のWebサイトは通常、作成後すぐにブラックリストに登録されるため、テストには最新のフィッシングURLのみを使用します。 これらをフィッシング向けのWebサイトから収集し、詐欺として報告されているがまだ検証されていないWebサイトを優先します。 これにより、セキュリティプログラムは単純なブラックリストに依存するのではなく、リアルタイム分析を使用するようになります。

このテストには4つの仮想マシンを使用します。1つはテスト対象の製品によるもので、もう1つはChrome、Firefox、Microsoft Edgeに組み込まれたフィッシング保護を使用しています。 小さなユーティリティプログラムが4つのブラウザで各URLを起動します。 それらのいずれかがエラーメッセージを返す場合、そのURLを破棄します。 結果のページが別のサイトを模倣しようとしていない場合、またはユーザー名とパスワードのデータをキャプチャしようとしていない場合、破棄します。 残りについては、各製品が不正を検出したかどうかを記録します。

多くの場合、テスト対象の製品は、1つまたは複数のブラウザーに組み込まれている保護機能を実行することさえできません。

スパムフィルタリングのテスト

最近では、ほとんどの消費者の電子メールアカウントでは、電子メールプロバイダーまたは電子メールサーバーで実行されているユーティリティによってスパムが排除されています。 実際、スパムフィルタリングの必要性は着実に減少しています。 オーストリアのテストラボのAV-Comparativesは、数年前にスパム対策機能をテストしました。MicrosoftOutlookだけでもスパムのほぼ90％をブロックし、ほとんどのスイートはより良く、一部ははるかに優れていました。 このラボでは、消費者向けのスパムフィルターのテストを継続することすら約束しておらず、「複数のベンダーが消費者セキュリティ製品からスパム対策機能を削除することを検討している」と述べています。

過去には、スパムと有効なメールの両方を取得する実際のアカウントを使用して、独自のスパム対策テストを実行していました。 数千のメッセージをダウンロードし、受信トレイとスパムフォルダーの内容を手動で分析するプロセスは、他のハンズオンテストよりも時間と労力がかかりました。 重要性が最小の機能に最大限の労力を費やすことは意味がありません。

スイートのスパムフィルターについて報告する重要なポイントがまだあります。 どのメールクライアントをサポートしていますか？ サポートされていないクライアントで使用できますか？ POP3電子メールアカウントに限定されていますか、それともIMAP、Exchange、またはWebベースの電子メールも処理しますか？ 今後、各スイートのスパム対策機能を慎重に検討しますが、数千のメールをダウンロードして分析することはなくなります。

Security Suiteパフォーマンスのテスト

セキュリティスイートがマルウェア攻撃を集中的に監視し、ネットワーク侵入を防御し、ブラウザーが危険なWebサイトにアクセスするのを防ぐなど、明らかに、システムのCPUやその他のリソースの一部を使用して仕事をしています。 数年前、セキュリティスイートは、システムリソースを大量に消費して、自分のコンピューターの使用に影響を与えたという評判を得ました。 最近は状況はずっと良くなっていますが、システムパフォーマンスに対する各スイートの影響について洞察を得るために、いくつかの簡単なテストを実行しています。

セキュリティソフトウェアは、起動プロセスのできるだけ早い段階で読み込む必要があります。既に制御されているマルウェアを検出しないようにするためです。 ただし、ユーザーは、再起動後にWindowsの使用を開始するのに必要以上に長く待つことを望みません。 テストスクリプトは起動直後に実行され、Windowsに1秒に1回CPU使用率のレポートを要求し始めます。 CPU使用率が5％を超えない状態で10秒連続して、システムが使用可能になったことを宣言します。 ブートプロセスの開始を差し引くと（Windowsから報告されたとおり）、ブートプロセスにかかった時間がわかります。 このテストを何度も繰り返し、平均がスイートが存在しない場合の多くの繰り返しと比較します。

実際には、おそらく1日に1回しか再起動しません。 毎日のファイル操作を遅らせるセキュリティスイートは、アクティビティにより大きな影響を与える可能性があります。 この種のスローダウンをチェックするために、ドライブ間で大規模から巨大なファイルの大規模なコレクションを移動およびコピーするスクリプトの時間を調整します。 スイートなしでの複数の実行とセキュリティスイートがアクティブな状態での複数の実行を平均すると、スイートがこれらのファイルアクティビティをどれだけ遅くしたかを判断できます。 同様のスクリプトは、同じファイルコレクションを圧縮および解凍するスクリプトに対するスイートの効果を測定します。

タッチが最も軽いスイートによるこれら3つのテストの平均的なスローダウンは、1％未満になる場合があります。 スペクトルのもう一方の端では、平均25パーセントまたはそれ以上のスイートが非常に少数です。 あなたは実際に、より重い利き手のスイートの影響に気付くかもしれません。

ファイアウォール保護のテスト

ファイアウォールの成功を数量化するのは簡単ではありません。なぜなら、ベンダーが異なれば、ファイアウォールが何をすべきかについての考えが異なるからです。 それでも、それらのほとんどに適用できるテストがいくつかあります。

通常、ファイアウォールには2つのジョブがあり、コンピューターを外部の攻撃から保護し、プログラムがネットワーク接続を悪用しないようにします。 攻撃に対する保護をテストするために、ルーターのDMZポートを介して接続する物理コンピューターを使用します。 これにより、インターネットに直接接続されたコンピューターの効果が得られます。 ルーターを介して接続されたコンピューターは、インターネット全体では事実上見えないため、テストにとって重要です。 ポートスキャンやその他のWebベースのテストでテストシステムにアクセスしました。 ほとんどの場合、ファイアウォールはテストシステムをこれらの攻撃から完全に隠し、すべてのポートをステルスモードにすることがわかります。

組み込みのWindowsファイアウォールはすべてのポートをステルス処理するため、このテストは単なるベースラインです。 しかし、ここでも意見は異なります。 Kasperskyの設計者は、ポートが閉じられ、ファイアウォールが攻撃を積極的に防ぐ限り、ステルスポートに価値を見出しません。

初期のパーソナルファイアウォールでのプログラム制御は非常に実践的でした。 未知のプログラムがネットワークにアクセスしようとするたびに、ファイアウォールは、アクセスを許可するかどうかをユーザーに尋ねるクエリをポップアップしました。 ユーザーは通常、どのアクションが正しいかわからないため、このアプローチはあまり効果的ではありません。 ほとんどはすべてを許可します。 他の人は、重要なプログラムを壊すまで毎回ブロックをクリックします。 その後、すべてを許可します。 時間単位でコーディングされた小さなブラウザユーティリティを使用して、この機能のハンズオンチェックを実行します。このユーティリティは、常に未知のプログラムとして認定されます。

一部の悪意のあるプログラムは、信頼されたプログラムを操作または偽装することにより、この種の単純なプログラム制御を回避しようとします。 古い学校のファイアウォールに遭遇すると、リークテストと呼ばれるユーティリティを使用して、そのスキルをテストします。 これらのプログラムは、同じ手法を使用してプログラム制御を回避しますが、悪意のあるペイロードはありません。 最新のWindowsバージョンでまだ機能するリークテストはますます少なくなっています。

スペクトルのもう一方の端では、最高のファイアウォールが、既知の良好なプログラムのネットワーク許可を自動的に構成し、既知の不良プログラムを排除し、未知のものに対する監視を強化します。 不明なプログラムが疑わしい接続を試みると、その時点でファイアウォールが作動して停止します。

ソフトウェアは完璧ではないし、完璧でもありえないので、悪者は一生懸命働いて、一般的なオペレーティングシステム、ブラウザ、およびアプリケーションのセキュリティホールを見つけます。 発見した脆弱性を使用して、システムのセキュリティを侵害するエクスプロイトを考案します。 当然、悪用された製品のメーカーはできるだけ早くセキュリティパッチを発行しますが、実際にそのパッチを適用するまでは脆弱です。

最もスマートなファイアウォールは、ネットワークレベルでこれらのエクスプロイト攻撃をインターセプトするため、コンピューターに到達することさえありません。 ネットワークレベルでスキャンしないものであっても、多くの場合、ウイルス対策コンポーネントはエクスプロイトのマルウェアペイロードを一掃します。 CORE Impact侵入ツールを使用して、各テストシステムに約30件の最近のエクスプロイトをヒットさせ、セキュリティ製品がそれらをいかにうまく防御したかを記録します。

最後に、健全性チェックを実行して、マルウェアコーダーがセキュリティ保護を簡単に無効にできるかどうかを確認します。 レジストリでオン/オフスイッチを探し、それを使用して保護をオフにできるかどうかをテストします（ただし、この攻撃に対して脆弱な製品が見つかってから何年も経ちます）。 タスクマネージャを使用してセキュリティプロセスを終了しようとします。 そして、製品の重要なWindowsサービスを停止または無効化できるかどうかを確認します。

ペアレンタルコントロールのテスト

ペアレンタルコントロールと監視は、さまざまなプログラムと機能を対象としています。 典型的なペアレンタルコントロールユーティリティは、子供たちを不快なサイトから遠ざけ、インターネットの使用状況を監視し、子供たちが毎日インターネットを使用できる時間と期間を両親に判断させます。 その他の機能には、チャットの連絡先の制限から、危険なトピックのFacebook投稿のパトロールまでがあります。

コンテンツフィルターが実際に機能することを確認するために、常に健全性チェックを実行します。 結局のところ、テスト用のポルノサイトを見つけるのは簡単です。 サイズの形容詞と通常覆われている身体部分の名前で構成されるURLは、ほぼすべてポルノサイトです。 このテストに失敗する製品はほとんどありません。

社内の小さなブラウザユーティリティを使用して、コンテンツフィルタリングがブラウザに依存しないことを確認します。 一部の単純なコンテンツフィルターを無効にする3ワードのネットワークコマンドを発行します（いいえ、ここでは公開していません）。 そして、安全な匿名プロキシWebサイトを使用して、フィルターを回避できるかどうかを確認します。

子供のコンピュータまたはインターネットの使用に時間制限を課すことは、子供が計時を妨害できない場合にのみ有効です。 タイムスケジュール機能が機能することを確認してから、システムの日付と時刻をリセットして回避します。 最高の製品は、日付と時刻をシステムクロックに依存しません。

その後は、プログラムが持っていると主張する機能をテストするだけです。 特定のプログラムの使用をブロックする機能が約束されている場合は、その機能を使用し、プログラムを移動、コピー、または名前変更して、その機能を破壊しようとします。 電子メールまたはインスタントメッセージングから不適切な単語を削除すると言われた場合、ブロックリストにランダムな単語を追加し、送信されないことを確認します。 インスタントメッセージングの連絡先を制限できると主張する場合、2つのアカウント間で会話を設定し、そのうちの1つを禁止します。 プログラムが約束する制御または監視の力が何であれ、私たちはそれをテストするために最善を尽くします。

アンチウイルスラボテストの解釈

世界中の独立したラボが実施する徹底的なウイルス対策テストを実行するためのリソースがないため、それらの調査結果に細心の注意を払っています。 認定を発行する2つのラボと、スコア付きテスト結果を定期的にリリースする4つのラボに従い、その結果を使用してレビューを通知します。

ICSA LabsおよびWest Coast Labsは、さまざまなセキュリティ認証テストを提供しています。 具体的には、マルウェアの検出とマルウェアの削除に関する認定に従います。 セキュリティベンダーは、製品のテストに費用を支払います。このプロセスには、認証を妨げる問題を修正するためのラボの支援が含まれています。 ここで私たちが見ているのは、ラボがテストするのに十分なほど重要な製品を見つけたという事実であり、ベンダーはテストのために喜んで支払いをしました。

ドイツのマクデブルクに本拠を置くAV-Test Instituteは、ウイルス対策プログラムをさまざまなテストに継続的に投入しています。 私たちが重点を置いているのは、保護、パフォーマンス、およびユーザビリティの3つのカテゴリのそれぞれで最大6ポイントを付与する3部テストです。 認定を取得するには、製品はゼロなしで合計10ポイントを獲得する必要があります。 このテストでは、最高の製品が完璧な18ポイントを獲得します。

保護をテストするために、研究者は各製品をAV-Testの100, 000を超えるサンプルのリファレンスセット、および数千の非常に広範囲のサンプルに公開します。 製品は、マルウェアホスティングURLへのアクセスをブロックする、署名を使用してマルウェアを検出する、マルウェアの実行を防止するなど、あらゆる段階で侵入を防止することで称賛されます。 多くの場合、このテストでは最高の製品が100％成功します。

パフォーマンスは重要です。ウイルス対策がシステムのパフォーマンスを著しく低下させる場合、一部のユーザーはそれをオフにします。 AV-Testの研究者は、セキュリティ製品の有無にかかわらず、13の一般的なシステムアクションを実行するのに必要な時間の差を測定します。 これらのアクションには、インターネットからのファイルのダウンロード、ローカルおよびネットワーク全体でのファイルのコピー、一般的なプログラムの実行が含まれます。 複数の実行を平均することで、各製品がどれだけの影響を与えるかを特定できます。

ユーザビリティテストは、必ずしもあなたが思うとは限りません。 使いやすさやユーザーインターフェイスの設計とは関係ありません。 むしろ、ウイルス対策プログラムが正当なプログラムまたはWebサイトに悪意のある、または疑わしいと誤ってフラグを立てたときに発生するユーザビリティの問題を測定します。 研究者は、頻繁に変化する人気のあるプログラムのコレクションを積極的にインストールして実行し、アンチウイルスによる奇妙な動作に注目しています。 別のスキャン専用テストでは、ウイルス対策プログラムが600, 000を超える正当なファイルをマルウェアとして識別しないことを確認します。

オーストリアに拠点を置き、インスブルック大学と緊密に連携しているAV-Comparativesが定期的にリリースしている多くのテストのうち4つ（以前は5つ）から結果を収集します。 テストに合格したセキュリティツールは、標準認証を取得します。 失敗したものは、単にテスト済みとして指定されます。 プログラムが必要最小限以上になった場合、AdvancedまたはAdvanced +認定を取得できます。

AV-Comparativesのファイル検出テストは、約100, 000のマルウェアサンプルに対して各ウイルス対策をチェックする単純な静的テストであり、正確性を確認するための誤検出テストがあります。 そして、AV-Testによく似たパフォーマンステストは、システムパフォーマンスへの影響を測定します。 以前は、ヒューリスティック/動作テストが含まれていました。 このテストは廃止されました。

AV-Comparativesの動的な全製品テストが最も重要であると考えています。 このテストの目的は、実際のユーザーエクスペリエンスを可能な限り厳密にシミュレートし、セキュリティ製品のすべてのコンポーネントがマルウェアに対してアクションを実行できるようにすることです。 最後に、修復テストはマルウェアのコレクションから始まり、テストされたすべての製品がセキュリティ製品を検出し、感染したシステムを復元してマルウェアを完全に削除することが確認されています。

AV-TestおよびAV-Comparativesのテストに通常20〜24の製品が含まれる場合、SE Labsは通常10以下をレポートします。これは主に、このラボのテストの性質によるものです。 研究者は、実世界のマルウェアホスティングWebサイトをキャプチャし、リプレイテクニックを使用して、各製品がまったく同じドライブバイダウンロードまたは他のWebベースの攻撃に遭遇するようにします。 非常に現実的ですが、骨が折れます。

これらの攻撃の1つを完全にブロックするプログラムは、3ポイントを獲得します。 攻撃の開始後にアクションを実行したが、すべての実行可能トレースを削除できた場合、2ポイントの価値があります。 また、完全にクリーンアップせずに単に攻撃を終了した場合でも、1ポイントを獲得します。 マルウェアがテストシステムで無料で実行されるという不幸なイベントでは、テスト中の製品 は 5ポイントを 失い ます。 このため、一部の製品は実際にゼロ未満のスコアを付けています。

別のテストで、研究者は、各製品が有効なソフトウェアを悪意のあるものとして誤って識別することを控えているかどうかを評価し、各有効なプログラムの有病率、および偽陽性の識別が与える影響の程度に基づいて結果を重み付けします。 これらの2つのテストの結果を組み合わせて、AAA、AA、A、B、Cの5つのレベルのいずれかで製品を認証します。

• 2019年のベストセキュリティスイート2019年のベストセキュリティスイート
• 2019年の最高のウイルス対策保護2019年の最高のウイルス対策保護
• 2019年の最高の無料アンチウイルス保護2019年の最高の無料アンチウイルス保護

しばらくの間、MRG-Effitasから提供されたサンプルのフィードを、実践的な悪意のあるURLブロックテストで使用しました。 このラボでは、2つの特定のテストの四半期ごとの結果も公開しています。 360 Assessment&Certificationテストは、AV-Comparativesが使用する動的な実世界のテストと同様に、現在のマルウェアに対する実世界の保護をシミュレートします。 サンプルセットによる侵入を完全に防ぐ製品は、レベル1の認定を受けています。 レベル2の認定とは、少なくともマルウェアサンプルの一部がテストシステムに植え付けられたファイルやその他のトレースをサンプルすることを意味しますが、これらのトレースは次回の再起動時に削除されました。 オンラインバンキング認証は、金融マルウェアやボットネットに対する保護を非常に具体的にテストします。

ラボはすべて、同じプログラムのコレクションをテストするわけではないため、ラボの結果の全体的な概要を見つけることは簡単ではありません。 各ラボのスコアを0〜10の値に正規化するシステムを考案しました。ラボ結果の集計チャートは、これらのスコアの平均、ラボテストの数、および受け取った認定の数を報告します。 テストに製品が含まれるラボが1つだけの場合、集計スコアには不十分な情報であると見なされます。

このテスト方法のリストは、仮想プライベートネットワーク（VPN）をカバーしていないことに気づいたかもしれません。 VPNのテストは、セキュリティスイートの他の部分のテストとは非常に異なるため、VPNサービスをテストする方法について個別に説明しました。