マイクロソフトがウイルス対策テストの失敗に反論

Microsoft Malware Protection Centerでの作業は厳しいものでなければなりません。 ここでは、あなたの会社は世界最大の企業ですが、ドイツの小さな（しかし評判が高い）アンチウイルステストラボでは、アンチウイルスソフトウェアはマスタードをカットしません。 過去数か月で1回だけでなく2回、MicrosoftはAV-Testからの認定を取得できませんでした。

センターのプログラムマネージャーであるJoe Blackbirdは、ブログの記事で、このテストに失敗して も Microsoftのユーザーが保護されてい ない という意味では ない と説明しています。

テストの透明性

AMTSOの原則に従って、AV-Testは、継続的な認証テストの実施に使用される方法論の秘密を作りません。 つまり、Blackbirdは、Microsoft Security Essentialsが合格しなかった正確な理由を確認および検証できることを意味します。

このテストは、セキュリティの3つの要素に等しい重みを与えます：保護（新しいマルウェアがクリーンなシステムに侵入しないようにする）、修復（既に存在するマルウェアを消去する）、および使いやすさ（システムを遅くしたり、有効なプログラムを誤って非難することなくジョブを実行する）。 マイクロソフトは、修理と使いやすさの分野では問題ありませんでしたが、保護のために考えられる6つのポイントのうち1.5だけを得ました。

実世界ではない？

Blackbirdの主な主張は、このテストはMicrosoftの顧客の実際の経験を反映していないということです。 AV-Testによると、Microsoftは100のゼロデイ脅威のうち28を逃しました。 しかし、マイクロソフトのテレメトリでは、「0日でヒットしたお客様の99.997％が、このテストでテストされたマルウェアサンプルに遭遇しなかった」ことが示されています。 彼は すべての 顧客の99.997％について話していないことに注意してください。 彼は、ある種のゼロデイ脅威に遭遇した人のうち、AV-Testが実際に使用した脅威に遭遇したのは0.003％だけだと言っています。

しかし、これは必然的にテスト方法の告発ですか？ 逆に見てみましょう。 ゼロデイ攻撃は常に大量に発生します。 0.003パーセントが1人の顧客を表す場合、300, 000人の顧客がこのような攻撃に遭遇しています。 もちろん、この数はもっと大きくてもかまいません。 AV-Testは100のランダムサンプルを選択し、たまたまMicrosoftが検出できない28を見つけました。 それはちょっと悪いですね。

マイクロソフトは、「最近のマルウェア」コレクションの216, 000個のファイルの9％も見逃していましたが、見逃したサンプルは「顧客が遭遇したものを表していない。」と言いました。お客様のマシン。」

顧客重視の優先順位付け

「2012年12月」、Blackbirdは続けて、「2, 000万個の新しい潜在的に悪意のあるファイルを処理し、テレメトリと顧客の影響を使用してそれらのファイルに優先順位を付け、約300万台のコンピューター上の400万の異なる悪意のあるファイルをブロックする保護を追加しました。適切に優先順位を付けていなかった場合、ファイルは顧客に影響を与えた可能性があります。」 言い換えれば、Microsoftは、顧客に積極的に影響を与えるファイルの優先順位付けに重点を置いているため、このテストでの評価が低かったのです。

興味深い点ですが、他のベンダーはユーザーを保護し、AV-Testから最高得点を獲得しています。 Bitdefender、F-Secure、およびTrend Microはすべて、保護テストで6つのうち6つの可能なポイントを受け取りました。

AV-Testは、Microsoftのユーザーが実際に遭遇したマルウェアのすべてをテストに使用しなかったという点を認めます。 それは不可能でしょう。 ウイルス対策テスターは、代表的なサンプルを使用するために最善を尽くす必要があります。 ただし、ゼロデイからはほど遠いサンプルを使用したMicrosoft Security Essentialsでの実際のテストでは、最高のウイルス対策製品ほど効果的ではないことが示唆されています。

Neilの詳細については、Twitter @neiljrubenkingでフォローしてください。