コンテンツ泥棒からあなたのウェブサイトを守る

あなたが中古電子機器のオンラインサプライヤだとします。 あなたのビジネスは、使用済みのiPadであなたの素晴らしい価格を見つけたい人にかかっています。 しかし、競合他社が価格表全体を取得して、価格を十分に上回る場合は、それほど幸せではありません。 コンテンツの大量スクレイピングを防止しながら、ユーザーにフルアクセスを許可するにはどうすればよいですか？ さて、今日リリースされたクラウドベースのスクレイピング対策ソリューションであるScrapeDefenderを使用できます。 ScrapeDefenderのCEOであるRobert Kaneと、製品の仕組みについて話を聞きました。

誰がそれを必要としますか？

「私たちはすでにベータ顧客として航空会社、家庭用電化製品、金融市場などと協力しています」と、ケインは言いました。 「多くの重要なコンテンツ、価格表、不動産などを投稿するWebサイト。そのコンテンツはすべて大量に収集できます。」 ケインは、一部のスクレーパーは単純なスクリプトを使用しますが、他のスクレーパーはサイトをよりゆっくりキャプチャするか、複数のボットを使用して人間になりすますことを指摘しました。 「所有者にとっての課題は、どのようにすれば世界に侵入し、不正なボットを排除するかです」とケインは結論付けました。

それがScrapeDefenderの出番です。「当社のモニターは、Googleアナリティクスのような受動的なツールです」とKane氏は言います。 「サイトに1行のコードを挿入すると、24時間年中無休で監視できます。Webページのヘッダーにコードを1行追加するだけです。受動的であるため、実稼働ネットワークに影響はありません。」

オンラインダッシュボード

ScrapeDefenderのお客様は、ブロックされたすべてのスクレイピングアクティビティの概要を表示できますが、詳細を詳しく調べることもできます。 ケインはシステムを実演し、赤旗を立てるような種類の活動を見せてくれました。 多くは非常に簡単です。 スクレイパーのIPアドレスは、人間よりもはるかに多くのサイト訪問とページヒットを行う傾向があり、非常に短い時間、任意のページにとどまる傾向があります。 彼らが遅くなり、検出を避けようとしても、パターンが見えます。 通常、人間による訪問には参照フィールドがあります。 スクレイピングボットによる訪問は決してしません。 これらの基準はすべて、総合的なリスクスコアに貢献します。 ほとんどの場合、十分に高いスコアがスクレイピングアクティビティを識別します。

「洗練されたスクレーパーは複数のIPアドレスを使用します」とKane氏は述べています。 「しかし、IPが異なる場合でも、デジタルフィンガープリントを使用して、関連するセッションを照合します。異なるマシンまたは異なる仮想マシンで実行されるスクリプトである可能性がありますが、フィンガープリントは同じです。

スクレーパー、スクレイピングなし！

スクレーパーが特定されたらどうなるかを尋ねました。 「それは2つの方法で行います」とケインは言いました。 「彼らのためにブロックを行うことができるセキュリティモジュールを提供していますが、協力している組織には独自のファイアウォールが設置されていることがわかりました。したがって、疑わしいIPアドレスをファイアウォールに送信できるAPIがあります。 」

それで、費用はいくらですか？ 価格は月額$ 79から始まり、任意のサイズのWebサイトに拡大します。 「先週誰かが私たちに連絡してくれた」とケインは言った、「1 日 あたり2500万ページビューのウェブサイトについて…私たちはそれをサポートしています」。

同社は、新しい顧客に対して約150のスクレイプ関連の脆弱性のスキャンを実行しますが、誰でもそれらのサブセットをチェックする無料のスキャンを実行できます。 ScrapeDefender Webサイトにアクセスして、ドメイン名を入力するだけです。 数分で答えが得られます。

未来

「私の意見では、スクレイピングは今や初期のウイルス対策ビジネスに似ています。これは大きなチャンスです。誰もがそれを手に入れる必要があります。」 彼は、Snapchatがこのテクノロジーを使用して、460万人のユーザーのデータの収集を防ぎ、それによって最近のSnapchatスパムの急増を回避できたと指摘しました。

「CAPTCHAは解決策ではありません」とケインは言いました。 「たとえうまくいったとしても、CAPTCHAファームについて聞いたことはありませんか。本当の解決策は、動作を調べて、スクレイピング動作をブロックすることです。」

十分なWebサイト所有者がスクレイピング対策ソリューションの料金を支払うことを選択するかどうかはまだ不明です。 私はこれがどのように機能するかを見て見ます。