Openaiの偽ニュース警告が実際の偽ニュースをトリガーした方法

非営利のAI研究所であるOpenAIは、先月、GPT-2と呼ばれる最新のテキスト生成AIを導入したときに、AI黙示録のパニックの波を引き起こしました。 しかし、OpenAIはGPT-2の成果を祝いながら、AIモデルを一般に公開しないことを宣言し、GPT-2は誤解を招くニュース記事の生成、オンラインでのなりすましなどの悪意のある目的に使用される可能性があることを恐れました、ソーシャルメディアでの偽のコンテンツの制作の自動化。

予想通り、OpenAIの発表によりセンセーショナルなニュース記事が殺到しましたが、高度な技術を武器化することはできますが、テキスト生成をマスターする前にAIにはまだまだ先があります。 それでも、偽のニュースの危機を作り出すには、テキストを生成するAI以上のものが必要です。 この観点から、OpenAIの警告は誇張されていました。

AIと人間の言語

コンピュータは歴史的に人間の言語を扱うのに苦労してきました。 書かれたテキストには非常に多くの複雑さとニュアンスがあるため、それらすべてを従来のソフトウェアルールに変換することは事実上不可能です。 しかし、ディープラーニングとニューラルネットワークの最近の進歩により、言語関連のタスクを処理できるソフトウェアを作成するための別のアプローチへの道が開かれました。

ディープラーニングは、機械翻訳、テキスト要約、質問応答、自然言語生成などの分野に大きな改善をもたらしました。 ソフトウェアエンジニアは、多くの例を分析することにより、独自の動作を開発するアルゴリズムを作成できます。 言語関連のタスクの場合、エンジニアは、ニュース記事、ウィキペディアのページ、ソーシャルメディアの投稿などのデジタル化されたコンテンツをニューラルネットワークにフィードします。 ニューラルネットはデータを注意深く比較し、特定の単語が繰り返しシーケンスで他の単語にどのように続くかを記録します。 次に、これらのパターンを複雑な数学方程式に変換し、テキストシーケンスの欠落単語の予測など、言語関連のタスクの解決に役立ちます。 一般的に、ディープラーニングモデルに提供するトレーニングデータの品質が高いほど、タスクの実行が向上します。

OpenAIによると、GPT-2は800万のWebページと数十億の単語でトレーニングされており、これは他の類似モデルよりもはるかに多くなっています。 また、高度なAIモデルを使用して、テキストパターンをより適切に適用します。 GPT-2からのサンプル出力は、モデルがその前身よりも長いテキストシーケンスで一貫性を維持していることを示しています。

しかし、GPT-2は自然言語生成の分野で一歩前進したものですが、書かれたテキストの意味とコンテキストを理解できるAIを作成するための技術的なブレークスルーではありません。 GPT-2は、アルゴリズムを使用して、以前に見た数十億のテキスト抜粋と統計的に類似した単語のシーケンスを作成しています。生成するものをまったく理解していません。

詳細な分析では、ZDNetのTiernan Rayは、GPT-2の出力サンプルが用語の重複や論理の欠如や事実の一貫性などのよく知られたアーティファクトで人工的な性質を裏切るいくつかの例を指摘しています。 「GPT-2がアイデアとロジックのさらなる開発を必要とする執筆に取り組むとき、亀裂はかなり広く開きます」とレイは指摘します。

統計学習は、コンピューターが文法的に正しいテキストを生成するのに役立ちますが、論理的および事実上の一貫性を維持するには、概念をより深く理解する必要があります。 残念ながら、現在のAIのブレンドが克服できていない課題はまだあります。 そのため、GPT-2はテキストの素晴らしい段落を生成できますが、本物の長編記事を生成したり、説得力のある方法で長期間にわたって誰かになりすますことはおそらく難しいでしょう。

AI偽ニュースパニックが誇張されている理由

OpenAIの推論に関する別の問題：AIは偽ニュースの危機を引き起こすことができると仮定します。

2016年、マケドニアの10代のグループが、米国大統領選挙に関する偽のニュース記事を何百万人もの人々に広めました。 皮肉なことに、彼らは適切な英語スキルさえ持っていませんでした。 彼らはウェブ上で自分のストーリーを見つけ、異種のコンテンツをつなぎ合わせていました。 信頼できるニュースソースとして彼らを信頼するように訪問者を説得するのに十分に本物に見えるウェブサイトを作成したので、彼らは成功しました。 センセーショナルな見出し、怠慢なソーシャルメディアユーザー、トレンドのアルゴリズムが残りを行いました。

その後、2017年に、カタールの首相であるシェイクタミムビンハマッドアルタニを代表して、カタール国営のニュースウェブサイトや政府のソーシャルメディアアカウントをハッキングし、偽の発言を公開することにより、悪意のある行為者がペルシャ湾岸地域の外交危機を引き起こしました。

これらの物語が示すように、偽ニュースキャンペーンの成功は、大量の一貫した英語のテキストを生成することではなく、信頼を確立（および裏切る）にかかっています。

ただし、ソーシャルメディアでは、従来のメディアアウトレットよりも規模や量が重要な役割を果たすため、ソーシャルメディアに投稿する偽のコンテンツの自動化に関するOpenAIの警告はより正当化されます。 GPT-2などのAIは、特定のトピックに関する数百万のユニークな投稿でソーシャルメディアをあふれさせ、トレンドアルゴリズムや公開討論に影響を与えることができると想定されています。

しかし、それでも警告は現実には及ばない。 過去数年間、ソーシャルメディア企業は、自動化された動作を検出およびブロックする機能を継続的に開発してきました。 そのため、テキストを生成するAIを装備した悪意のある攻撃者は、独自のコンテンツを作成する以外にも多くの課題を克服する必要があります。

たとえば、AIが生成したコンテンツを投稿するには、数千の偽のソーシャルメディアアカウントが必要になります。 さらに難しいのは、偽のアカウントを接続する方法がないことを確認するために、アカウントごとに一意のデバイスとIPアドレスが必要になることです。

さらに悪化しているのは、類似性を減らすために、おそらく1年以上、異なる時期にアカウントを作成する必要があることです。 昨年、 New York Timesの 調査では、アカウントの作成日だけでボットアカウントを発見できることが示されました。 さらに、自動化された性質を他のユーザーやポリシングアルゴリズムからさらに隠すために、アカウントは他のユーザーとやり取りしたり、投稿に独自のトーンを設定したりするなど、人間に似た動作を行う必要があります。

これらの課題のいずれも克服することは不可能ではありませんが、コンテンツはソーシャルメディアの偽ニュースキャンペーンで実施するために必要な努力の一部にすぎないことを示しています。 また、信頼は重要な役割を果たします。 少数の信頼できるソーシャルメディアインフルエンサーがいくつかの偽のニュース投稿を行うと、大量のコンテンツを生成する多数の未知のアカウントよりも大きな影響があります。

OpenAIの警告を擁護する

OpenAIの誇張された警告は、皮肉にも偽のニュース自体に接するメディアの誇大広告とパニックのサイクルを引き起こし、有名なAI専門家からの批判を促しました。

彼らはメディア関係者を招き、結果に早期にアクセスできるようにした。マスコミの禁輸措置により、すべてが同じ日に公開された。 私が知っている研究者は大きなモデルを見ることができませんでしたが、ジャーナリストは見ました。 はい、彼らは意図的にそれを爆破しました。

-マット・ガードナー（@nlpmattg）2019年2月19日

すべての新しい人間は、偽のニュースを生成し、陰謀理論を広め、人々に影響を与えるために使用される可能性があります。

それでは赤ちゃんを作るのをやめるべきですか？

- Yann LeCun（@ylecun）2019年2月19日

私たちの研究室は、皆さんに頭を上げたいと思っただけで、言語理解の驚くべきブレークスルーを発見しました。 しかし、我々はそれが間違った手に落ちるかもしれないことも心配しています。 そのため、それを廃棄し、代わりに通常の* ACLのもののみを公開することにしました。 チームのすばらしい仕事に対する大きな敬意。

-（（（？（）（？（） 'yoav））））（@yoavgo）2019年2月15日

AIの研究者であり、近似コレクトの編集者であるザカリーリプトンは、OpenAIの歴史を指摘しました。「彼らのブログを使用して、未熟な作品を世間に広め、知性を持たない作品の人間の安全性の側面にしばしば注目します」立ち上がる脚。」

OpenAIは、誤解を招く発言の結果として受けたすべての批判と熱に値しますが、会社が無責任な方法でそれについて教育したとしても、その技術の悪用の可能性について真剣に心配することも正しいです。

• AI業界の倫理的な年AI業界の倫理的な年
• 不当な優位性：AIが人間のようにプレイすることを期待しないでください不当な優位性：AIが人間のようにプレイすることを期待しないでください
• このAIは、発生する前にオンライントローリングを予測しますこのAIは、発生する前にオンライントローリングを予測します

過去何年もの間、AIテクノロジーが思考や反省なしに公開され、悪意のある目的のためにどのように武器化されるかを見てきました。 1つの例は、ビデオの顔を交換できるAIアプリケーションであるFakeAppです。 FakeAppがリリースされて間もなく、有名人や政治家を取り上げた偽のポルノビデオを作成するために使用され、AIを使用した偽造の脅威に対する懸念を引き起こしました。

OpenAIの決定は、技術を公開することの潜在的な影響について一時停止し、考える必要があることを示しています。 そして、AIテクノロジーのリスクについて、より積極的な議論が必要です。

「特定のプロジェクトを一時停止する組織は、実際には長期的な変化をもたらすことはありません。しかし、OpenAIは、彼らが行うことすべてに大きな注目を集めています。 MITのコンピューターサイエンスと人工知能研究所（CSAIL）の研究者は、スレートに語った。