ビデオ: ä¸è¦å²ç¬æåçæ§ (十一月 2024)
昨日のブルームバーグエンタープライズテクノロジーサミットで私が感銘を受けたものの1つは、新しい方法でデータを処理すること、つまり「ビッグデータ」と呼ばれるものを処理することに焦点を合わせたことでした。
会話の一部はビッグデータの価値とそれが本当に「兆ドルの機会」であるかどうかを扱い、他の会話はこれらの新しい技術をより広く展開する際に個々の組織と業界全体が直面する特定の課題を扱いました。
ブルームバーグエンタープライズソリューションのグローバルヘッドであるジェラルドフランシスは、企業ができる最も重要なことは「データを使用することでデータの価値を活用する」ことを提案し、アクセス、品質、組織内のデータ。 その後のパネルでは、データを処理する新しいツール、およびデータを処理する人々を保存、管理、検索する際の特定の問題について多くの議論がありました。
MongoDBの会長兼共同設立者であるDwight Merriman氏は、企業動向に関する一般的なパネルで、アプリケーショントラックのデータ層には「25年間で見られた最大の混乱と変化」があると述べました。 彼は、企業がリレーショナルデータベースを25年以上使用しており、スタック内で最も古い技術になっていると述べました。 しかし、今ではHadoopや新しいデータベーステクノロジーなどのファイルベースのストレージで起こっていることがあります。これはしばしば「NoSQL」としてグループ化されます。 彼は、ビッグデータは「ビッグ」ではなく、データの形状、データの種類、リアルタイムデータの処理への動きに関するものだと指摘しました。
Googleの最高情報責任者Benjamin Friedは、ほとんどの企業には「ビッグデータ」の問題がないことに同意しました。 HRデータや財務データなどのデータセットの多くはそれほど大きくはない、と彼は言いました。 重要なのは、データを適切に処理するために必要な柔軟性です。
とにかくビッグデータとは何ですか？
その概念–データのサイズと同じくらい柔軟性が重要である–は、その日の後半に別のパネルに反映されました。 参加者は、企業が長い間データ量の多いアプリケーションを扱っていることに同意しましたが、規模は最近変更されました。 たとえば、Neustarの上級副社長兼最高技術責任者であるMark F. Bregmanは、一部の企業が価値を証明することを期待して「すべてを保存」していると述べています。
MarkLogicのCEO兼社長であるGary Bloom氏によると、「ビッグは複雑性としてより適切に定義されています」。 彼は、多くのいわゆる「ビッグデータ」アプリケーションには多くの異なる種類のデータが関係しているが、「ビッグデータ」アプリケーションで通常聞くボリュームの種類には関係がないと指摘した。
彼は、気象データ、空港データ、地理空間データ、フライトデータ、航空会社予約データ、ソーシャルデータを組み合わせた航空交通の例を引用しました。 彼は、異種データの処理は従来のリレーショナルデータベースでは非常に困難であると指摘しました。これは、メインフレームからリレーショナルデータベースの時代に移行して以来、これが「25年でのデータベースの最初の世代シフト」であるというMongoDBのMerrimanからの以前のコメントを反映しています。
彼は多くの人がソーシャルメディアデータについて話しているが、それを本当に他のデータと組み合わせて、実際に活用できる何かを持っている必要があると指摘した。 このデータを組み合わせることが「真の価値」です。
もちろん、いくつかのアプリケーションは多くの情報を必要としますが、Bregmanは不均一性は1つの要素にすぎないと述べています。 彼は、1日8TBの情報を簡単に生成できるDNSデータと、そのようなものをHadoopに保存する必要性について言及しました。 Bregmanと他の人々は、「データの大文字化」に関しては、実際の値は生データではなく、使用できるものになったときの分析にあると指摘しました。 パネルの他のメンバーも同意しました。
Streambase CEOのMark Palmer氏は、大量のデータをストリーミング分析と組み合わせることが多くのアプリケーションで重要であると述べました。 また、従来の分析とリアルタイム分析を組み合わせることで作成できる付加価値について話しました。
しかし、彼はデータの複雑さは問題であることに同意しました。 彼は、Tibco（現在はStreambaseを所有している）を運営するVivekRanadivéがバスケットボールチームを買収して、テクノロジーがどのようにファンのエクスペリエンスを改善できるかを理解する方法を一部挙げました。 彼は再び「さまざまな種類のデータをマッシュアップする」ことについて話しました。Twitterストリームから始まり、他の種類のデータも活用します。
ブルームは、すべてがアプリケーションに依存していることを指摘し、「待ち時間は見る人の目にある」と述べた。 データベースにヒットする前にワイヤ上のデータを解析する必要があるアプリケーションもあれば、そうでないアプリケーションもあります。
Bregmanは、計算リソースを移動するのが難しいのではなく、データを移動するのが非常に難しくなっているという問題を提起しました。 彼は、多くのアプリケーションにとって、「ロックイン」はデータの場所であると指摘しました。 パブリッククラウドにデータを保存すると、移動するのは非常に困難です。 その結果、多くの組織が独自の場所に大量のデータを保存し、コンピューティング機能のために異なるプロバイダーに移動できるようにしたいと、彼は言いました。 MarkLogicのBloomから用語を借りて、彼は、組織が大量のデータを保持する場所として「データ中心のデータセンター」を必要とする方法について話しました。
ビッグデータは「兆ドルの機会ですか？」
別のパネルは、ビッグデータがもたらす機会と課題について議論し、MediaTech Capital PartnersのマネージングパートナーであるPorter Bibbからのコメントを反映しました。 ビブは、新しい技術を使用する企業にとって実際には1兆ドル以上の利益があると述べました。 彼はこれまでのところ、「この技術が提供する可能性を利用することさえ始めていない」と彼は言った。
Bibbは、組織がデータ戦略をビジネス戦略に合わせることが重要であることについて話し、ほとんどの企業システムと政府システムが不整合であると心配しました。
その最初のセッションで、アンドリーセン・ホロウィッツのスコット・ワイスは「Hadoopは極低温貯蔵のようなものだ」と述べたので、Bloomberg Linkのモデレーターのジェイソン・ケリーは、そもそもHadoopのクリエイターの一人であるClouderaのチーフアーキテクトであるダグ・カッティングに尋ねましたそれ。
カッティング氏によると、Hadoopは人々がより多くのデータを扱うことを可能にしている。 彼は、組織がテープからデータを引き出し、代わりにオンラインで使用できるようにしていると言いました。 お客様は、90日間のデータを扱う作業から、「アクティブアーカイブ」内の5〜10年間のデータに移行しています。
このパネルでは、このすべてのデータを処理する際のいくつかの具体的な問題が再び取り上げられました。 SnaplogicのCEOであるGaurav Dhillonは、「データの重力」について話し、Hadoopのオンプレミスにあるデータを取得してクラウドに移動することは意味がないと述べました。 しかし、同時に、クリックストリーム分析などのデータがクラウドにある場合、オンプレミスに移動することは意味がありません。 その結果、データを移動する際に「国境を越えた機会」はほとんど見られないと彼は言いました。
カッティングは、データ科学者が本当に不足しているとは信じていないと述べた。 代わりに、彼は数学とビジネスを理解している人はたくさんいるが、彼らにはツールがないと言った。 数週間でツールの基本とその機能を学ぶことができると彼は言ったが、ビジネスを理解するには何年もかかる。 しかし、それを理解している人はたくさんいます。
Dhillonは、どこにどの情報を保存できるかを扱う法律に関する懸念も反映していました。 彼は、一部の垂直市場では情報をオンプレミスで保存する必要があるが、データを元の国から移動させないという要件などについて心配していると述べた。 これの多くは、スノーデンの啓示やデータ侵害などに対する過剰な反応であり、「立法への急ぎは決して良いことではない」と述べた。
スノーデンとターゲットの侵害により顧客がデータを恐れているのではないかと心配していたのか、カッティング氏は、多くの人が心配しているのではないかと心配していると語った。 多くの人々はテクノロジーに怖がっていると彼は言い、データが使われていないという概念で顧客を安心させるのは業界の失敗だったと彼は言った。 「気味が悪い必要はない」と彼は言った。
最後に、評価について多くの議論がありました。Bibbは、最近のIntelのClouderaへの投資は、会社が行っていることを検証するため、「大したこと」であると示唆しました。 彼は、Oracle、IBM、Microsoft、Amazonなどの他の大企業が予測分析企業を中心に浮かんでいると述べた。 「ゴールドラッシュは始まったばかりです。」
Dhillonは、評価は配管会社がビッグデータ市場にもたらすものを反映していると述べた。 彼は、そのような「ピックアンドシャベル」の人たちが良い評価を得るのを見て喜んでいると言いましたが、評価が市場を先んじているのではないかと少し恐れていました。
ビブは、ビッグデータはメディアでは露出オーバーになる可能性があると考えたが、「Cスイート」（CEO、CFO、およびその他の最高経営責任者を意味する）では露出不足であると述べた。 」
