新しいHadoop調査で2016年のデータ予測が大幅に向上

Syncsortが実施した新しい調査では、データアーキテクト、IT管理者、開発者、ビジネスインテリジェンス/データアナリスト、データ科学者など250人の有力な回答者が、2016年に見る大きなデータ傾向に重きを置しています。調査対象の3分の2は年間売上高は1億ドルを超えています。代表的な業種は、金融サービス、医療、政府、小売業です。 2016年の大きなトレンドは、Hadoopの実験から大規模なデータ分析による完全生産に移行することです。

2016年の大きな3つの傾向は

Apache Sparkの上昇は、Sparkが彼らが最も興味を持っているプラ​​ットフォームであると回答した70%の回答者の驚きである.MapReduceは55%で2位となった。しかし、Syncsortの大規模なデータアナリストは、MapReduceが本番の導入の主要な計算フレームワークのままであると予測しています。しかし数字は別の話を伝えます。回答者の70%がApache Sparkへの関心を示しているため、MapReduceの導入は実際には今後12ヶ月間で削減される可能性があります。

人々はしばしば大きなデータのボリューム面にぶら下がってしまいますが、他の要因はビジネスのために提起した問題のように言えるでしょう。

Sparkのこの2つの主な要因は、導入が簡単でスピードが速いことです。スパークは記憶の中で走るので、大きな鉄が必要です。そのスピードは、MapReduceの最大の問題の1つ、すなわちレイテンシが高い、バッチモードの応答を強調します。

しかし、Syncsortのエキスパートのように、私は人々がMapReduceにしばらくお待ちしていると思います。

高価なプラットフォームからオープンソースのHadoopへの変換やオフロードは大きなシフトです。メインフレームとエンタープライズデータウェアハウスの昔の主流は、安価な代替製品が注目を集めているときに対処するには高価になっています。回答者は、HadoopがビジネスとITの俊敏性を向上させるのに役立つと答えたのは63%でした。 55%は、業務の効率化とコスト削減を期待しています。また、51%がHadoopを使用して、ビジネスユーザーがより多くのデータを利用できるようにしたいと考えています。

回答者の半数以上がIoTのソーシャルメディアデータとデータを使用してHadoopを革新的な方法と見なしています。奇妙なことに、モバイルアプリとソフトウェアを含む先進的なユースケースに関心があるとの回答は4.9%にすぎません。

SyncsortのBig Dataビジネス部長、TendüYo?urtuuは、「Hadoopの採用が主流になるにつれて、生産のアプリケーション数が増え、ユースケース、フレームワーク、データソースがより多様かつ複雑になっています。しかし、新しいツールやスキル、接続やデータの動き、予期しないコストに対応するための課題も挙げています」

Syncsortはまた、2016年の2つの他の傾向予測も行った

企業はリアルタイムのデータソースを採用し、活用します。もちろん、IoTはこの採用において重要な役割を果たしますが、詐欺検出、テレメトリ分析、セキュリティデータ、保険請求の検証などの他のユースケースも同様です。リアルタイムデータソースの1つとしてソーシャルメディアの予測を追加します。

実行エンジンApache Sparkがどのように大企業のデータフレームワークHadoopでできるのかを明らかにしたCloudera

Syncsortのアナリストも、今年はデータガバナンスとセキュリティが重要な焦点になると予測しています。私は、セキュリティがデータへの依存度を高めるための焦点になると予測するためには、メインフレームコンピュータが必要であるとは確信していません。

Apache Sparkのプロダクション展開、他のプラットフォームからHadoopへの変換、高度なユースケースのためのHadoopの活用

私は今年のミックスに別の予測を加えるつもりです。データを他の企業に販売するデータブローカー事業の新たな登場を予見しています。データの収集、保存、分析は、巧みに統合されたデータや関連するデータを販売したいスタートアップにとって大きな可能性を秘めています。それについて考える。最高の場所がどこに新しいカップケーキショップを設置するのかを推測するのではなく、データを尋ねます。不動産業者は、大きなデータを使用していつ、どこで住宅を購入するか、顧客が支払うべき額、特定の市場がどのくらい急速に上昇または下降するかを予測するフィールドデーを開催する必要があります。

2016年は、Apache Sparkをリードする大規模なデータ分析の年になるかもしれません。私が期待しているのは、データ消費者がデータを消費するためのより簡単な方法です。私はまた、人々が大きなデータについて話すのを止め、誰かがその大きなデータを使って何かをやりたいと思っています。そうでなければ、私は別の予測をすることができます – 大きなデータシュレッダーを作成する人は世界の次の億万長者になるでしょう。

これらの予測についてどう思いますか? Apache SparkはMapReduceを処理フレームワークとして置き換えますか? MapReduceはそのコースを運営していますか?話を戻して知らせてください。

LinkedInが新しいブログプラットフォームを発表

ビッグデータ分析、Big Data Analytics、DataRobotはデータサイエンスの欠点を自動化することを目指している、Big Data Analytics、MapR創設者のJohn Schroederが辞任し、交換するCOO

これはBig OLAPの時代ですか?

DataRobotは、データサイエンスの果実を自動化することを目指しています

MapRの創設者John Schroederが辞任し、COOが辞任