Apache NiFiのHortonworks CTO:それは何であり、なぜIoTにとって重要なのですか?

Hortonworks CTO Scott Gnau:片方向の伝統的なストリーミングではなく、NiFiは双方向でポイントツーポイントです.Hortonworks、昨年11月、米国家安全保障局(National Security Agency)はNiagrafilesまたはNiFiデータフローソフトウェアをオープンソース化しました。

それはあまり特徴的ではないが、それはオープンソースコミュニティーにとって初めての技術賞ではありませんでした。 3年前にAccumuloデータベースをApacheに寄稿しました。

その後、2週間前に、Ni​​Fiは、技術のNSAクリエイターの一部によって設立されたOnyara社が、Hadoop社のHortonworks社の買収のために並んでいた時のニュースに戻った。

Hortonworks CTOのScott Gnau氏によると、NSFの「外国のインテリジェンス要件に対応する」義務の一部として起草されたNiFiのデータフローオーケストレーションツールは、Internet of Thingsテクノロジの最前線で今見つかっています。

「物事のインターネットでは、解決すべき大きな技術的問題のいくつかがあります。まず、従来の処理や静止しているデータと比較して、センサーはデータを送信します。いくつかのケースでは、センサーがお互いに通信することを望むかもしれません」と彼は言いました。

しかし、接続されたデバイスを消費者が購入したときに安全に保つことは、長期間にわたる安全性の保証がほとんどなく、インターネット業界のベンダーに業界のガイドラインが必要であると言われている理由の1つです。

一方向の伝統的なストリーミングやデータフローの代わりに、それは双方向であり、ポイントツーポイントです。これは、技術的にも要件の観点からも、大きな違いです。

その違いは、Stream Processing FrameworkのApache Stormやリアルタイムのマイクロバッチ処理ツールSpark StreamingなどのテクノロジからNiFiを除外した点です。

「これらのことは一方向のストリーミングメカニズムであり、確かに非常に優れた技術です。多くのユースケースがあり、明らかにこれらのテクノロジと統合しています」とGnau氏は述べています。

しかし、物物のインターネットに関連しているので、それらの技術にはいくつかの個別の制限があります。個々のポイントツーポイント通信に個別に展開する必要があります。これは特にスケーラビリティがありません。

「彼らは非常によく似ているかもしれないが、ユースケースが非常に異なっており、広範なデータアーキテクチャーに展開したい異なるプラットフォームのすべての部分である」

Hortonworksは今月下旬にHortonworks DataFlowの形でNiFiの配布をリリースする予定で、ドキュメンテーション、実装のヒントとテクニック、サポートとコンサルティングサービスとともに、実験用サンドボックスのダウンロードが可能です。

同社は、DataFlowをInternet of Thingsのデータフローを調整、管理、検証するソフトウェアのパッケージとして説明しています。

$ 100Mの投資ファンドとクラウドサービスAPIとSDKのオープンにより、AlexaとEchoは、ホームオートメーションとIoTネットワークの頭脳になる可能性があります。

「伝統的なモデルの電力会社が発電所を建設し、ネットワークを通って顧客に一方向の経路で出荷することは、伝統的なデータの動きとほぼ同じです」とGnau氏は述べています。

物事のインターネット上の詳細

Internet of Things、クエスト、クアルコム、4G LTEネットワーク、Internet of Things、スマートシティ計画のための英国標準を活用するためのオーストラリア政府、IoT LoRaWANネットワークがSydney、Cloud、Connected、雲の時代はより良いネットワークが必要

「現在、グリッド上に太陽電池パネルがある場所に早送りしています。だから、千の異なる世代のポイントと100万の異なる顧客がいます。電子の流れを最適化することは、解決するためには非常に異なる問題です。物事のインターネットのためのデータフロー。

2番目の重要な領域は、NiFiが取り組むこともできますが、インターネットの事例では、コントロールの変化の境界という概念が使用されています。

従来のデータ処理では、データ・レーキなどのデータ・センターでは、データセンターの周りに安全な境界があります。クラウドに配置した場合は、クラウド内のサーバーの周りに配置されます。保護する必要がある」と述べた。

「新しい世界では、セキュリティ、プライバシー、データ保護がセンサに、ぎざぎざとしているのは何百もの異なるセンサが異なる場所にあるため、セキュリティが確保されていますApache NiFiが一意に解決することができた、非常に新しい面白い問題だと理解しています」

第3の領域は、デバイス間の情報の移動によって作成された巨大で複雑なデータフローのネットワークを管理することです。

「管理とインフラストラクチャは、従来のデータフローやストリーミングよりも少し複雑です。データソースの概念は非常に興味深いものです。センサーから得たデータが不完全であることを理解でき、データを処理する代わりに自動的に取得し、データがネットワーク内の各ホップを介してポイントツーポイントで有効であることを信頼し理解することができます」とGnau氏は述べています。

Androidの市場の断片化はセキュリティ上の悪夢ですが、IoTはさらに悪化します。いくつかのベースライン基準が必要です。

起源が興味深い理由はたくさんあります。明らかにプライバシーの観点、分析の観点の完全性、潜在的に規制面の観点から、その起源のトレーサビリティは非常に面白いでしょう。これもまた、Apache NiFiがテーブルにもたらすものです。

NiFiが動作する方法の一部には、センサー上でデータを収集するプロセスが含まれ、セキュリティラッパーと起源の機能が含まれています。

「これは、他のエッジの仮想マシンと組み合わせると、実際には、セキュリティ境界がエンドツーエンドで管理され、暗号化と生成が組み込まれたネットワークが構築されます」とGnau氏は述べています。

NiFiの性質によって、ユーザは帯域幅をより効率的に管理することができます。これは、一般にInternet of Thingsアプリの膨大なデータと、世界の多くの地域に存在する帯域幅の物理的および経済的制限があるためです。

“IoTのユースケースは、接続された車内で移動するもの – 移動するもの – である傾向があると想像すれば、ブレーキに過熱したことを示すセンサーがあり、その情報を無線ネットワーク経由で保証を見守って車を世話し維持することに積極的に取り組んでいるメーカー」と語った。

しかし、帯域幅が制限されている可能性のある世界各地のさまざまな無線ネットワークにある数百万のデバイスを想像することができれば、送信されるデータに優先順位を付けることができ、異常が検出された場合は中央処理領域から戻って特定のユニットからさらに多くのデータを要求することができます。

NiFiでは、関連するデータのみを送信できる機能とともに、双方向データフローの監視と管理を支援する処理アルゴリズムとグラフィカルユーザーインターフェイスがあります。

「作物からイメージングデータを送信しているセンサーがある場合は、最初にサムネイルを送信したい場合があります。珍しいものがある場合は、戻って高解像度バージョンを入手できます。前記。

「すべての機能は上部構造の上部に組み込まれています。それは嵐や火花のようなものではなく、お互いに通信し通信経路を最適化するデバイスやセンサーには本当に適しています。

戦略的には、NiFiとHadoopのアライメント(動きのあるデータと静止しているデータ)は、Hortonworksの重要な動きです。

「もちろん、動いているデータはおそらくどこかに着陸するでしょう。たぶん、多くのデータがHadoopに到着します。このデータから多くの分析が作成され、最適化のために、動いているデータネットワークにストリームアウトされます。これは一種の閉ループの運用上の問題である。

「インターネット・オブ・ザ・イヤーではこれまで以上に多くのデータが作成されている共生的な関係が非常に強く、相互作用しているのがわかります。これは伝統的なツールを使って、 Hadoop領域で開発することができます.NiFiへのインターフェースも非常に重要です。

Underwater Thingsのインターネット:研究者が海をネットワークで結ぶためにクジラを模倣する方法

ARMは、Thundersoftは、物事アクセラレータのインターネットを起動する中国の頭

FacebookのParse、インテルなどとのインターネットの広がりを拡大

サムスンのIoTの野望は、統合、ソフトウェアチョップ

IBM、インターネット・オブ・ソー(Things of analytics)のARMリンクアーム

このセンサーはあなたのダムアプライアンスをスマートにすることができます

KLMとSchipolは、メッシュネットワークを使用してキットを確認するIoTスタートアップに投資

ドローンが4G LTEネットワークをどのように使用できるかをテストするクアルコム、AT&T

オーストラリア政府はスマート都市計画のために英国の基準を活用する

IoT LoRaWANネットワークはシドニーに住む

接続されたクラウド時代にはより良いネットワークが必要