今日の世界で生み出されているデータの量、その成長はとてつもないというほかありません。 世界中で生産されているデータのスピードは、その量が2年ごとに2倍になっています。
このことから、Statistaでは、2024年までに、手元のデータ量は159ゼタバイトまたは159兆ギガバイトに達するだろうと推定しています。
このような膨大な量のデータを管理し活用するために、世界中のデータ科学者がビッグ データ分析ツールを活用しています。
このブログでは、MongoDB と Hadoop が、その特定のコンポーネントを使用して、大量のデータに対してどのように異なる操作を行うかを学びます。
簡単に説明すると、MongoDBは非常に有名なNoSQLデータベースで、JSONセットアップで情報を保持するのに対し、Hadoopは有名なビッグデータツールで、1台のサーバーから数千台のマシンやシステム、それぞれのシステムがローカルで計算や保存ができるようサイズアップするように構築されています。
「データがあるのなら、データを見よう。 意見だけなら、私の意見でいきましょう。”
– Jim Barksdale, former Netscape CEO
はじめに
これほど多くのデータが生み出されている以上、これからの時代、データを保存し処理する従来の方法は適していないでしょう。 従来の方法は、ビッグデータ解析と呼ばれ、近年、多くの人気を集めている。 もう10年以上前からあるんですよ。
この膨大な量のデータを保存し処理するために、いくつかのビッグデータ技術が作られ、来るべき時代にデータを構造化するのに役立っています。 これによって、現在150のNoSQLソリューションが誕生しています。
（さらに学ぶべきは、ビッグ データ分析が IoT をどのように形成しているかということです）。
これらのソリューションは、非リレーショナルデータベースによって駆動されないプラットフォームであり、しばしばビッグデータと関連付けられます。 ただし、そのすべてがビッグデータソリューションに該当するわけではありません。
ソリューションの数は実に印象的に見えるかもしれませんが、これらのテクノロジーの多くは、互いに組み合わせて使用する必要があります。 また、これらはニッチ市場向けにカスタマイズされていたり、初期段階での採用率が低かったりします。
これらの多くのNoSQLソリューションのうち、かなりの人気を得ているものがあります。 これらの人気のあるソリューションのうちの2つは、HadoopとMongoDBです。
両ソリューションは、スキーマなし、オープンソース、NoSQL、および MapReduce などの機能面で多くの類似点がありますが、データを保存し処理するための方法論は大きく異なっています。
ここでは、
-
プラットフォームの歴史
-
プラットフォームの機能
-
制限に基づいて MongoDB と Hadoop との違いを見ていきましょう。 プラットフォーム
プラットフォームの歴史
MongoDB
MongoDBデータベースソリューションはもともと10genという会社が2007年に開発し、現在はMongoDBとして知られているものである。 それは、複数のサービスやソフトウェアを実行するための動機とクラウドベースのアプリエンジンとして開発されました。
-
同社は、2つのコンポーネント、BabbleとMongoDBを開発しました。 製品はその足跡を残すことができず、その結果、アプリケーションを破棄し、オープンソースプロジェクトとして MongoDB をリリースすることにつながりました。
-
オープン ソース ソフトウェアとしてリリース後、MongoDB は軌道に乗り、成長するコミュニティのサポートを得ることができました。 プラットフォームの改善と統合を目的とした、複数の機能拡張が行われました。
-
MongoDB は効果的なビッグ データ ソリューションと見なすことができます。 しかし、MongoDB は既存の DBMS システムを置き換えるか強化するために設計された汎用プラットフォームであることを覚えておくことが重要です。
Hadoop
MongoDB とは異なり、Hadoop は当初からオープンソース プロジェクトとして存在していました。 これは Doug Cutting によって作成され、2002 年に作成されたオープンソースの Web クローラーである Nutch というプロジェクトが起源となっています。
-
Nutch はその立ち上げ後、数年間は Google の足跡をたどっていました。 たとえば、Google が分散ファイルシステム (GFS) をリリースしたとき、Nutch も同じものを開発し、NDFS と名付けました。
-
同様に、Google が 2004 年に MapReduce という概念を打ち出したとき、Nutch も 2005 年に MapReduce の採用を発表しました。 そして、2007年にHadoopが正式にリリースされました。
-
Hadoop は Nutch のコンセプトを継承し、コモディティ ハードウェアのクラスタ上で膨大な量のデータを並列処理するプラットフォームとなったのです。
現在のデータベース システムのほとんどは RDBMS であり、今後かなりの年数にわたってこの状態が続くでしょう。 (データレイクとデータウェアハウス & データベースの違いを理解する)。
RDBMS は多くの組織にとって有用ですが、すべてのケースで使用するには適していないかもしれません。
MongoDB
MongoDB は文書指向のデータベース管理システムなので、データをコレクションに格納します。 これらのデータ フィールドは一度だけクエリできます。これは、RDBMS で必要とされる複数のクエリとは正反対です。
-
MongoDB はデータをバイナリ JSON または BSON で保存します。 このデータは、任意のアドホック クエリ、レプリケーション、インデックス作成、および MapReduce 集約にも簡単に利用できます。
-
MongoDB を書くのに使われる言語は C++ で、Linux システムと同様に Windows にもデプロイすることが可能です。
-
しかしながら、MongoDB はリアルタイムの低遅延プロジェクト用に考えられているので、効率が求められるなら、Linux マシンが MongoDB の理想的な選択肢となるはずです。
-
MongoDB と Hadoop の主な違いは、MongoDB がデータベースであるのに対し、Hadoop はデータ処理フレームワークを作成できる複数のソフトウェアコンポーネントで構成されている点です。 Hadoop Distributed File System (HDFS) と Java で書かれた MapReduce が Hadoop の主要なコンポーネントです。
他のいくつかの Apache 製品のコレクションが、Hadoop の二次的なコンポーネントを形成しています。 これらの製品には、Hive、Pig、HBase、Oozie、Sqoop、および Flume が含まれます。
-
Hive はデータをクエリするためのものですが、Pig は巨大なデータ セットの分析を行うためのものです。 HBase は列指向データベース、Oozie は Hadoop のジョブ スケジューリングを支援し、Sqoop は RDBMS、BI、または分析を含む他のシステムとのインターフェイスを作成するために使用されます。 (トップ BI ツールとテクニックの詳細)
-
Hadoop の設計は、汎用ハードウェアのクラスター上で実行されるようになっています。 また、複数のソースから取得した集約データを含む、あらゆる形式のデータを消費する能力も備えています。
-
Hadoop では、データの配布は HDFS によって管理されています。 また、HBase で実装されるオプションのデータ構造も提供される。 これは、データをカラムに構造化するのに役立ちます。
-
これは、2次元でデータを列と行に割り当てるRDBMSのデータ構造化とは異なります。 Hadoopでは、Solrのようなソフトウェアがデータのインデックス付けに使用されます。
Hadoop と MongoDB の制限事項
MongoDB と Hadoop はどちらも素晴らしい機能を備えていますが、制限事項もあります。 両方のプラットフォームの制限をいくつかリストアップしましたので、どちらがより制限が少ないかを判断することができます。
MongoDB
MongoDB には多くの機能が組み込まれていますが、次のような独自の制限事項があります。 これは、実行速度が遅くなり、最適なパフォーマンスを得られない可能性がある。
-
-
ユーザーが結合なしで進行したい場合、結合がないと、すべてのファイルがディスクからメモリにマッピングされる必要があるため、MongoDB がより多くのメモリを必要とすることを意味します。
-
Document size cannot exceed 16MB
-
Nesting functionality are limited and cannot exceed 100 levels.
Hadoop
ビッグデータ解析のための素晴らしいプラットフォームである Hadoop にも、次のような制限があります。
-
Hadoop は MapReduce を使用しており、そのプログラミングにより単純なリクエストに適しています。 しかし、ユーザーが、完了するために複数のマップとリデュース処理を必要とする、インタラクティブで反復的なタスクを含む高度な分析を実行しようとすると、マップとリデュースの段階の間に多数のファイルが作成されます。 その結果、タスクの効率が低下してしまうのです。
-
Mapreduce の操作には高い Java スキルが必要なため、ほとんどのエントリーレベルのプログラマーは Hadoop で作業することができないのです。 これは、SQL が初級プログラマーにとって操作が簡単であるため、Hadoop よりも SQL が好まれることにつながります。
-
Hadoop は複雑なプラットフォームで、セキュリティ プロトコルなどの機能を有効にするには、複雑なレベルの知識が必要です。
-
Hadoop には、メタデータの処理やデータ品質のクレンジング、確保、管理に必要なツール群が限られています。
-
Hadoop は、その複雑な設計により、小さなファイルを効率的に管理することができないのです。
最後に一言
Hadoopはビッグデータにおける最も純粋で魅力的なツールであると結論づけられるでしょう。
一方、MongoDB は、シャープなパフォーマンスや実装、優れた可用性、自発的なスケーリングで有名です。 オープンソース、スキーマフリー、MapReduce、NoSQLなど多くの類似点がありますが、データ処理とストレージへのアプローチは異なります。
このブログでは、どちらが優れているかを判断できるように、両方の機能性と制限をリストアップしています。 このブログが有益で、あなたの知識に付加価値を与えることができたことを願っています。
-