マップリデュースチュートリアル学習マニュアル

MapReduceは、Hadoopの舞台裏で実行されるプログラミングパラダイムであり、スケーラビリティとシンプルなデータ処理ソリューションを提供します。 このチュートリアルでは、MapReduce の機能とその分析方法について説明します。

MapReduceは、複数のノードでビッグデータを並列に処理できるアプリケーションを作成するためのプログラミングモデルです。 MapReduceは、大量の複雑なデータを分析するための分析機能を提供します。

ビッグデータは、従来のコンピューティング技術では処理できない大規模なデータセットのコレクションです。 たとえば、FacebookやYoutubeが毎日収集および管理するために必要なデータの量は、ビッグデータの傘下にあります。 ただし、ビッグデータは規模と量だけでなく、速度、多様性、量、複雑さの1つ以上についても重要です。

従来のエンタープライズシステムには、通常、データを保存および処理するための中央サーバーがあります。 次の図は、従来のエンタープライズ システムの概略図を示しています。 従来のモデルは、大量のスケーラブルなデータの処理には適しておらず、標準のデータベースサーバーはそれに対応できません。 さらに、集中型システムは、複数のファイルを同時に処理するときに過度のボトルネックを作成します。

GoogleはMapReduceと呼ばれるアルゴリズムを使用してこのボトルネックを解決しました。 MapReduceは、タスクを小さな部分に分割し、複数のコンピューターに配布します。 次に、結果をグループ化して統合し、結果データセットを形成します。

MapReduce アルゴリズムは、マップと削減という 2 つの重要なタスクで構成されています。

reduce タスクは、常にマップ ジョブの後に実行されます。

それでは、各段階を見て、それらがどれほど重要であるかを理解してみましょう。

小さな図の助けを借りて、MapとReduceの2つのタスクを理解してみましょう。

MapReduceの力を理解するために、実際の例を見てみましょう。 Twitterは1日あたり約5億ツイート、つまり毎秒約3,000ツイートを受け取ります。 次の図は、Tweeter が MapReduce を使用してツイートを管理する方法を示しています。

図に示すように、MapReduceアルゴリズムは次のことを行います。