ビッグデータとは
ビッグデータとは、従来の一般的なデータベース管理システムでは記録や保管、分析が困難なほど、巨大で多様かつ更新頻度が高いデータ群のことです。単に「データ量が多い」ということだけでなく、3つの「V」という特徴を持っています。
- Volume（量）：テラバイトやペタバイトといった膨大なデータ量。
- Variety（多様性）：文章、画像、動画、GPSの位置情報、SNSの投稿など、様々な形式のデータ。
- Velocity（速度・頻度）：毎秒のようにリアルタイムで生成・更新されるデータ。
これらのビッグデータを高度な技術で分析することにより、これまで予測できなかった社会の動きや顧客のニーズを捉え、新しいビジネスやサービスの創出に役立てることができます。
具体例
身近な例として、スマートフォンのGPS機能を使った渋滞予測システムがあります。
- 数百万人のドライバーが持つスマートフォンから、現在位置と移動速度のデータをリアルタイムで収集します（これがビッグデータです）。
- この膨大な位置情報を瞬時に分析することで、どの道路がどのくらい混雑しているかを正確に把握し、最適なルートをナビゲーション画面に提示することができます。
もう少し詳しく
ビッグデータの概念は、元々は先述の「3つのV（Volume, Variety, Velocity）」で定義されていましたが、近年ではそこに「Value（価値）」や「Veracity（正確性）」を加えた「4つのV」や「5つのV」として表現されることも増えています。これらの特性を持つデータを従来のデータベース管理システム（RDB）で扱おうとすると、システムの拡張限界や処理性能の低下という課題に突き当たります。そのため、ビッグデータの保管・分析には、独自のIT基盤や技術が用いられます。
その代表例が「Hadoop（ハドゥープ）」です。Hadoopは、オープンソースの分散処理フレームワークであり、安価な複数台のコンピュータを並列に動作させることで、テラバイトやペタバイト級の超巨大なデータを効率的に処理します。Hadoop内では、大容量データを分散して保存するファイルシステム「HDFS」と、データを分割して並列処理する仕組みである「MapReduce」が中核技術として動いています。
また、データ形式に関しても、従来のRDBが対象とする表形式の「構造化データ」だけでなく、文章や画像、音声などの形式が統一されていない「非構造化データ」や、XMLやJSONのような「半構造化データ」がビッグデータの大部分を占めます。これらを柔軟に処理するために、スキーマ（設計図）の定義を厳密に必要としない「NoSQL」データベースが好まれて使用されます。さらに、加工前の生のデータをそのまま一時的に保管しておく巨大な領域を「データレイク」と呼び、必要に応じてここからデータを抽出し、整理した上でデータウェアハウス（DWH）などへ送り込みます。
試験でのポイント
シラバスおよび試験問題では、ビッグデータを定義する「3つのV（Volume：量、Variety：多様性、Velocity：速度）」を正しく認識しているかがまず問われます。これらの英語表記と日本語の意味を一致させておくことが重要です。
技術的な出題としては、ビッグデータの並列分散処理を可能にする「Hadoop」の名前や、非構造化データの処理を得意としRDBの制約にとらわれない「NoSQL」データベースの特徴について問われます。また、収集したビッグデータを利用する際の倫理・セキュリティ的な観点として、特定の個人を識別できないように加工した「匿名加工情報」や「仮名加工情報」の定義に関する出題も増えています。プライバシー保護とデータ活用の両立に関する基本的な法制度（個人情報保護法）への配慮も試験範囲となっています。
関連する用語
ビッグデータに関連する用語としては、大量の非構造化データを保管する「データレイク」、分析しやすく整理された「データウェアハウス（DWH）」、分散処理のためのソフトウェア「Hadoop」、固定スキーマを持たない「NoSQL」、データから規則性を見出す「データマイニング」などがあり、これらを組み合わせてビッグデータ分析システムが構築されます。