关于GCP的Bigdata及其与Apache系列的相关性的总结

Cloud Pub/Sub送信者と受信者を切り離す多対多の非同期メッセージングで、メッセージ指向ミドルウェアの柔軟性と信頼性をを提供。ストリーム分析パイプラインの基盤ともなる。Apache Kafkaオープンソースの分散メッセージングシステムで、スケーラビリティに優れた分散メッセージキュー。

Cloud Dataprocオープンソースのデータツール（Spark / Hadoop）を利用してバッチ処理、クエリ実行、ストリーミング、機械学習を大規模分散処理で実行するマネージドサービス。ComputeEngine インスタンス上で実行する仕組み（プリエンプティブVM可）オンプレのサービスをGCPにマイグレート色強い（インスタンスをマスター／ワーカーの台数を自身でインスタンスに設定）Apache Hadoop大規模データの分散処理を支えるオープンソースのソフトウェアフレームワーク。アプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。Apache Sparkオープンソースのクラスタコンピューティングフレームワーク。暗黙のデータ並列性と耐故障性を備えたクラスタ全体をプログラミングできる。データをメモリに乗せて処理するから処理が高速（TB級までのデータに有効）。Apache HiveHadoop 上で動作するソフトウェアで、SQLに似たデータ操作言語を用いてデータの集約・問い合わせ・分析を行う。パフォーマンスに優れる。Apache PigHadoop 上で動作するソフトウェアで、SQLに似た組み込み関数とユーザー定義関数を用いる。柔軟性があり複雑な処理も手軽に行える。

Cloud DataflowApache Beam の実行環境。ストリーム（リアルタイム）モード／バッチ（履歴）モードでデータを変換（ETL)する、フルマネージドなデータ処理パイプラインサービス。Cloud Dataprepプログラミング知識が無くてもほとんどクリック操作のみでデータ加工を行ったり、データの品質チェックができる。ジョブ実行に Dataflow が使われる。Apache BeamETL、バッチ、ストリーム処理などのデータ処理パイプラインを定義および実行するためのオープンソースの統合プログラミングモデル。

Cloud Composerフルマネージド ワークフロー オーケストレーション サービス。Apache Airflow オープンソース プロジェクトを基に構築され、Python プログラミング言語を使用して運用される。Apache Airflowワークフローエンジン ツールの一種で、複数のタスクの実行順序を定義するワークフローの作成、実行のスケジューリング、監視などを行う。

BigQueryサーバーレスでスケーラビリティに優れた企業向けのフルマネージドなデータウェアハウス。カラム型のマネージドストレージ。バッチやストリーミングのデータ収集機能、データ保存するストレージ機能、クエリーエンジンとしてのデータ分析機能をもつ。Apache Avroシステム間でデータ交換を行うためのオープンソースなデータフォーマット。データがバイナリエンコードされ、軽量で柔軟。

Cloud Datalabインタラクティブなデータ分析ツール。Datalab に Jupyter Notebook、TensorFlow などが含まれる。Jupyter NotebookWebブラウザ上でプログラムを作成・実行し、コード、メモ、実験結果をひとまとめに記録できるツール。TensorFlowTensorFlowとは、Googleが開発しオープンソースで公開している、機械学習に用いるためのソフトウェアライブラリ。