フルームの事象はどのように処理され、伝えられているのか？
フルームは、分散型で信頼性が高く、高い可用性を持つログ収集システムであり、ユーザーが大量のログデータを収集、集約、転送するのを支援します。フルームのイベント処理および転送プロセスは次のとおりです。
- データソースがイベントを送信します：Flumeのデータソースはログファイル、ネットワークデータ、メッセージキューなどのさまざまなタイプである可能性があります。データソースはイベントをFlumeのエージェントに送信します。
- AgentはFlumeの軽量代理プログラムで、データソースからのイベントを受信するために使用されます。Agentには複数のソースとシンクを構成することができ、異なる種類のイベントを処理するために使用されます。
- イベント処理：エージェントはイベントを受け取ると、データのクリーニング、フォーマット変換、データのフィルタリングなどの処理を行います。ユーザーはプラグインを設定することで、イベント処理のロジックをカスタマイズすることができます。
- イベントの転送：Agentはイベントを処理した後、指定されたSinkにイベントを転送します。Sinkは、イベントをターゲットのストレージまたは下流システムに転送するためのコンポーネントです。Flumeには、HDFS、Kafka、HBaseなど、さまざまな種類のSinkが用意されています。
- イベント転送：シンクはイベントをターゲットストレージまたは下流システムに転送します。イベントは転送中に複数のエージェントを経由し、データの階層的な転送と処理を実現します。
Flumeのイベント処理および転送プロセスは、イベントの受信、処理、転送、および転送を含んでおり、異なるコンポーネントやプラグインを設定することで、柔軟なデータ収集および処理フローを実現できます。Flumeの設計目標は、高信頼性と高性能のログ収集システムを実現し、大規模なデータ収集および処理シナリオに適しています。
