这篇文章的目的是发布有关Confluent Platform（Apache Kafka）的技术博客，并整理自己的理解。同时，希望能够帮助那些打算尝试使用Confluent Platform的工程师们。这篇文章计划分为几个部分。由于尚未完全审查，可能包含不准确的内容。如果有任何不准确之处，请告知，我将不胜感激。

简而言之

以下是「試用」驗證系統結構的概要圖。

在这个系统中，通过Confluent Platform，在PostgreSQL和Elasticsearch之间进行实时数据流。简单来说，就是数据同步，将PostgreSQL的数据传输到Elasticsearch。

选择将PostgreSQL和Elasticsearch作为数据集成对象并没有什么特别的原因。如果非要说的话，个人有使用经验，而且想尝试将关系型数据库PostgreSQL与NoSQL数据库Elasticsearch进行数据集成的能力有多强，这只是一个简单的动机。

关于Confluent Platform

在使用之前，我将总结一下Confluent Platform的概述层次。更详细的解释可能会在其他文章中发布。

另一方面，由于涉及到PostgreSQL和Elasticsearch等内容会偏移主题，所以本文不会涉及到。

Confluent平台是什么？

Confluent Platform是建立在Apache Kafka上的流数据平台，可以实现实时数据流。它提供了用于管理和监控Apache Kafka的工具，并提供了扩展其功能的附加组件。
简而言之，它提供了商业利用所必不可少的安全功能和配置管理功能。

Apache Kafka是由LinkedIn开发并捐赠给Apache Software Foundation的开源流处理软件。它处理数据流并提供实时数据管道和流式应用程序。简单来说，它提供了一个具有容错性和可扩展性的平台。

Confluent Platform是以Apache Kafka为核心构建的，包含了几个主要组件，用于扩展其功能。本文将介绍Zookeeper、Broker、Schema Registry和Connectors。

饲养员

Zookeeper是一个实现分布式同步的协调服务节点。它的作用是管理Broker，并维护分区、副本等元数据，以确保可靠的分布式系统。

经纪人

Broker是Kafka的核心组件，负责数据的存储。Broker的作用是处理客户端的请求，进行数据的读写，并负责在不同的Broker之间进行数据复制以实现容错性。

模式注册表

Schema Registry提供元数据提供层的功能。它使得在Kafka中不同的消息模式之间具有兼容性。Schema Registry的作用是保存和获取模式，并确保数据符合预定义的模式。它支持Avro、JSON、Protobuf数据格式。

连接器

Connector可以实现数据的可扩展且可靠的流式传输。Connector的作用是连接到数据库、消息队列、云存储等，并负责在系统之间实现无缝数据传输。

总结

我已经以概述级别解释了Confluent平台。
下一篇文章中，我们将使用Docker容器来构建验证环境。

投稿済みの記事と投稿予定の記事

検証用のシステム構成を紹介 ★ｲﾏｺｺ
環境構築
Connectorプラグインの登録、データストリーム
DebeziumのSMTを利用したメッセージ変換
自作のSMTを利用したメッセージ変換
ElasticsearchのIngest Pipelineを利用した変換

投稿するかもしれない記事

Confluent Platformの解説
KafkaとConnectorのパフォーマンスチューニング
Elasticsearchの解説
Elasticsearchのインデックス設定、マッピング定義の解説
Elasticsearchの search APIの解説
Elasticsearchをクラスタ構成に変更