超越事件流，一个完整的开源生态系统为Apache Kafka®的翻译。

2022年的12月7日。

超越事件流：为Apache Kafka®打造完整的开源生态系统。

如果您选择将Apache Kafka作为数据基础架构的核心，我们建议您使用端对端的解决方案。请查看Aiven以Apache Kafka为中心的开源生态系统的详细信息。

Apache Kafka®基础设施的整体管理

我们对最近对Kafkawise的收购和改名为Klaw，以及2022年初启动的Aiven for Apache Flink感到自豪。通过这些举措，我们能够介绍完整的Apache Kafka®周边技术和工具生态系统。

我们的愿景是为适应各种组织的数据流和工作负载需求，提供与Apache Kafka深度整合的服务和工具的真正端到端的开源生态系统。

使用Apache Kafka实现组织的增长和发展

我们经常看到企业踏出流媒体数据之旅的第一步。这个旅程是一个持续的开发、实验和实施过程。企业会经历不同的阶段，每个阶段都有其相关特征和需求。

最初的步骤 (Zuì chū de

当企业引入Apache Kafka时，首先要关注的是基本的必需品 – 就像婴儿需要高质量的营养和睡眠来促进身体发育一样。对于开发Apache Kafka基础设施的企业来说，这些必需品是熟悉技术并理解如何将其应用到特定需求和使用案例中。企业还需要研究基本概念，并启动Apache Kafka集群来推进事务。

希望开始使用Apache Kafka的企业将希望了解集群的启动方法（以及位置），考虑流处理拓扑，并调查基于现有数据量的特定用例的延迟要求。

成长中的需求

随着Apache Kafka在组织内的增长，其容量也会增加，可以处理更大量的流量和用例。开始使用Apache Kafka可能是为了在环境和数据库之间进行数据传输，但随着Kafka的普及，可能需要与边缘设备、消息队列、大型文件和云存储进行交互，并进行实时处理以确保数据的准确性和可用性。使用Apache Kafka的组织所需的需求会越来越多。

随着组织使用Apache Kafka的程度增加，需求也会增加。

起飞

当孩子达到一定年龄时，他们离开家庭，成为幼儿园或学校等更广泛团队的一员。他们开始学习如何在社会中参与和行动。

对于企业来说，这是Apache Kafka采用的第三个阶段，它带来了对工具和软件的新需求。Apache Kafka是组织内部数据传输的核心。随着更多的用例出现，将创建更多的模式，并且现有模式随时间推移而发展。会创建新的主题和分区，强调了多个团队希望访问的不同类型的事件。与此同时，实时数据管道和事件驱动的应用等新的用例也变得可行。

企业需要适当管理和跟踪Apache Kafka环境中主题和模式的变更和演进，确保Apache Kafka应用程序不受模式或拓扑的更改或更新的影响。

最后，随着Kafka的进一步扩大应用，需要建立一套治理结构和机制来确保Apache Kafka符合特定的标准和规则。这将使得该技术能够以安全、合规的方式开始支持关键任务的应用程序。

通过提供完整的开源流式处理生态系统来支持组织在Apache Kafka的整个旅程中。我们希望成为值得信赖的合作伙伴，一起共同走过每个阶段。从无缝的集群设置，到测试和执行Apache Kafka服务，再到以Apache Kafka为中心构建端到端的平台服务团队，Aiven的生态系统为此提供支持。

支持客户的增长的流媒体生态系统

让我们详细了解开源生态系统中的工具和服务。

Apache Kafka 的 Aiven

Aiven for Apache Kafka是一种核心的事件流处理框架，可以实现组织内部数据流的传输。

通常情况下，希望开始进行数据流处理的客户会专注于 Apache Kafka 自身。也就是说，他们会启动并运行 Apache Kafka，并确保自己具备足够的知识和培训来使其正常运行。

如果使用Aiven for Apache Kafka，您可以在一个地方无缝地进行实时数据的管理、运维和传输。此外，它还可以与其他Aiven服务集成，并且可以从其他云地区和外部系统迁移集群。

Aiven 提供的 Apache Kafka® 服务 (in Chinese)

中国向けのネイティブなパラフレーズは以下の通りです：
我们提供了Apache Kafka作为完全托管服务，无供应商锁定，并具备构建流式处理管道所需的完整功能套件。

请尝试使用开源服务！

Aiven为Apache Kafka连接

Aiven for Apache Kafka Connect作为一个追加系统出现了。随着使用Apache Kafka的次数增加，自行管理与外部系统连接的配置会变得繁琐。因此，Kafka Connect和Aiven等全面托管的分布式服务就展现出其真正的优势。

Apache Kafka Connect允许用户在不管理独立连接器的情况下，以可扩展的方式无缝集成现有的数据源和接收端。

例如，可以使用Debezium源连接器来提取像PostgreSQL这样的关系型数据库的事务日志中已提交的更改，并将其以标准格式推送到Kafka主题，以便多个消费者可以轻松地进行阅读。

Aiven 针对 Apache Kafka MirrorMaker2

Aiven for Apache Kafka MirrorMaker2非常适合数据复制需求。通过使用它，可以执行混合工作负载。也就是说，可以在公司的数据中心保持集群的同时，将其他服务或集群移到云端以增加可伸缩性。或者，还可以在多个云区域或云环境中部署不同或相同的集群，实施真正的多云战略。

Aiven为Apache Kafka MirrorMaker2 提供全托管、完全开源的分布式数据复制服务，实现集群间的数据复制、灾难恢复以及跨地域、跨云地理接近性。

卡拉OK

Karapace 提供了完全开源的 Kafka Schema Registry。应用程序可以通过它访问，并能够使用常见格式如 AVRO、Protobuf、JSON 对消息进行序列化和反序列化。

通过这样做，您可以跨越事件驱动架构的各种组件和服务，并统一管理应用程序的模式和元数据。

Apache Flink的Aiven

Aiven for Apache Flink为数据处理添加了实时功能。通过使用基于 Apache Flink 的流式 SQL 引擎，可以在将数据输入到 Apache Kafka 的外部服务或系统之前，进行数据的提取、转换和分析。

Apache Flink 可以摆脱批处理的限制，在集群中并行执行任务。例如，它可以从 Apache Kafka 向监控系统传递数据或在存储之前转换数据。

Apache Flink® 是 Aiven 所使用的框架。

这是一个完全托管的Apache Flink服务，适用于实时ETL和流分析的用例。

开始免费试用

Klaw 可劳

Klaw可以帮助简化Apache Kafka基础架构的复杂性，并在没有中间层的情况下轻松进行管理。使用Klaw可以管理主题，并确保适当的团队能够访问Apache Kafka的正确数据。

在初期阶段，可能会使用电子表格或基于电子邮件的请求/批准系统。只要与Apache Kafka进行交互的团队相对较少，这样做没有问题。然而，随着组织规模的增大，这种一次性流程可能成为管理和运营大规模Apache Kafka时的瓶颈。

Klaw是一个开源的数据治理工具，它使得企业能够执行Apache Kafka®的主题和模式的治理，并提供跨DevOps团队和数据工程团队的自动化流程和审批流程。

当开源真正产生差异时

Aiven坚信开源技术为行业提供最佳技术，我们致力于维护开源，并希望继续在推进开源技术方面发挥重要作用。

基于开源的根源和价值观，我们希望让Apache Kafka的工程师和开发者们感受到他们所使用的解决方案给予他们力量。无论是否有Aiven存在，他们需要了解到在Apache Kafka旅程中有一个支持他们的活跃社区。

Aiven围绕Apache Kafka的整个生态系统的所有组件都是开源的，原因就在于这一点。我们希望通过一个全面的社区来维护和支持这些技术的代码库，以确保它们满足开发者在使用工具和服务时的需求。

我們誠摯地邀請您參加Aiven關於Apache Kafka生態系統的探索活動。

如果您想了解Aiven生态系统中与Apache Kafka相关的各种技术和工具如何协同工作，请先参考下面的资源：

• Apache Kafkaによるイベントストリーミング

 

• Aiven によるイベント・ドリブン・アーキテクチャ

 

AivenのManaged Apache Kafka

今天，让我们迈出第一步吧。

请向Aiven的专家咨询，询问是否需要使用Apache Kafka®进行事件流处理。

您是否正在寻找托管数据平台？立即预订演示并申请免费试用！