Aiven最新的2022年更新带来了对Apache Kafka®吞吐量的性能测试

2 年 ago

文, 翔

1 minute

Aiven for Apache Kafka®吞吐量的基准测试[2022更新]。

2022年的11月10日

Aiven对Apache Kafka®吞吐量的基准测试[2022年更新]。

请在此投稿中查看Aiven for Apache Kafka®的最新测试结果。我们定期测量其吞吐量性能。

只要在 Aiven 平台上对 Apache Kafka 进行测量，就能找到适合客户应用工作负载的计划。

我们在2017年和2019年对Aiven平台上的Apache Kafka的写入吞吐量性能进行了测量。由于AWS、Azure和GCP这三个主要的公共云提供商在过去三年中更新了计算服务方案，我们决定更新基准测试结果。我们的目标是测量Aiven标准计划和配置的性能，以便我们可以选择适合工作负载的计划。

基准设置

我们对三种计划进行了测试：Business-4、Business-8和Premium-6x-8。我们在三个云服务提供商：AWS（us-east-1）、GCP（us-east1）和Azure（eastus2）上进行了测试。在所有的测试中，我们使用了默认设置（透露一下：我们无需对这些计划进行调整，写入吞吐量已达到了云服务提供商的极限）。

已经测量了持续可持续的写入吞吐量。连续运行了36至48小时的基准测试，并测量了最近24小时的平均吞吐量。通过这样做，排除了最近创建的集群中出现的值，以避免对代理服务器产生长期过载。

使用一个单一的主题，根据经纪人数量将分区数设置为3或6进行写入操作。复制系数被设置为3。由于测试集群是常规的Aiven服务，所以分区和副本被分散在可用区。

消息是使用基于C/C++库librdkafka的rdkafka_performance工具生成的。每条消息的大小为512字节。每个”produce”请求发送了一个未压缩的10,000条消息的批次。客户端连接通过TLS进行，并在测试期间保持连接。

在测试时，我们使用了在Java 17上运行的Kafka 3.2。

Aiven为Apache Kafka：商业-4计划

首先，我们对Business-4计划进行了性能测试。这个计划有三个经纪商，每个实例配备1到2个CPU（根据云服务提供商而异）和4GB的RAM。

我进行了对经纪商报告的Metrics BytesInPerSec的测量。从客户端的持续最大字节输入速率如下：

Azure32.7 MB/s

另外，还测量了每秒消息数（MessagesInPerSec）。可持续最大消息速率如下所示：

アジュール63,900メッセージ/秒

Aiven for Apache Kafka：商业计划8。

接下来，我们增加了经纪人的规模。我们对Business-8计划进行了测试。它的CPU和RAM数量是原来的两倍，每个经纪人配备2个CPU和8GB的RAM。我们在这里测量了经纪人报告的BytesInPerSec。客户端可持续的最大字节输入速率如下所示：

Azure: 81.0 MB/s81.0 MB/s

另外，我们还测量了MessagesInPerSec指标。可持续的最大消息传递速率如下：

アジュール155,000メッセージ/秒

Aiven对于Apache Kafka的高级-6x-8计划。

最後，我們將集群內的代理數量增加了兩倍。為了每個集群內的代理成為分區的領導者，我們將主題的分區數量從3增加到了6。我們將複製數量保持在3的原因是，在具有三個可用區域的區域中，增加到更高的值並不能提高耐用性。我們測量了從代理報告的指標「每秒入流量(BytesInPerSec)」。持續的最大字節入流量來自客戶端，如下所示：

アジュール137 MB/s

此外，我们还测量了每秒消息数（MessagesInPerSec）指标。持续的最大消息率如下所示：

アジュール262000メッセージ/秒

月度吞吐量成本

值得注意的是，升级计划后吞吐量成本几乎没有变化。升级计划将根据计划费用，增加容量。Aiven的计划没有隐藏费用。

让我们计算不同计划每月每MB/秒的成本，以确认这一点。以下是每个云服务商的不同计划结果的表格。我们通过持续最大吞吐量来除以计划的价格。由于吞吐量与计划成比例增加，成本几乎没有变化。

| | AWS us-east-1 | GCP us-east1 | Azure eastus2 | |
| — | — | — | — | — |
| 商务4 | 吞吐量MB/s | 37 | 30.5 | 32.7 |
| 月费用 | 660.00美元 | 500.00美元 | 550.00美元 |
| 每MB/s的月费用 | 18美元 | 16美元 | 17美元 | | | | |
| | | | | |
| 商务-8 | 吞吐量MB/s | 62.7 | 81.8 | 81 |
| 月费用 | 1,300.00美元 | 1,000.00美元 | 1,100.00美元 |
| 每MB/s的月费用 | 21美元 | 12美元 | 14美元 | | | | |

|每秒1MB的月费｜20美元｜13美元｜15美元

总结

众所周知，云服务提供商会设置对磁盘IOPS的限制。通过我们广泛的测试，我们发现 Aiven for Apache Kafka 可以在 24 小时内持续达到最大的写入吞吐量，而不会达到 IOPS 限制。

在正式工作负载中，建议保持持续可持续的最大写入吞吐量的70％或者低于，或者在Kafka代理从磁盘读取的情况下执行。剩余的容量将用于重新分配分区或将分区复制到集群再平衡时的新节点。

请订阅我们的月刊新闻通讯以获取关于Aiven和我们的服务的最新消息，以及有关开放源代码的各种信息！您可以在LinkedIn和Twitter的动态中获取与Aiven相关的每日新闻。

如果您想了解服务的更新信息，请查看更改记录。

您正在寻找托管数据平台吗？请从https://console.aiven.io/signup申请免费试用！