在Equalum中，您可以在一小时内以无代码方式创建多阶段的数据管道！（第一部分）
本次我们将使用Equalum的无代码功能，挑战在1小时内创建多级实时数据管道！
以最迅速的方式回顾Equalum的内容…
我之前在一篇帖子中提到了Equalum解决方案的验证报告，这次想以一种总结性的方式来介绍“实际构建多层次结构会是什么感觉？”的真实步骤，同时验证Equalum所提倡的“通过无编码方式使每个人都能够创建高级数据管道”的可行性。Equalum的特点是……
（1）提供基于Kafka和SPARK的高效且快速的CDC基础的ExactlyOnce数据处理支持。
（2）通过无代码操作，任何拥有Excel经验的人都可以实现高级实时流处理。
（3）利用现有许多数据库提供的“日志周边信息”，无需额外的服务或应用程序即可在运行中的数据库中进行操作。
目前已经有计划，并且在日本国内已经有两家官方经销代理商开始积极进行市场开发。
如果没有复杂的环境知识或Java编程等，只需理解列的意义和表之间的关系等（重要的是真实数据场景的业务知识而不是IT知识），任何人都可以构建复杂的数据利用环境，实现真正意义上的数据驱动型数字化转型，这正是Equalum的优势所在。
本次挑战的构成概述
本次的时间限制作品构成如下：
使用之前创建的基于Python的Faker生成的”虚构商品销售数据”，按照产品类型（5种）假设虚拟店铺，并将随机生成的数据插入到该店铺的数据库中。
Equalum在MySQL上部署的CDC配置店铺表的变化，并进行必要的流处理（本次为查找，插入3个派生列），将所有店铺数据聚合到一个集成数据库中（图中显示为SingleStore，但由于验证环境的限制，我们额外添加了一个MySQL实例来进行处理）。
这种迅猛的数据管道可能很难超越（概述已在之前的回报中介绍），但我们想利用Equalum的无代码功能，并支持ExactlyOnce的数据处理，在多长时间内将其运行起来！前半部分可以实现即时更新数据集成，无需强行打破数据孤岛（无需夜间批处理等时差处理），后半部分则旨在同时创建特定目的的数据表！（例如利用或总部功能的自动适配）。
在那之前…
关于最初的基于Python的连续数据生成和验证工具，与Equalum的验证没有直接关系，所以如果有机会，请在另一个话题中公开其内容。
这次的主题是，任何人都可以通过无代码实现“高速、低延迟、流媒体ETL + ExactlyOnce”的数据管道，我们能走多远呢？
现在来迎接Equalum吧！
最初要进行Kafka的工作吗？（难道是在受苦之前进行吗？！）
在Equalum中，有一个显著特点是彻底以”积极的意义”实现黑箱化。尤其对于那些在数据领域从事工作并具有Excel经验的人们来说，他们可以通过Equalum自行构建实现基于数据驱动的现场主导的Dx环境，这对于实现工作场所的数据驱动做出了重要贡献。
当数据库中所需的表发生变化时，运行在Equalum集群上的代理（不是在DB端）会立即执行其专属的CDC处理，从而使用户无需进行“复杂而棘手”的编程，即可创建、构建和运营实时流数据管道。您将不再需要为Kafka编程而烦恼两次！
如果用以前的方法来实施到这一步的机制的话，可以毫无疑问地说，达到开头的一个小时这个数字是不可能的…
提供一個稍微複雜的設定範例……
这次的总结
通过利用Equalum的无代码功能，我们对以前概述过的“利用多阶段CDC进行真实困扰数据处理模式”的重要部分进行了具体验证和介绍，以便快速创建实时流处理的关键部分。Equalum使任何人都能通过简单的选择和设置过程来创建高级数据管道，包括“ExactlyOnce”，而无需进行复杂的日本编程或选择和引入复杂奇巧古怪的相关环境。Equalum在这个领域实现了真正的敏捷性，可以应对市场和业务变化及其速度，为实现数据驱动的环境提供了简单构建的利用环境，并且被认为是一个极其有效的选择。
我没有深入去谈论，但是通过这种无码工作，我们基本上可以用基本的固定步骤来实现“高性能数据管道的创建”中的“最重要部分”。
下一次，我想要验证和解释关于正面FLOW部分的创建。
请点击此处，用Equalum在一小时内无需编码即可创建多层数据管道的方法（第二部分）。
在Equalum上以无代码方式在一小时内创建多段数据管道！（第三部分）请点击这里。
感谢辞
本次验证是使用Equalum公司的官方版本（V2.27）进行的。我们对Equalum公司给予我们这个宝贵的机会表示感谢，并且请您理解，如本文内容与Equalum公司官方网站上发布的内容等有所不同，以Equalum公司的信息为准。
