使用Xplenty这个ETL工具与Mongo DB兼容性良好的优点
在Cloud ETL的Xplenty平台上,我们为数据源和目标地(发送目标)都提供了MongoDB的原生连接器。同时,我们还是MongoDB的技术合作伙伴。现在,我想向大家介绍一下Xplenty在MongoDB方面的功能和使用优势。

从MongoDB获取数据
MongoDB连接设置
在Xplenty的管道中使用MongoDB,首先需要在Xplenty仪表板上添加MongoDB连接。Xplenty的MongoDB连接支持SSL,因此与MongoDB之间的数据交互通过安全协议进行。
与大多数数据库服务一样,MongoDB的设置有两种方式:托管型和自托管型。
セルフホスト型:MongoDBを自分でマシンにインストールする必要があります。
マネージド型(クラウド版):MongoDBチームが提供するマネージド版はMongoDB Atlasと呼ばれています。オートスケーリング、モニタリング、アラート、バックアップ、データレイクなどの他のツールとの統合など、いくつかの優れた機能を備えています。
连接到MongoDB
在Xplenty中,您可以选择将MongoDB连接方式设置为“DNS Seed List(SRV)”或“Replica Set Members”。如果选择“Replica Set Members”,您可以指定一个或多个副本集成员的主机名。

将数据写入MongoDB。

在MongoDB的ETL处理中存在六个挑战。
1. 从动态模式转移到关系模式的过渡
MongoDB使用动态模式而不是预定义的关系模式。因此,在将数据迁移到通常需要关系格式的数据仓库时,可能会遇到问题。
使用Xplenty的数据映射工具,可以在将数据加载到目标地之前将MongoDB的数据转换为兼容的模式。
2. 数据类型转换存在矛盾之处
在MongoDB的集合中,不同的文档使用不同的数据字段类型/值是很常见的。例如,一个文档将电话号码记录为字符串 [(555) 555-5555],而另一个文档将该号码记录为数字 [555555555555]。
在Xplenty中,在将数据加载到关系型数据仓库之前,您可以选择一个统一的格式并转换异常值。
3. 不具有互換性的数据类型转换
MongoDB支持多种数据类型,如JavaScript、正则表达式、ObjectId等,这些数据类型可能无法被数据仓库支持。
Xplenty可以快速将这些数据类型转换为数据仓库支持的格式。
将嵌套深的对象和数组扁平化
使用MongoDB时,由于可以创建深度嵌套的对象和数组,所以在将它们投入数据仓库时,很难将它们扁平化。如果使用Xplenty的数据映射工具,可以快速提取嵌套对象并将其扁平化,以适应关系型数据仓库的记录。
5. 给数据仓库的模式添加一个新字段。

6. 更改列的大小 liè de
MongoDB设定了整个文档的16MB阈值,但没有限制个别字符串列的长度。然而,在关系型数据仓库中,可能对字符串列的大小有限制。如果使用Xplenty,您可以设置工作流程以在MongoDB列超出数据仓库限制时随时进行重新调整。
最终地 de)
如果您正在苦恼于将MongoDB的数据移动到DWH中,请务必尝试使用Xplenty。
如果您对我们的产品演示感兴趣,请通过此网站进行申请。(预订网站是英语,但演示将以日语进行)