Google Cloud 上的通用数据库构建3 – 重新设计 –
我們的團隊正在設計下一代後端,採用全公共雲端技術和微服務架構。
経緯 – 经过/历史/circumstances
整个团队一起尝试了很多东西之后,我们发现Cloud Pub/Sub与kafka不同,它不能保证消息的顺序性(需要在订阅者端进行相应的处理),所以我打算对整体设计进行修改,做出重大调整。
最近,由于每周有时间框架1周来完成冲刺,所以我觉得进行小的方向转变变得更加容易了。
在这里是上一次的设计
在Google Cloud上建立通用数据库1-总体设计-
重新设计

经纪人
我计划使用SpringBoot + Apache Camel + Kubernetes(Docker)来构建一个将数据存储在CloudDetastore中的应用程序。
数据流
创建以下工作,以充当pub/sub的订阅者。
-
- MetaStoreJob
CloudDataStoreからpullしたdata(meta)を永続化層(BigQuery)に保存する。
様々な形式のデータが入ってくるので、DocumentDBに保存
LogExportJob
購読したメッセージ(log)を永続化層(Datastore)に一時保存する。バッチモードで定期的にファイルにして、AzureMachineLearningに食わせる。
Metaデータも定期的にMachineLearningに食わせるべく、ファイル形式でExportする。
存储
改为将其用作持久化层。改为掌握BigQuery的形式。
下一次
我将亲身参与Agent的工作!