Google Cloud 上的通用数据库构建3 – 重新设计 –

我們的團隊正在設計下一代後端,採用全公共雲端技術和微服務架構。

経緯 – 经过/历史/circumstances

整个团队一起尝试了很多东西之后,我们发现Cloud Pub/Sub与kafka不同,它不能保证消息的顺序性(需要在订阅者端进行相应的处理),所以我打算对整体设计进行修改,做出重大调整。
最近,由于每周有时间框架1周来完成冲刺,所以我觉得进行小的方向转变变得更加容易了。

在这里是上一次的设计
在Google Cloud上建立通用数据库1-总体设计-

重新设计

zeolitediagram.png

经纪人

我计划使用SpringBoot + Apache Camel + Kubernetes(Docker)来构建一个将数据存储在CloudDetastore中的应用程序。

数据流

创建以下工作,以充当pub/sub的订阅者。

    • MetaStoreJob

CloudDataStoreからpullしたdata(meta)を永続化層(BigQuery)に保存する。
様々な形式のデータが入ってくるので、DocumentDBに保存

LogExportJob

購読したメッセージ(log)を永続化層(Datastore)に一時保存する。バッチモードで定期的にファイルにして、AzureMachineLearningに食わせる。
Metaデータも定期的にMachineLearningに食わせるべく、ファイル形式でExportする。

存储

改为将其用作持久化层。改为掌握BigQuery的形式。

下一次

我将亲身参与Agent的工作!

广告
将在 10 秒后关闭
bannerAds