从 AWS re:Invent 2022 展台展示中可以看出分析领域的趋势

2 年 ago
科, 颖
1 minute

我是NTT数据和智能事业部的nttd-saitouyun。

我去年参加了2022年12月的AWS re:Invent活动。我在展览展区（通称为Expo）里花了很多时间（每天4小时，连续2天），下面是我收获的感受。

image.png

Expo是什么。

expo_map.png

 

参观博览会感想：总体来说

image.png

博览会参观感受：数据管理解决方案

我参观了以下的展台。给我留下深刻印象的是，有很多基于SaaS的数据整合解决方案，即ETL/ELT。所有这些解决方案都是基于图形用户界面（GUI）的工具，通过连接加工组件来创建数据流。

企業名・ソリューション名提供形態主要機能SnapLogiciPaaSData IntegrationMatillionSaaSData IntegrationFivetranSaaSData IntegrationPreciselySaaSData Integration, Data Quality, MDM, Data GovernanceEtleapPackageData IntegrationStreamSetsSaaSData IntegrationTamrSaaSMDM

在只进行了演示而无法仔细区分每个产品的详细差异之后，我注意到每个产品都强调了“简约性”和“容易上手性”。我认为现在有一种趋势，即将以前由基础设施工程师和数据工程师专业执行的数据处理变得“轻松易行，任何人都可以做到”。

由于AWS推出了Amazon DataZone和AWS Glue Data Quality等数据管理服务，因此我们不能忽视数据管理领域的动向。

顺便提一下，说到数据管理解决方案，我们部门的合作伙伴Informatica公司非常有名，他们的展位非常受欢迎！在Informatica公司，他们也积极推进产品的云化，追求简单易懂。

参观博览会感受：数据存储解决方案

我总结了听到的解决方案的概要。您看表格，应该立即理解的关键词是”实时”。我还多次听到了”事件驱动”和”低延迟”等词语。

企業名・ソリューション名概要Confluent継続的でリアルタイムのストリームとしてデータに簡単にアクセスし、それを保存および管理できるフルスケールのストリーミングプラットフォーム。Apache Kafkaの商用クラウドサービス。SingleStoreデータ集約型アプリケーション用に設計されたリアルタイム分散 SQL データベース。旧MemSQL。Rocksetクラウド用に構築されたリアルタイム分析データベース。Aerospikeマルチモデル・リアルタイムデータプラットフォーム。Datastaxスピードとスケールのために構築されたオープンでモダンなデータアーキテクチャで、リアルタイムアプリケーションを提供。Apache Cassandra上に構築されたソリューション。MongoDB（有名な）ドキュメント指向データベース。Couchbase対話型アプリケーション用に最適化されたオープンソースの分散型NoSQLドキュメント指向データベース。InfluxDB時系列データを活用するための統合プラットフォーム。CockroachDBオープン ソースのクラウドネイティブな分散 SQL データベース。

我认为过去常常是将数据集中起来，批量处理数据，然后将结果反馈给最终用户。但是，未来的趋势是实时处理和监控数据，并在事件发生后立即为最终用户采取行动，从数据生成到行动的时间缩短，以实现更高级的解决方案和更好的客户体验。

image.png

参观博览会的感想：数据湖和数据仓库类解决方案

除了Databricks和Snowflake之外，还有以下解决方案。

企業名・ソリューション名概要Dremioオープンデータレイクハウスであり、セルフサービスの SQL 分析、データ ウェアハウスのパフォーマンスと機能、データ レイクの柔軟性をすべてのデータに提供プラットフォーム。Starburst高速でスケーラブルな SQL エンジン。Presto/Trinoの主要な開発者によって設立。

关键词是“数据湖仓库”。
数据湖仓库是“数据湖”和“数据仓库”的合成词。它是将数据湖的可扩展和多样化数据处理功能以及数据仓库的高数据质量和治理功能相结合的解决方案，称为数据湖仓库。虽然这个词最初是由Databricks提出的，但现在已经被AWS、微软、谷歌和甲骨文等各大公司广泛使用。

image.png

此外，Databricks、Dremio和Starburst也在会议中就数据湖仓库进行了相关的演讲。

    • AWS re:Invent 2022 – Build your data lakehouse with Starburst Galaxy (PRT014)

 

    • AWS re:Invent 2022 – Build your open data lakehouse with Dremio and AWS (PRT085)

 

    • AWS re:Invent 2022 – How Thermo Fisher streams data insights on the Databricks Lakehouse (PRT320)

 

    AWS re:Invent 2022 – How Corning built E2E ML on a data lakehouse platform with Databricks (PRT321)

如果您想更多地了解数据湖仓库，请阅读以下文章。这是我在 IT Leader 的合作撰写的文章。

    サイロ化を解消し「データとAIの民主化」を加速 DWHとデータレイクの溝を埋める決定打とは？

最后

不知道怎么样？我尽力写出了我的真实感受，如果能稍微传达到当地的潮流就太好了。

在AWS re:Invent中，展示展台可能会给人平淡无奇的印象，但我认为它是这个活动中最能感受到最热烈氛围的地方。
会议的演讲可以后来观看，但展台只能在现场见到，所以我推荐你在当地参加！与现场的工程师进行讨论将是宝贵的经验！

招募队友中！

NTT Data的Data&Intelligence事业部目前正在招募以下职位。

招募「利用云技术进行数据分析平台的开发和构建（IT架构师/云工程师）」我们正在寻找具有云/平台技术知识的人才，作为IT架构师或项目经理，负责推动DWH、BI和ETL领域的解决方案开发，并在系统总体设计阶段的咨询过程中从架构角度进行考虑。

https://nttdata.jposting.net/u/job.phtml?job_code=808

招募“云解决方案架构师”，为实践人工智能和数据利用活动，积极利用云先进技术，实现客户的商业价值创造活动。从人工智能和数据利用的基本构想规划咨询到云平台的提供和利用支持，我们支持客户的人工智能和数据利用，提出云解决方案，设计、构建和持续利用架构（提供全面托管服务），并在最新云服务方面进行调查和验证，以扩展云分析基础设施解决方案的菜单。我们正在寻找合适的人才来实施这些任务。
https://nttdata.jposting.net/u/job.phtml?job_code=807

 

解决方案介绍

关于Trusted Data Foundation
– 提供一种一体化解决方案，用于分析和利用数据资产的环境
– 采用最新的云技术，并根据客户需求定制我们独特设计的参考架构（Datalake+DWH+AI/BI）
– 提供可视化、机器学习、深度学习等功能，以一体化方式准备数据资产的环境，可以利用前所未有的数量和质量的数据，高效推动数字化转型。
– https://enterprise-aiiot.nttdata.com/tdf/
✖
广告
将在 10 秒后关闭
bannerAds