HDP2.6已经发布
虽然Dataworks Summit Munichi 2017已经宣布了,但HDP2.6在今年四月份发布了。
这次我想要解释一下关于这个HDP2.6。
HDP2.6的亮点如下所示。
-
- Interactive Query in Seconds: Hive with LLAP and ACID Merge
-
- Enterprise Spark at Scale: Spark 2.1 and Zeppelin 0.7
-
- Real-Time Applications: HBase/Phoenix and Druid Support
-
- Streamlined Operations: Apache Ambari 2.5
- Dynamic Security: Enhanced Administrator Productivity
我会分别简单地解释一下。
秒级交互式查询:Hive与LLAP和ACID合并。
HDP2.6正式支持LLAP(低延迟分析处理)和ACID Merge。
LLAP是Hive的新架构,通过优化的内存缓存和在YARN集群中将查询执行器守护化,实现了在Hadoop规模下的MPP性能。LLAP在HDP2.5中作为技术预览版本发布,但从HDP2.6开始正式得到支持。
请参阅下面的资料以了解LLAP的详细信息。
ACID Merge是Hadoop数据维护的功能。开发者不再需要实现多阶段的更新流程或开发复杂的回滚和重试逻辑,因为ACID Merge可以在单个步骤中处理插入、更新和删除操作。此外,Hive的ACID系统可以控制写入冲突,所以在写入数据时进行读取也不会出现问题。
请参阅以下资料以获取有关ACID Merge的详细信息。
除此之外,在Hive相关领域还有其他的一些选项,比如可以支持TPC-DS的所有查询,还有发布了Ambari的Hive View 2.0版本。
规模化企业Spark:Spark 2.1和Zeppelin 0.7
Spark2.1被引入,支持SparkSQL的行列级安全。此外,Livy也已正式支持并进行了GA版本。另外,Zeppelin0.7支持Spark2.x,并进行了Knox基于LDAP的集成、SmartSence的集成以及JDBC的改进。
实时应用: HBase/Phoenix和Druid支持
HBase(和Spark)的更新中,正式支持了Spark-HBase(RDD)连接器。另外,Phoenix对索引功能进行了稳定化等处理。
另外,从HDP2.6开始增加了作为技术预览版的Druid。Druid是一个为大规模数据实时探索性分析而设计的开源数据存储系统。它采用了列导向的数据格式,结合分布式共享架构和高级索引结构,实现低延迟的查询执行。
如果想要了解更多关于Druid的详细信息,请参阅以下文档。
简化操作:Apache Ambari 2.5
Ambari已升级至2.5版本。更新内容如下:
-
- ノードを再起動させた時に、起動させるコンポーネントを選べるようになった
-
- Grafana上でHDFSのアクティブなユーザやオペレーション数の上位N件のビジュアライズ
- ログローテーションの設定が簡単になった


动态安全:提升管理员工作效率
Ranger的更新如下所示。
-
- Seamless Policy Portability: Moving security policies en masse from one environment to another
-
- Easy of Use: Support for $username & Macro Variables in Ranger Policies
- Enterprise Ready: SSL Support for Spark Streaming Connections to Kafka
Atlas的更新如下:
ATLAS最新的更新如下:
-
- Ease of Use: Streamlined APIs makes it easy for customers and partners to build extensions
-
- Enterprise Ready: Extend Tag-based Policy Support to HDFS, Kafka and HBase
- Ease of Use: Knox SSO for Atlas UI