Apache HAWQ(incubating)的第一个版本受益于ASF(Apache software foundation)组织，通过将MPP(Massively Parallel Processing)和批处理系统(batch system)有效的结合，在性能上有了很大的提升，并且克服了一些关键的限制问题。一个新的重新设计的执行引擎在以下的几个问题在总体系统性能上有了很大的提高：
- 硬件错误引起的短板问题(straggler)
- 并发限制
- 存储中间数据的必要
- 扩展性
- 执行速度
Pivotal HAWQ的开发工作基于GreenPlum数据库的一个分支，至今(2016年8月)已经有超过3年了。最主要的目的就是在Hadoop集群上运行SQL语句查询存储于HDFS上的数据。在三年前的第一个公开的发行版中已经介绍了HAWQ的很多改进手段。但是对于查询执行引擎来说，Pivotal HAWQ仍然使用的是和GreenPlum一样的架构——MPP执行引擎。
Read full article from 【译文】Apache HAWQ：MPP的进化 | 记忆碎片
No comments:
Post a Comment