Release 1.3.0 (2021年6月30日)

关键特性

分类描述PR #s
Task RecoveryTask recovery 功能上没有变化,修复了bug,增强了功能的稳定性。兼容spill-to-disk特性。812,813,837,
838,842,843,
847,863,868,
874,875,885,
889,891,901,
906,917,930,
932
CTE (公共表表达式)在1.2.0 CTE的基础上进行额外优化。增加了基于成本的决策,以决定是否启用CTE。支持将动态过滤器和谓词下推到CTE节点。722,811,815,
876,921,927
DM (数据管理)进一步改进了DM(Data Management)操作的性能。提供性能调优参数:
- metastore -client-service-threads: 通过使用多个客户端发送/接收请求,支持并发操作Hive Metastore。
- metastore -write-bach-size: 打包每次调用包含的多个操作对象,减少Hive metastore之间的数据往来耗时。
888
Star Tree 索引1. Star Tree Cube现在支持高达10 Billion基数。
2. 更新openLooKeng CLI,以改善cube管理体验。用户可以发单个sql语句来创建和填充cube数据集中的数据,而不是多个sql语句。CLI的优化有助于避免查询超出群集内存限制的问题。
3. 问题修复:
a. 将连续范围合并为单个范围,以便可以利用Cube
b. Count distinct问题–在Cube插入过程中支持过滤源数据。
834,867,890,
902,907
CBO支持排序聚合器(Sorted Source Aggregator)

在输入源为预先排好序的情况下,增加了对排序聚合器的支持。这样相比哈希聚合器能够减少大量内存使用,并可以在部分聚合阶段(partial aggregation stage)确定大部分的计算结果,从而减少下一个计划阶段的最终聚合负载。

openLooKeng优化器会根据给定查询的代价估计值(CBO),在排序聚合器(Sort Aggregator)和哈希聚合器(Hash Aggregator)之间进行选择。
855,905,906
Hudi 连接器支持Hudi COW数据表的快照查询; 支持Hudi MOR数据表的快照查询和读优化查询。881,900
GreenPlum 连接器支持对GreenPlum数据源的基本读和写操作。不支持删除和更新。689
Oracle 连接器Oracle连接器支持Update、Delete操作。897
ClickHouse 连接器支持对ClickHouse数据源的基本读和写操作。支持SQL query pushdown 和 external Functions 的注册和下推能力。920
JDBC 连接器单表查询支持多分片,通过提高并发来提升性能。939
Hive 连接器Hive Connector 的Hive 依赖包从3.0.0升级到3.1.2,并修复升级所带来的timestamp 格式兼容问题。903
Memory 连接器通过hetuMetastore持久化内存表的元数据信息;新的数据布局以支持排序和索引,提高数据查询性能;排序和索引的异步执行;数据下盘管理。914
Resource增强的资源组,支持根据资源使用情况和用户配置限制来调度或终止查询。779,821,822,
836

已知问题

分类描述Gitee问题
Task Recovery当执行CTAS语句创建事务表并插入数据时,显示错误消息:“Unsuccessful query retry”。I3YF45
当节点内存不足时,查询可能会挂起。I3YF4O
当开启snapshot,并在执行到stage 1的时候出现异常,会导致计算结果翻倍。I3YF4V

获取文档

请参考: https://gitee.com/openlookeng/hetu-core/tree/1.3.0/hetu-docs/zh

有奖捉虫

“有虫”文档片段

0/500

存在的问题

文档存在风险与错误

● 拼写,格式,无效链接等错误;

● 技术原理、功能、规格等描述和软件不一致,存在错误;

● 原理图、架构图等存在错误;

● 版本号不匹配:文档版本或内容描述和实际软件不一致;

● 对重要数据或系统存在风险的操作,缺少安全提示;

● 排版不美观,影响阅读;

内容描述不清晰

● 描述存在歧义;

● 图形、表格、文字等晦涩难懂;

● 逻辑不清晰,该分类、分项、分步骤的没有给出;

内容获取有困难

● 很难通过搜索引擎,openLooKeng官网,相关博客找到所需内容;

示例代码错误

● 命令、命令参数等错误;

● 命令无法执行或无法完成对应功能;

内容有缺失

● 关键步骤错误或缺失,无法指导用户完成任务,比如安装、配置、部署等;

● 逻辑不清晰,该分类、分项、分步骤的没有给出

● 图形、表格、文字等晦涩难懂

● 缺少必要的前提条件、注意事项等;

● 描述存在歧义

0/500

您对文档的总体满意度

非常不满意
非常满意

请问是什么原因让您参与到这个问题中

您的邮箱

创Issue赢奖品
根据您的反馈,会自动生成issue模板。您只需点击按钮,创建issue即可。
有奖捉虫