JDBC数据源多分片管理

功能介绍

该功能适用于JDBC数据源,旨在通过把待读取的数据表划分为多个分片,并由集群的多个worker节点同时发起读取数据分片,以达到加快数据读取速度的效果。

属性配置

多分片管理的配置以连接器为单位,开启该功能的数据表需要在所属的连接器的配置文件(例如名为mysql的连接器对应的配置文件为etc/catalog/mysql.properties)添加以下属性:

属性列表: 配置文件配置项说明:

jdbc.table-split-enabled=true
jdbc.table-split-stepCalc-refresh-interval=10s
jdbc.table-split-stepCalc-threads=2
jdbc.table-split-fields=[{"catalogName":"test_catalog", "schemaName":null, "tableName":"test_table", "splitField":"id","dataReadOnly":"true", "calcStepEnable":"false", "splitCount":"5","fieldMinValue":"1","fieldMaxValue":"10000"},{"catalogName":"test_catalog1", "schemaName":"test_schema1", "tableName":"test_tabl1", "splitField":"id", "dataReadOnly":"false", "calcStepEnable":"true", "splitCount":"5", "fieldMinValue":"","fieldMaxValue":""}]

上述属性说明如下:

  • jdbc.table-split-enabled:是否开启多分片读取数据功能,默认为false。
  • jdbc.table-split-stepCalc-refresh-interval:动态更新分片的取值范围的周期,默认值为5分钟。
  • jdbc.table-split-stepCalc-threads:动态更新分片的取值范围的线程数,默认值为4。
  • jdbc.table-split-fields:各个数据表的分片配置信息,请参考"分片配置信息填写说明”。

分片配置信息填写说明

每个数据表的配置信息由多个子属性构成,按JSON格式的来填写,说明如下:

子属性名称描述填写建议
catalogName该数据表在数据源里所属的catalog的名字,对应标准jdbc的DatabaseMetaData.getTables接口返回的"TABLE_CAT"字段的内容按实际值填写,空值请填null
schemaName该数据表在数据源里所属的schema的名字,对应标准jdbc的DatabaseMetaData.getTables接口返回的"TABLE_SCHEM"字段的内容按实际值填写,空值请填null
tableName该数据表在数据源里的名字,对应标准jdbc的DatabaseMetaData.getTables接口返回的"TABLE_NAME"字段的内容需要按实际值填写
splitField划分分片的列名需要选取取值为整型的列,建议选取重复值少分布均匀的列,以便划分出均匀的分片
calcStepEnable是否需要动态调整分片的区间取值范围对存在数据变更的数据表设置为"true”
dataReadOnly是否是只读数据表对只读数据表设置为"true”
splitCount读取数据分片的并发数请按调优的最佳取值来填写
fieldMinValuesplitField字段的最小值对只读数据表建议按查询结果来配置,否则填"“或“null”
fieldMaxValuesplitField字段的最大值对只读数据表建议按查询结果来配置,否则填"“或“null”

有奖捉虫

“有虫”文档片段

0/500

存在的问题

文档存在风险与错误

● 拼写,格式,无效链接等错误;

● 技术原理、功能、规格等描述和软件不一致,存在错误;

● 原理图、架构图等存在错误;

● 版本号不匹配:文档版本或内容描述和实际软件不一致;

● 对重要数据或系统存在风险的操作,缺少安全提示;

● 排版不美观,影响阅读;

内容描述不清晰

● 描述存在歧义;

● 图形、表格、文字等晦涩难懂;

● 逻辑不清晰,该分类、分项、分步骤的没有给出;

内容获取有困难

● 很难通过搜索引擎,openLooKeng官网,相关博客找到所需内容;

示例代码错误

● 命令、命令参数等错误;

● 命令无法执行或无法完成对应功能;

内容有缺失

● 关键步骤错误或缺失,无法指导用户完成任务,比如安装、配置、部署等;

● 逻辑不清晰,该分类、分项、分步骤的没有给出

● 图形、表格、文字等晦涩难懂

● 缺少必要的前提条件、注意事项等;

● 描述存在歧义

0/500

您对文档的总体满意度

非常不满意
非常满意

请问是什么原因让您参与到这个问题中

您的邮箱

创Issue赢奖品
根据您的反馈,会自动生成issue模板。您只需点击按钮,创建issue即可。
有奖捉虫