singleData连接器

singleData连接器为openGauss补充OLAP能力,增强数据分析竞争力。

singleData分为ShardingSphere和tidRange两种模式。

ShardingSphere模式

概述

Apache ShardingSphere是一款分布式数据库生态系统,它可以将任意数据库转换为分布式数据库,singleData连接器可以使用ShardingSphere对openGauss的数据进行分片,以提升数据分析效率。

要了解更多shardingsphere信息请见:ShardingSphere官方网站

配置

要配置ShardingSphere模式的singleData连接器,在etc/catalog中创建一个目录属性文件,例如shardingsphere.properties,使用以下内容创建文件,并替换相应的属性。

  • 基本配置
connector.name=singledata
singledata.mode=SHARDING_SPHERE
shardingsphere.database-name=sharding_db
shardingsphere.type=zookeeper
shardingsphere.namespace=governance_ds
shardingsphere.server-list=localhost:2181
  • 属性说明
属性名称属性说明是否必要
shardingsphere.database-name连接的shardingsphere database的名称
shardingsphere.type注册中心持久化仓库类型,支持zookeeper和etcd,推荐zookeeper
shardingsphere.namespace注册中心命名空间
shardingsphere.server-lists注册中心连接地址
  • 仓库类型为zookeeper的可选配置
属性名称说明默认值
shardingsphere.zookeeper.retry-interval-milliseconds连接失败后重试间隔毫秒数500
shardingsphere.zookeeper.max-retries连接最大重试数3
shardingsphere.zookeeper.time-to-live-seconds临时节点存活秒数60
shardingsphere.zookeeper.operation-timeout-milliseconds操作超时毫秒数500
shardingsphere.zookeeper.digest权限令牌"”
  • 仓库类型为etcd的可选配置
属性名称说明默认值
shardingsphere.etcd.time-to-live-seconds临时节点存活秒数30
shardingsphere.etcd.connection-timeout连接超时秒数3

说明

  • 目前singleData连接器只支持5.2.0版本的ShardingSphere,其他版本暂时不支持

TidRange模式

概述

openGauss的数据是按行存储在HEAP PAGE中,每一行数据都会有对应的ctid(即行号)。openGauss的tidrangescan插件可以使用ctid的范围来进行查询,singleData连接器的tidRange模式利用这个插件来实现数据的并行分析。

tidrangescan插件获取地址:Plugin

连接配置

要配置tidRange模式的singleData连接器,在etc/catalog中创建一个目录属性文件,例如tidrange.properties。使用以下内容创建文件,并根据设置替换连接属性

connection.name=singledata
connection.mode=TID_RANGE
connection-url=jdbc:opengauss://master-host:port/database;jdbc:opengauss://slave-host:port/database
connection-user=user
connection-password=password
  • connection-url可以配置多个主备节点的jdbc连接地址,地址间以;作为分隔符,在进行查询时,每个分片会随机选择一个连接地址进行连接
  • 其他连接配置请参考openGauss连接器

分片配置

属性名称属性说明是否必须默认值
tidrange.max-split-count最大分片数量,即最大jdbc连接数,这个数值应该不大于openGauss的max_connections配置100
tidrange.page-sizeopenGauss的page大小,请确保这个配置和openGauss的block_size一致,否则可能会导致查询结果错误8kB
tidrange.default-split-size默认的每个分片的大小。当数据量较小时,singleData连接器会按此配置进行分片,配置的范围为1MB-1GB32MB

说明

  • 本特性需配合openGauss的tidrangescan插件使用,没有tidrangescan插件singledata连接器也可以正常完成查询功能,但会导致性能大幅下降
  • 当查询的表中存在索引时,将不会启用tidrange功能

限制说明

  • singleData连接器目前只提供对openGauss的查询功能,暂时不支持INSERT/UPDATE/DELETE等会修改数据或者数据结构的语句,查询功能请参考openGauss的连接器
  • openLookeng的Decimal精度最高支持为38,当openGauss的decimal,numeric类型的精度超过38时则无法支持
  • openGauss版本支持3.0.0及以上

有奖捉虫

“有虫”文档片段

0/500

存在的问题

文档存在风险与错误

● 拼写,格式,无效链接等错误;

● 技术原理、功能、规格等描述和软件不一致,存在错误;

● 原理图、架构图等存在错误;

● 版本号不匹配:文档版本或内容描述和实际软件不一致;

● 对重要数据或系统存在风险的操作,缺少安全提示;

● 排版不美观,影响阅读;

内容描述不清晰

● 描述存在歧义;

● 图形、表格、文字等晦涩难懂;

● 逻辑不清晰,该分类、分项、分步骤的没有给出;

内容获取有困难

● 很难通过搜索引擎,openLooKeng官网,相关博客找到所需内容;

示例代码错误

● 命令、命令参数等错误;

● 命令无法执行或无法完成对应功能;

内容有缺失

● 关键步骤错误或缺失,无法指导用户完成任务,比如安装、配置、部署等;

● 逻辑不清晰,该分类、分项、分步骤的没有给出

● 图形、表格、文字等晦涩难懂

● 缺少必要的前提条件、注意事项等;

● 描述存在歧义

0/500

您对文档的总体满意度

非常不满意
非常满意

请问是什么原因让您参与到这个问题中

您的邮箱

创Issue赢奖品
根据您的反馈,会自动生成issue模板。您只需点击按钮,创建issue即可。
有奖捉虫