Greenplum Connector

Greenplum Connector 可以用来在一个外部的Greenplum数据库进行数据查询、创建表格等。 还可以用来作跨数据源的数据join处理,不需要额外的数据迁移操作,例如hive、Greenplum数据源之间的数据join操作,或者两个不同的Greenplum数据源之间的数据join操作。 Greenplum Connector是基于PostgreSQL connector开发的。同时我们在Greenplum connector中添加了Query Push Down特性。

配置项

Greenplum connector的基础配置和PostgreSQL connector是一样的。 比如你可以通过在etc/catalog中创建一个名为 greenplum.properties 的文件来在系统中加载一个Greenplum connector的实例。 这个文件中包含如下配置,你可以使用正确的配置值来替换下面配置项中的示意值。

connector.name=greenplum
connection-url=jdbc:postgresql://example.net:5432/database
connection-user=root
connection-password=secret

Table修改

我们可以在greenplum.properties中设置greenplum.allow-modify-table来声明是否允许Greenplum connector修改数据源SQL表格。 如果 greenplum.allow-modify-table 被设置成 false, create/rename/add column/rename column/drop column等操作都不能执行。 默认设置为true

greenplum.allow-modify-table=true

在Greenplum connector中开启Query Push Down特性

Query Push Down特性能够把本来在openLooKeng中执行的filter, project 或者其他的一些 sql operators下推到Greenplum数据源执行, 这样可以减少openLooKeng和数据源之间的数据传输量。我们在greenplum.properties中配置jdbc.pushdown-enabled配置项来启动或者关闭这个特性。 如果jdbc.pushdown-enabled设置成 false, Query Push Down特性被关闭。 如果jdbc.pushdown-enabled设置成 true, Query Push Down特性被打开。 Query Push Down特性默认打开。 例如此配置项可以写成如下所示:

jdbc.pushdown-enabled=false
  • Query Push Down特性的模式选择 我们可以通过在greenplum.properties中配置jdbc.pushdown-module配置项来选择下推模式。 默认来说,我们系统使用的模式是BASE_PUSHDOWN. 你也可以设置成FULL_PUSHDOWN。 两个模式的不同之处在于:FULL_PUSHDOWN: 所有Query Push Down支持的算子都下推。 BASE_PUSHDOWN: 只下推部分算子, 包括: filter, aggregation, limit, topN and project等。 例如此配置项可以写成如下所示:
jdbc.pushdown-module=FULL_PUSHDOWN

其他

启动connector实例后,关于如何通过Greenplum Connector的实例查询数据源数据,请参考PostgreSQL connector。

有奖捉虫

“有虫”文档片段

0/500

存在的问题

文档存在风险与错误

● 拼写,格式,无效链接等错误;

● 技术原理、功能、规格等描述和软件不一致,存在错误;

● 原理图、架构图等存在错误;

● 版本号不匹配:文档版本或内容描述和实际软件不一致;

● 对重要数据或系统存在风险的操作,缺少安全提示;

● 排版不美观,影响阅读;

内容描述不清晰

● 描述存在歧义;

● 图形、表格、文字等晦涩难懂;

● 逻辑不清晰,该分类、分项、分步骤的没有给出;

内容获取有困难

● 很难通过搜索引擎,openLooKeng官网,相关博客找到所需内容;

示例代码错误

● 命令、命令参数等错误;

● 命令无法执行或无法完成对应功能;

内容有缺失

● 关键步骤错误或缺失,无法指导用户完成任务,比如安装、配置、部署等;

● 逻辑不清晰,该分类、分项、分步骤的没有给出

● 图形、表格、文字等晦涩难懂

● 缺少必要的前提条件、注意事项等;

● 描述存在歧义

0/500

您对文档的总体满意度

非常不满意
非常满意

请问是什么原因让您参与到这个问题中

您的邮箱

创Issue赢奖品
根据您的反馈,会自动生成issue模板。您只需点击按钮,创建issue即可。
有奖捉虫