连接器

连接器是用于在 openLooKeng 中进行查询的所有数据的源。即使您的数据源没有可以支持它的基础表,只要将您的数据源与 openLooKeng 期望使用的 API 相适配,您也可以针对这些数据编写查询。

ConnectorFactory

连接器的实例由 ConnectorFactory 实例创建,当 openLooKeng 在插件上调用 getConnectorFactory() 时会创建该 ConnectorFactory 实例。

连接器工厂是负责创建 Connector 对象实例的简单接口,可返回以下服务的实例:

  • ConnectorMetadata
  • ConnectorSplitManager
  • ConnectorHandleResolver
  • ConnectorRecordSetProvider

ConnectorMetadata

连接器元数据接口具有许多重要的方法,这些方法负责允许 openLooKeng 查看模式列表、表列表、列列表以及有关特定数据源的其他元数据。

该接口太大,无法在文档中列出,不过如果您有兴趣查看实现这些方法的策略,请查看 example-http 和 Cassandra 连接器。

如果您的基础数据源支持模式、表和列,则该接口应该很容易实现。

如果您试图修改某些非关系数据库的内容(与 Example HTTP 连接器执行的操作类似),则可能需要创造性地将数据源映射到 openLooKeng 的模式、表和列概念。

ConnectorSplitManager

分片管理器将表的数据分区成多个块,这些块由 openLooKeng 分发至工作节点进行处理。

例如,Hive 连接器列出每个 Hive 分区的文件,并为每个文件创建一个或多个分片。

对于没有已分区数据的数据源,此处一个比较好的策略是仅针对整个表返回单个分片。 这是 Example HTTP 连接器使用的策略。

ConnectorRecordSetProvider

在给定一个分片和一个列列表的情况下,记录集提供程序负责将数据提供给 openLooKeng 执行引擎。

记录集提供程序创建一个 RecordSet,后者又相应地创建一个 RecordCursor,openLooKeng 使用该 RecordCursor 来读取每行的列值。

有奖捉虫

“有虫”文档片段

0/500

存在的问题

文档存在风险与错误

● 拼写,格式,无效链接等错误;

● 技术原理、功能、规格等描述和软件不一致,存在错误;

● 原理图、架构图等存在错误;

● 版本号不匹配:文档版本或内容描述和实际软件不一致;

● 对重要数据或系统存在风险的操作,缺少安全提示;

● 排版不美观,影响阅读;

内容描述不清晰

● 描述存在歧义;

● 图形、表格、文字等晦涩难懂;

● 逻辑不清晰,该分类、分项、分步骤的没有给出;

内容获取有困难

● 很难通过搜索引擎,openLooKeng官网,相关博客找到所需内容;

示例代码错误

● 命令、命令参数等错误;

● 命令无法执行或无法完成对应功能;

内容有缺失

● 关键步骤错误或缺失,无法指导用户完成任务,比如安装、配置、部署等;

● 逻辑不清晰,该分类、分项、分步骤的没有给出

● 图形、表格、文字等晦涩难懂

● 缺少必要的前提条件、注意事项等;

● 描述存在歧义

0/500

您对文档的总体满意度

非常不满意
非常满意

请问是什么原因让您参与到这个问题中

您的邮箱

创Issue赢奖品
根据您的反馈,会自动生成issue模板。您只需点击按钮,创建issue即可。
有奖捉虫