元数据存储

本节介绍openLooKeng元数据存储。元数据存储用于存储元数据信息, 当前元数据存储支持将元数据保存在RDBMS或HDFS中。

配置元数据存储

首先在etc目录下创建配置文件hetu-metastore.properties。

使用RDBMS存储

在配置文件hetu-metastore.properties增加如下配置：

hetu.metastore.type=jdbc
hetu.metastore.db.url=jdbc:mysql://....
hetu.metastore.db.user=root
hetu.metastore.db.password=123456
hetu.metastore.cache.type=local

上述属性说明如下：

  • hetu.metastore.type：元数据存储类型，使用RDBMS存储时配置为jdbc。
  • hetu.metastore.db.url：连接RDBMS的URL。
  • hetu.metastore.db.user :连接RDBMS的用户名。
  • hetu.metastore.db.password :连接RDBMS的密码。
  • hetu.metastore.cache.type :选择缓存模型,其中local为本地缓存,global为分布式缓存。

使用HDFS存储

在配置文件hetu-metastore.properties增加如下配置：

hetu.metastore.type=hetufilesystem
hetu.metastore.hetufilesystem.profile-name=hdfs-config-metastore
hetu.metastore.hetufilesystem.path=/etc/openlookeng/metastore

上述属性说明如下：

  • hetu.metastore.type：元数据存储类型，使用HDFS存储时配置为hetufilesystem。
  • hetu.metastore.hetufilesystem.profile-name：使用HDFS存储配置文件的名称。
  • hetu.metastore.hetufilesystem.path：配置文件的路径。

可以从文件系统中获取更多的文件系统相关的信息

元数据存储缓存

openLooKeng可以配置开启元数据缓存，开启后访问元数据时会将其缓存到内存中，再次访问时可以提高元数据访问效率。 在配置文件hetu-metastore.properties增加如下配置：

hetu.metastore.cache.size=10000
hetu.metastore.cache.ttl=4h

上述属性说明如下：

  • hetu.metastore.cache.size：元数据缓存大小，默认10000。
  • hetu.metastore.cache.ttl：缓存元数据的过期时间，默认值0 (元数据缓存关闭)。

有奖捉虫

“有虫”文档片段

0/500

存在的问题

文档存在风险与错误

● 拼写，格式，无效链接等错误；

● 技术原理、功能、规格等描述和软件不一致，存在错误；

● 原理图、架构图等存在错误；

● 版本号不匹配：文档版本或内容描述和实际软件不一致；

● 对重要数据或系统存在风险的操作，缺少安全提示；

● 排版不美观，影响阅读；

内容描述不清晰

● 描述存在歧义；

● 图形、表格、文字等晦涩难懂；

● 逻辑不清晰，该分类、分项、分步骤的没有给出；

内容获取有困难

● 很难通过搜索引擎，openLooKeng官网，相关博客找到所需内容；

示例代码错误

● 命令、命令参数等错误；

● 命令无法执行或无法完成对应功能；

内容有缺失

● 关键步骤错误或缺失，无法指导用户完成任务，比如安装、配置、部署等；

● 逻辑不清晰，该分类、分项、分步骤的没有给出

● 图形、表格、文字等晦涩难懂

● 缺少必要的前提条件、注意事项等；

● 描述存在歧义

0/500

您对文档的总体满意度

非常不满意
非常满意

请问是什么原因让您参与到这个问题中

您的邮箱

创Issue赢奖品
根据您的反馈，会自动生成issue模板。您只需点击按钮，创建issue即可。
有奖捉虫