Apache Pinot 连接器¶

Apache Pinot 连接器允许在外部 Apache Pinot 数据库中查询和创建表。这可以用于查询 Pinot 数据或将 Pinot 数据与其他数据连接。

配置¶

要配置 Pinot 连接器，请在 etc/catalog 中创建一个名为 pinot.properties 的目录属性文件，例如，将 Pinot 连接器安装为 pinot 目录。使用以下内容创建文件，根据您的设置替换连接属性

connector.name=pinot
pinot.controller-urls=controller_host1:9000,controller_host2:9000

其中 pinot.controller-urls 属性允许您指定 Pinot 控制器主机/端口对的逗号分隔列表。

多个 Pinot 集群¶

您可以根据需要拥有任意数量的目录，因此如果您还有其他 Pinot 集群，只需将另一个属性文件添加到 etc/catalog 中，并使用不同的名称（确保以 .properties 结尾）。例如，如果您将属性文件命名为 sales.properties，Presto 将使用配置的连接器创建名为 sales 的目录。

目录属性¶

以下是可用的目录配置属性

如果 pinot.controller-authentication-type 设置为 PASSWORD，则 pinot.controller-authentication-user 和 pinot.controller-authentication-password 都需要。

如果 pinot.broker-authentication-type 设置为 PASSWORD，则 pinot.broker-authentication-user 和 pinot.broker-authentication-password 都需要。

会话属性¶

以下是可用的会话属性

将 Pinot Schema 映射到 Presto Schema¶

一般来说，将 Pinot Schema 映射到 Presto Schema 非常直接。默认情况下，数据类型映射遵循下表。

由于 Pinot 将每个字段定义为维度、指标或时间（date_time）字段，因此可以推断 Presto 数据类型 DATE 和 TIMESTAMP

• 具有时间粒度 { "TimeFormat":"EPOCH", "TimeUnit":"DAYS", "TimeUnitSize": 1 } 的 Pinot TIME 字段可以映射到 DATE 类型。

• 具有时间粒度 { "TimeFormat":"EPOCH", "TimeUnit":"MILLISECONDS", "TimeUnitSize": 1 } 的 Pinot TIME 字段可以映射到 TIMESTAMP 类型。

• 具有格式 1:DAYS:EPOCH 的 Pinot DATE_TIME 字段可以映射到 DATE 类型。

• 具有格式 1:MILLISECONDS:EPOCH 的 Pinot DATE_TIME 字段可以映射到 TIMESTAMP 类型。

有一些配置控制这种行为。

• pinot.infer-date-type-in-schema：此配置默认情况下为 false。将其设置为 true 将在可能的情况下将 Pinot TIME/DATE_TIME 字段推断为 Presto 中的 DATE。

• pinot.infer-timestamp-type-in-schema：此配置默认情况下为 false。将其设置为 true 将在可能的情况下将 Pinot TIME/DATE_TIME 字段推断为 Presto 中的 TIMESTAMP。

以下是用配置 pinot.infer-timestamp-type-in-schema=true 的示例。

Pinot Schema 示例

{
  "schemaName": "meetupRsvp",
  "dimensionFieldSpecs": [
    {
      "name": "venue_name",
      "dataType": "STRING"
    },
    {
      "name": "event_name",
      "dataType": "STRING"
    },
    {
      "name": "event_id",
      "dataType": "STRING"
    },
    {
      "name": "event_time",
      "dataType": "LONG"
    },
    {
      "name": "group_city",
      "dataType": "STRING"
    },
    {
      "name": "group_country",
      "dataType": "STRING"
    },
    {
      "name": "group_id",
      "dataType": "LONG"
    },
    {
      "name": "group_name",
      "dataType": "STRING"
    }
  ],
  "metricFieldSpecs": [
    {
      "name": "rsvp_count",
      "dataType": "INT"
    }
  ],
  "timeFieldSpec": {
    "incomingGranularitySpec": {
      "name": "mtime",
      "dataType": "LONG",
      "timeType": "MILLISECONDS"
    }
  }
}

Presto Schema 示例

table_catalog | table_schema | table_name |  column_name  | ordinal_position | column_default | is_nullable | data_type |  comment  | extra_info
---------------+--------------+------------+---------------+------------------+----------------+-------------+-----------+-----------+------------
pinot         | default      | meetuprsvp | venue_name    |                1 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | rsvp_count    |                2 | NULL           | YES         | integer   | METRIC    | NULL
pinot         | default      | meetuprsvp | group_city    |                3 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | event_id      |                4 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | group_country |                5 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | group_id      |                6 | NULL           | YES         | bigint    | DIMENSION | NULL
pinot         | default      | meetuprsvp | group_name    |                7 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | event_name    |                8 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | mtime         |                9 | NULL           | YES         | timestamp | TIME      | NULL
pinot         | default      | meetuprsvp | event_time    |               10 | NULL           | YES         | bigint    | DIMENSION | NULL

查询 Pinot¶

Pinot 目录在扁平的 Schema 中暴露所有 Pinot 表。在查询时 Schema 名称无关紧要，但运行 SHOW SCHEMAS 时，将只显示 default 的一个 Schema 条目。

Pinot 目录的名称是你创建的目录文件，不带 .properties 扩展名。

例如，如果你创建了一个名为 mypinotcluster.properties 的文件，可以使用以下命令查看其中的所有表

SHOW TABLES from mypinotcluster.default

或者

SHOW TABLES from mypinotcluster.foo

这两个命令都将列出你的 Pinot 集群中的所有表。这是因为 Pinot 没有 Schema 的概念。

假设你在 mypinotcluster 中有一个名为 clicks 的表。你可以使用以下任一命令查看 clicks 表中的列列表

DESCRIBE mypinotcluster.dontcare.clicks;
SHOW COLUMNS FROM mypinotcluster.dontcare.clicks;

最后，你可以访问 clicks 表

SELECT count(*) FROM mypinotcluster.default.clicks;

Apache Pinot 连接器的工作原理¶

连接器尝试将从 Presto 查询推断出的最大子查询推送到 Pinot。它可以将 Pinot 支持的所有内容都推送到下层，包括聚合、分组、所有 UDF 等。它生成正确的 Pinot 查询，并考虑到 Pinot 的特殊情况。

默认情况下，它将聚合和限制查询发送到 Pinot 代理，并对非聚合/非限制查询执行并行扫描。Pinot 代理查询创建一个单个拆分，让 Pinot 代理执行散射-聚集。而在并行扫描模式下，为一个或多个 Pinot 段创建一个拆分，Presto 服务器直接与 Pinot 服务器联系（即，Pinot 代理不参与并行扫描模式）。

有一些配置控制这种行为。

• pinot.prefer-broker-queries：此配置默认情况下为 true。将其设置为 false 将为聚合和限制查询创建并行计划。

• pinot.forbid-segment-queries：此配置默认情况下为 false。将其设置为 true 将禁止并行查询，并强制所有查询通过代理执行。

• pinot.non-aggregate-limit-for-broker-queries：为了防止代理不堪重负，连接器只允许查询 Pinot 代理的 短 查询。我们将 短 查询定义为聚合（或分组）查询或限制小于为 pinot.non-aggregate-limit-for-broker-queries 配置的值的查询。此限制的默认值为 25K 行。