Amazon Athena Azure Synapse 连接器

设置 Active Directory 管理用户

1. 使用具有管理权限的帐户，登录 Microsoft Azure 门户，网址为 https://portal.azure.com/ 。

   在搜索框中，输入 Azure Synapse Analytics ，然后选择 Azure Synapse Analytics 。

   在 AWS Secrets Manager 中，存储管理员用户名和密码凭证。有关在 Secrets Manager 中创建密钥的信息，请参阅 创建 AWS Secrets Manager 密钥 。

   在 Secrets Manager 中查看密钥

   1. 打开 Secrets Manager 控制台，网址为 https://console.aws.amazon.com/secretsmanager/ 。

   2. 在导航窗格中，选择 Secrets （密钥）。

      在 Secrets （密钥）页面，选择密钥链接。

      在密钥的详细信息页面上，选择 Retrieve secret value （检索密钥值）。

      修改连接字符串

      要为连接器启用 Active Directory 身份验证，使用以下语法修改连接字符串：

      synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}

      使用 ActiveDirectoryServicePrincipal

      Amazon Athena Azure Synapse 连接器还支持 ActiveDirectoryServicePrincipal 。要启用此项，如下所示修改连接字符串。

      synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

      对于 secret_name ，将应用程序或客户端 ID 指定为用户名，并在密码中指定服务主体身份的密钥。

      spill_put_request_headers （可选）用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射（例如， { "x-amz-server-side-encryption" : "AES256"} )。有关其他可能的标头，请参阅《 Amazon Simple Storage Service API 参考 》中的 PutObject 。

      分区和拆分

      分区由类型为 varchar 的单个分区列表示。Synapse 支持范围分区，因此分区通过从 Synapse 元数据表中提取分区列和分区范围来实现。这些范围值用于创建拆分。

      Performance

      选择列的子集会显著减少查询运行时。由于并发，连接器显示出严重的节流。

      Athena Synapse 连接器可执行谓词下推，以减少查询扫描的数据量。简单谓词和复杂表达式将下推到连接器，以减少扫描的数据量并缩短查询执行的运行时间。

      Predicates

      谓词是 SQL 查询的 WHERE 子句中的表达式，其评估结果为布尔值并根据多个条件筛选行。Athena Synapse 连接器可以组合这些表达式并将其直接推送到 Synapse，以增强功能并减少扫描的数据量。

      以下 Athena Synapse 连接器运算符支持谓词下推：

      布尔值： AND、OR、NOT

      相等： EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、NULL_IF、IS_NULL

      算术： ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE

      其他： LIKE_PATTERN、IN

      组合下推示例

      要增强查询功能，组合下推类型，如以下示例所示：

      SELECT * 
      FROM my_table 
      WHERE col_a > 10 
          AND ((col_a + col_b) > (col_c % col_d)) 
          AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

      Synapse 连接器支持 传递查询 。传递查询使用表函数将完整查询下推到数据来源来执行查询。

      要在 Synapse 中执行传递查询，可以使用以下语法：

      SELECT * FROM TABLE(
              system.query(
                  query => 'query string'
              
      以下示例查询将查询下推到 Synapse 中的数据来源。该查询选择了 customer 表中的所有列，将结果限制为 10。
          
      SELECT * FROM TABLE(
              system.query(
                  query => 'SELECT * FROM customer LIMIT 10'
              
      许可证信息
              
      使用此连接器，即表示您确认包含第三方组件（这些组件的列表可在此连接器的 pom.xml 文件中找到），并同意 GitHub.com 上的 LICENSE.txt 文件中提供的相应第三方许可证中的条款。
              
      其他  资源