Amazon Athena¶

Amazon Athena 是一种交互式查询服务，可以使用标准 SQL 轻松分析 Amazon Simple Storage Service (S3) 中的数据。Athena 是无服务器的，因此无需设置或管理任何基础设施，您只需为运行的查询付费。要开始使用，只需指向 S3 中的数据，定义架构，然后使用标准 SQL 开始查询即可。

先决条件任务¶

要使用这些操作器，您需要执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

通用参数¶

aws_conn_id

对 Amazon Web Services 连接 ID 的引用。如果此参数设置为 None，则使用默认的 boto3 行为，而不进行连接查找。否则，使用存储在连接中的凭据。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 region_name。否则，使用指定的值而不是连接值。默认值：None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果要使用与 botocore 使用的 CA 证书包不同的 CA 证书包，则可以指定此参数。

如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 verify。否则，使用指定的值而不是连接值。默认值：None

botocore_config

提供的字典用于构造 botocore.config.Config。此配置可用于配置避免限制异常、超时等。

示例，有关参数的更多详细信息，请查看 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 config_kwargs。否则，使用指定的值而不是连接值。默认值：None

注意

指定空字典 {} 将覆盖 botocore.config.Config 的连接配置

操作器¶

在 Amazon Athena 中运行查询¶

使用 AthenaOperator 在 Amazon Athena 中运行查询。

在以下示例中，我们查询现有的 Athena 表并将结果发送到现有的 Amazon S3 存储桶。有关如何使用此操作器的更多示例，请参阅示例 DAG。

tests/system/providers/amazon/aws/example_athena.py[源代码]

read_table = AthenaOperator(
    task_id="read_table",
    query=query_read_table,
    database=athena_database,
    output_location=f"s3://{s3_bucket}/",
)

传感器¶

等待 Amazon Athena 查询结果¶

使用 AthenaSensor 等待 Amazon Athena 中查询的结果。

tests/system/providers/amazon/aws/example_athena.py[源代码]

await_query = AthenaSensor(
    task_id="await_query",
    query_execution_id=read_table.output,
)

参考¶

Athena 的 AWS boto3 库文档