airflow.providers.amazon.aws.sensors.athena

AthenaSensor

轮询查询的状态,直到它达到终止状态;如果查询失败则报错。

模块内容

class airflow.providers.amazon.aws.sensors.athena.AthenaSensor(*, query_execution_id, max_retries=None, sleep_time=10, **kwargs)[source]

Bases: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.athena.AthenaHook]

轮询查询的状态,直到它达到终止状态;如果查询失败则报错。

另请参阅

有关如何使用此传感器的更多信息,请参阅指南:等待 Amazon Athena 查询结果

参数:
  • query_execution_id (str) – 要检查其状态的 query_execution_id

  • max_retries (int | None) – 在返回当前状态之前轮询查询状态的次数,默认值为 None

  • sleep_time (int) – 两次连续调用检查 Athena 查询状态之间的等待时间(秒),默认值为 10

  • aws_conn_id – Airflow 用于 AWS 凭证的连接 ID。如果该值为 None 或为空,则使用默认的 boto3 行为。若在分布式方式运行 Airflow 且 aws_conn_idNone 或空,则会使用默认的 boto3 配置(并且需在每个工作节点上维护该配置)。

  • region_name – AWS 区域名称(region_name)。如果未指定,则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。参见: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – 用于 botocore 客户端的配置字典(键值对)。参见: https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES = ('QUEUED', 'RUNNING')[source]
FAILURE_STATES = ('FAILED', 'CANCELLED')[source]
SUCCESS_STATES = ('SUCCEEDED',)[source]
aws_hook_class[source]
template_fields: collections.abc.Sequence[str][source]
ui_color = '#66c3ff'[source]
query_execution_id[source]
sleep_time = 10[source]
max_retries = None[source]
poke(context)[source]

在子类中覆盖此方法。

此条目是否有帮助?