airflow.providers.amazon.aws.sensors.glue_crawler¶

类¶

GlueCrawlerSensor

等待 AWS Glue 爬虫达到以下任一状态。

模块内容¶

class airflow.providers.amazon.aws.sensors.glue_crawler.GlueCrawlerSensor(*, crawler_name, **kwargs)[source]¶

继承自: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.glue_crawler.GlueCrawlerHook]

等待 AWS Glue 爬虫达到以下任一状态。

‘FAILED’, ‘CANCELLED’, ‘SUCCEEDED’

参见

有关如何使用此传感器的更多信息，请参阅指南：等待 AWS Glue 爬虫状态

参数:

crawler_name (str) – AWS Glue 爬虫的唯一名称
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认 boto3 配置（并且必须在每个工作节点上维护）。
region_name – AWS 区域名称。如果未指定，则使用默认 boto3 行为。
verify – 是否验证 SSL 证书。参见： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参见： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

crawler_name[source]¶

success_statuses = 'SUCCEEDED'[source]¶

errored_statuses = ('FAILED', 'CANCELLED')[source]¶

poke(context)[source]¶

派生此类时覆盖此方法。

本条目是否有帮助？