airflow.providers.amazon.aws.operators.appflow¶
属性¶
类¶
Amazon AppFlow 基础操作符类(不应直接在 DAG 中使用)。 |
|
按原样执行一个 AppFlow 运行。 |
|
执行一个完整的 AppFlow 运行,移除所有过滤器。 |
|
更新过滤器以仅选择之前的数据后,执行一个 AppFlow 运行。 |
|
更新过滤器以仅选择未来数据后,执行一个 AppFlow 运行。 |
|
更新过滤器以仅选择单个日期后,执行一个 AppFlow 运行。 |
|
在 AppFlow 运行为空的情况下短路。 |
模块内容¶
- airflow.providers.amazon.aws.operators.appflow.MANDATORY_FILTER_DATE_MSG = '参数 filter_date 对于 {entity} 是必需的!'[source]¶
- airflow.providers.amazon.aws.operators.appflow.NOT_SUPPORTED_SOURCE_MSG = '对于 {entity},来源 {source} 不受支持!'[source]¶
- class airflow.providers.amazon.aws.operators.appflow.AppflowBaseOperator(flow_name, flow_update, source=None, source_field=None, filter_date=None, poll_interval=20, max_attempts=60, wait_for_completion=True, **kwargs)[source]¶
基类:
airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator
[airflow.providers.amazon.aws.hooks.appflow.AppflowHook
]Amazon AppFlow 基础操作符类(不应直接在 DAG 中使用)。
- 参数:
source (str | None) – 来源名称(支持:salesforce, zendesk)
flow_name (str) – 流名称
flow_update (bool) – 在运行前启用/禁用流更新的布尔值
source_field (str | None) – 应用过滤器的字段名称
filter_date (str | None) – 用于过滤器的日期值(或模板)。
poll_interval (int) – 检查查询状态的间隔秒数
max_attempts (int) – 超时前检查状态的最大次数
wait_for_completion (bool) – 是否等待运行结束再返回
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为
None
或空,则使用默认的 boto3 行为。如果以分布式方式运行 Airflow 且 aws_conn_id 为 None 或空,则将使用默认的 boto3 配置(必须在每个工作节点上维护)。region_name – AWS region_name。如果未指定,则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。详见:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – 用于 botocore 客户端的配置字典(键值对)。详见:https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html
- class airflow.providers.amazon.aws.operators.appflow.AppflowRunOperator(flow_name, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶
-
按原样执行一个 AppFlow 运行。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:运行完整流
- class airflow.providers.amazon.aws.operators.appflow.AppflowRunFullOperator(source, flow_name, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶
-
执行一个完整的 AppFlow 运行,移除所有过滤器。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:每日运行流
- class airflow.providers.amazon.aws.operators.appflow.AppflowRunBeforeOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶
-
更新过滤器以仅选择之前的数据后,执行一个 AppFlow 运行。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:运行流(之后)
- 参数:
source (str) – 来源名称(支持:salesforce)
flow_name (str) – 流名称
source_field (str) – 应用过滤器的字段名称
filter_date (str) – 用于过滤器的日期值(或模板)。
poll_interval (int) – 检查查询状态的间隔秒数
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空,则使用默认的 boto3 行为。如果以分布式方式运行 Airflow 且 aws_conn_id 为 None 或空,则将使用默认的 boto3 配置(必须在每个工作节点上维护)。
region – 要使用的 AWS 区域
wait_for_completion (bool) – 是否等待运行结束再返回
- class airflow.providers.amazon.aws.operators.appflow.AppflowRunAfterOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶
-
更新过滤器以仅选择未来数据后,执行一个 AppFlow 运行。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:跳过空运行的任务
- class airflow.providers.amazon.aws.operators.appflow.AppflowRunDailyOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶
-
更新过滤器以仅选择单个日期后,执行一个 AppFlow 运行。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:运行流(之前)
- class airflow.providers.amazon.aws.operators.appflow.AppflowRecordsShortCircuitOperator(*, flow_name, appflow_run_task_id, ignore_downstream_trigger_rules=True, aws_conn_id='aws_default', region_name=None, verify=None, botocore_config=None, **kwargs)[source]¶
基类:
airflow.providers.common.compat.standard.operators.ShortCircuitOperator
,airflow.providers.amazon.aws.utils.mixins.AwsBaseHookMixin
[airflow.providers.amazon.aws.hooks.appflow.AppflowHook
]在 AppFlow 运行为空的情况下短路。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:参考
- 参数:
flow_name (str) – 流名称
appflow_run_task_id (str) – 该操作符应从中提取执行 ID 的运行任务 ID
ignore_downstream_trigger_rules (bool) – 忽略下游触发规则
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为
None
或空,则使用默认的 boto3 行为。如果以分布式方式运行 Airflow 且 aws_conn_id 为 None 或空,则将使用默认的 boto3 配置(必须在每个工作节点上维护)。region_name (str | None) – AWS region_name。如果未指定,则使用默认的 boto3 行为。
verify (bool | str | None) – 是否验证 SSL 证书。详见:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config (dict | None) – 用于 botocore 客户端的配置字典(键值对)。详见:https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html