airflow.providers.amazon.aws.operators.appflow

属性

SUPPORTED_SOURCES

MANDATORY_FILTER_DATE_MSG

NOT_SUPPORTED_SOURCE_MSG

类

AppflowBaseOperator

Amazon AppFlow 基础操作器类（不建议直接在 DAG 中使用）。

AppflowRunOperator

按原样执行 AppFlow 运行。

AppflowRunFullOperator

执行 AppFlow 全量运行，移除任何过滤器。

AppflowRunBeforeOperator

更新过滤器以仅选择先前数据后，执行 AppFlow 运行。

AppflowRunAfterOperator

更新过滤器以仅选择未来数据后，执行 AppFlow 运行。

AppflowRunDailyOperator

更新过滤器以仅选择单日数据后，执行 AppFlow 运行。

AppflowRecordsShortCircuitOperator

在 AppFlow 运行为空的情况下进行短路（跳过后续任务）。

模块内容

airflow.providers.amazon.aws.operators.appflow.SUPPORTED_SOURCES[source]
airflow.providers.amazon.aws.operators.appflow.MANDATORY_FILTER_DATE_MSG = '{entity} 必须提供 filter_date 参数！'[source]
airflow.providers.amazon.aws.operators.appflow.NOT_SUPPORTED_SOURCE_MSG = '{entity} 不支持数据源 {source}！'[source]
class airflow.providers.amazon.aws.operators.appflow.AppflowBaseOperator(flow_name, flow_update, source=None, source_field=None, filter_date=None, poll_interval=20, max_attempts=60, wait_for_completion=True, **kwargs)[source]

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.appflow.AppflowHook]

Amazon AppFlow 基础操作器类（不建议直接在 DAG 中使用）。

参数:

  • source (str | None) – 数据源名称（支持：salesforce, zendesk）

  • flow_name (str) – 流名称

  • flow_update (bool) – 一个布尔值，用于在运行前启用/禁用流更新

  • source_field (str | None) – 应用过滤器的字段名称

  • filter_date (str | None) – 用于过滤器中的日期值（或模板）。

  • poll_interval (int) – 检查查询状态的间隔（秒）

  • max_attempts (int) – 超时前检查状态的次数

  • wait_for_completion (bool) – 是否在返回前等待运行结束

  • aws_conn_id – Airflow 用于 AWS 凭证的连接 ID。如果该值为 None 或为空，则使用默认的 boto3 行为。若在分布式方式运行 Airflow 且 aws_conn_id 为 None 或空，则会使用默认的 boto3 配置（并且需在每个工作节点上维护该配置）。

  • region_name – AWS 区域名称（region_name）。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。参见： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – 用于 botocore 客户端的配置字典（键值对）。参见： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]
ui_color = '#2bccbd'[source]
template_fields[source]
UPDATE_PROPAGATION_TIME: int = 15[source]
filter_date = None[source]
flow_name[source]
source = None[source]
source_field = None[source]
poll_interval = 20[source]
max_attempts = 60[source]
flow_update[source]
wait_for_completion = True[source]
execute(context)[source]

在创建算子时派生。

执行任务的主要方法。Context 是与渲染 jinja 模板时使用的相同字典。

有关更多上下文，请参考 get_template_context。

class airflow.providers.amazon.aws.operators.appflow.AppflowRunOperator(flow_name, poll_interval=20, wait_for_completion=True, **kwargs)[source]

基类： AppflowBaseOperator

按原样执行 AppFlow 运行。

另请参阅

有关如何使用此操作器的更多信息，请查看指南： 运行全量流 (Run Flow Full)

参数:

  • flow_name (str) – 流名称

  • poll_interval (int) – 检查查询状态的间隔（秒）

  • aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果此参数为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（必须在每个 worker 节点上维护）。

  • region – 要使用的 AWS 区域

  • wait_for_completion (bool) – 是否在返回前等待运行结束

class airflow.providers.amazon.aws.operators.appflow.AppflowRunFullOperator(source, flow_name, poll_interval=20, wait_for_completion=True, **kwargs)[source]

基类： AppflowBaseOperator

执行 AppFlow 全量运行，移除任何过滤器。

另请参阅

有关如何使用此操作器的更多信息，请查看指南： 运行每日流 (Run Flow Daily)

参数:

  • source (str) – 数据源名称（支持：salesforce, zendesk）

  • flow_name (str) – 流名称

  • poll_interval (int) – 检查查询状态的间隔（秒）

  • wait_for_completion (bool) – 是否在返回前等待运行结束

class airflow.providers.amazon.aws.operators.appflow.AppflowRunBeforeOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]

基类： AppflowBaseOperator

更新过滤器以仅选择先前数据后，执行 AppFlow 运行。

另请参阅

有关如何使用此操作器的更多信息，请查看指南： 运行后续流 (Run Flow After)

参数:

  • source (str) – 数据源名称（支持：salesforce）

  • flow_name (str) – 流名称

  • source_field (str) – 应用过滤器的字段名称

  • filter_date (str) – 用于过滤器中的日期值（或模板）。

  • poll_interval (int) – 检查查询状态的间隔（秒）

  • aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果此参数为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（必须在每个 worker 节点上维护）。

  • region – 要使用的 AWS 区域

  • wait_for_completion (bool) – 是否在返回前等待运行结束

class airflow.providers.amazon.aws.operators.appflow.AppflowRunAfterOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]

基类： AppflowBaseOperator

更新过滤器以仅选择未来数据后，执行 AppFlow 运行。

另请参阅

有关如何使用此操作器的更多信息，请查看指南： 跳过空运行任务 (Skipping Tasks For Empty Runs)

参数:

  • source (str) – 数据源名称（支持：salesforce, zendesk）

  • flow_name (str) – 流名称

  • source_field (str) – 应用过滤器的字段名称

  • filter_date (str) – 用于过滤器中的日期值（或模板）。

  • poll_interval (int) – 检查查询状态的间隔（秒）

  • wait_for_completion (bool) – 是否在返回前等待运行结束

class airflow.providers.amazon.aws.operators.appflow.AppflowRunDailyOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]

基类： AppflowBaseOperator

更新过滤器以仅选择单日数据后，执行 AppFlow 运行。

另请参阅

有关如何使用此操作器的更多信息，请查看指南： 运行前置流 (Run Flow Before)

参数:

  • source (str) – 数据源名称（支持：salesforce）

  • flow_name (str) – 流名称

  • source_field (str) – 应用过滤器的字段名称

  • filter_date (str) – 用于过滤器中的日期值（或模板）。

  • poll_interval (int) – 检查查询状态的间隔（秒）

  • wait_for_completion (bool) – 是否在返回前等待运行结束

class airflow.providers.amazon.aws.operators.appflow.AppflowRecordsShortCircuitOperator(*, flow_name, appflow_run_task_id, ignore_downstream_trigger_rules=True, aws_conn_id='aws_default', region_name=None, verify=None, botocore_config=None, **kwargs)[source]

基类： airflow.providers.common.compat.standard.operators.ShortCircuitOperator, airflow.providers.amazon.aws.utils.mixins.AwsBaseHookMixin[airflow.providers.amazon.aws.hooks.appflow.AppflowHook]

在 AppFlow 运行为空的情况下进行短路。

另请参阅

有关如何使用此操作器的更多信息，请查看指南： 参考 (Reference)

参数:
aws_hook_class[source]
template_fields[source]
ui_color = '#33ffec'[source]
aws_conn_id[source]
region_name[source]
verify[source]
botocore_config[source]

此条目是否有帮助？