airflow.providers.microsoft.azure.operators.data_factory

类

AzureDataFactoryPipelineRunLink

构建一个链接以监视 Azure 数据工厂中的管道运行。

AzureDataFactoryRunPipelineOperator

执行数据工厂管道。

模块内容

Bases: airflow.utils.log.logging_mixin.LoggingMixin, airflow.sdk.BaseOperatorLink

构建一个链接以监视 Azure 数据工厂中的管道运行。

name = 'Monitor Pipeline Run'[source]

链接名称。这将是任务UI上的按钮名称。

外部系统的链接。

参数:
返回:

指向外部系统的链接

返回类型:

str

class airflow.providers.microsoft.azure.operators.data_factory.AzureDataFactoryRunPipelineOperator(*, pipeline_name, azure_data_factory_conn_id=AzureDataFactoryHook.default_conn_name, resource_group_name, factory_name, wait_for_termination=True, reference_pipeline_run_id=None, is_recovery=None, start_activity_name=None, start_from_failure=None, parameters=None, timeout=60 * 60 * 24 * 7, check_interval=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]

Bases: airflow.models.BaseOperator

执行数据工厂管道。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南： AzureDataFactoryRunPipelineOperator

参数:

  • azure_data_factory_conn_id (str) – 连接Azure数据工厂的连接标识符。

  • pipeline_name (str) – 要执行的管道名称。

  • wait_for_termination (bool) – 等待管道运行终止的标志。默认情况下，此功能已启用，但可以禁用，以便使用 AzureDataFactoryPipelineRunSensor 对长时间运行的管道执行进行异步等待。

  • resource_group_name (str) – 资源组名称。如果未将值传递给操作符，AzureDataFactoryHook 将尝试使用相应连接中提供的资源组名称。

  • factory_name (str) – 数据工厂名称。如果未将值传递给操作符，AzureDataFactoryHook 将尝试使用相应连接中提供的数据工厂名称。

  • reference_pipeline_run_id (str | None) – 管道运行标识符。如果指定了此运行ID，则指定运行的参数将用于创建新运行。

  • is_recovery (bool | None) – 恢复模式标志。如果恢复模式设置为 True，则指定的引用管道运行和新运行将分组到同一个 groupId 下。

  • start_activity_name (str | None) – 在恢复模式下，重新运行将从此活动开始。如果未指定，则所有活动都将运行。

  • start_from_failure (bool | None) – 在恢复模式下，如果设置为 True，则重新运行将从失败的活动开始。此属性仅在未指定 start_activity_name 时使用。

  • parameters (dict[str, Any] | None) – 管道运行的参数。这些参数通过 @pipeline().parameters.parameterName 在管道中引用，并且仅在未指定 reference_pipeline_run_id 时使用。

  • timeout (int) – 对于非异步等待，等待管道达到终止状态的秒数。仅在 wait_for_termination 为 True 时使用。

  • check_interval (int) – 对于非异步等待，检查管道运行状态的秒数。仅在 wait_for_termination 为 True 时使用。

  • deferrable (bool) – 以可推迟模式运行操作符。

template_fields: collections.abc.Sequence[str] = ('azure_data_factory_conn_id', 'resource_group_name', 'factory_name', 'pipeline_name',...[source]
template_fields_renderers[source]
ui_color = '#0678d4'[source]
azure_data_factory_conn_id = 'azure_data_factory_default'[source]
pipeline_name[source]
wait_for_termination = True[source]
resource_group_name[source]
factory_name[source]
reference_pipeline_run_id = None[source]
is_recovery = None[source]
start_activity_name = None[source]
start_from_failure = None[source]
parameters = None[source]
timeout = 604800[source]
check_interval = 60[source]
deferrable = True[source]
property hook: airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryHook[source]

创建并返回一个 AzureDataFactoryHook（已缓存）。

execute(context)[source]

创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]

立即返回 - 当触发器触发时的回调。

依赖于触发器抛出异常，否则假定执行成功。

on_kill()[source]

重写此方法以在任务实例被终止时清理子进程。

在操作符中使用 threading、subprocess 或 multiprocessing 模块时，需要进行清理，否则会留下僵尸进程。

此条目有帮助吗？