airflow.providers.microsoft.azure.hooks.data_factory¶

拼写例外。

属性¶

`Credentials`
`AsyncCredentials`
`T`

异常¶

AzureDataFactoryPipelineRunException

表示管道运行未能完成的异常。

类¶

`AzureDataFactoryPipelineRunStatus`	Azure Data Factory 管道操作状态。
`AzureDataFactoryHook`	一个与 Azure Data Factory 交互的 Hook。
`AzureDataFactoryAsyncHook`	一个连接到 Azure DataFactory 以执行管道操作的异步 Hook。

函数¶

`provide_targeted_factory`(func)	如果未指定目标工厂，则将其提供给被装饰的函数。
`get_field`(extras, field_name[, strict])	从 extra 获取字段，首先检查短名称，然后为了向后兼容性，检查带前缀的名称。
`provide_targeted_factory_async`(func)	如果未指定目标工厂，则将其提供给异步被装饰的函数。

模块内容¶

airflow.providers.microsoft.azure.hooks.data_factory.Credentials[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.AsyncCredentials[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.T[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory(func)[source]¶

如果未指定目标工厂，则将其提供给被装饰的函数。

如果未提供 resource_group_name 或 factory_name，则默认为连接 extra 中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunStatus[source]¶

Azure Data Factory 管道操作状态。

QUEUED = 'Queued'[source]¶

IN_PROGRESS = 'InProgress'[source]¶

SUCCEEDED = 'Succeeded'[source]¶

FAILED = 'Failed'[source]¶

CANCELING = 'Canceling'[source]¶

CANCELLED = 'Cancelled'[source]¶

TERMINAL_STATUSES[source]¶

INTERMEDIATE_STATES[source]¶

FAILURE_STATES[source]¶

exception airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunException[source]¶

基础: airflow.exceptions.AirflowException

表示管道运行未能完成的异常。

airflow.providers.microsoft.azure.hooks.data_factory.get_field(extras, field_name, strict=False)[source]¶

从 extra 获取字段，首先检查短名称，然后为了向后兼容性，检查带前缀的名称。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryHook(azure_data_factory_conn_id=default_conn_name)[source]¶

基础: airflow.hooks.base.BaseHook

一个与 Azure Data Factory 交互的 Hook。

参数:: azure_data_factory_conn_id (str) – Azure Data Factory 连接 ID。

conn_type: str = 'azure_data_factory'[source]¶

conn_name_attr: str ='azure_data_factory_conn_id'[source]¶

default_conn_name: str = 'azure_data_factory_default'[source]¶

hook_name: str = 'Azure Data Factory'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[source]¶

返回自定义字段行为。

conn_id = 'azure_data_factory_default'[source]¶

get_conn()[source]¶

返回 hook 的连接。

refresh_conn()[source]¶

get_factory(resource_group_name, factory_name, **config)[source]¶

获取工厂。

参数:

resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

工厂。

返回类型:

azure.mgmt.datafactory.models.Factory | None

update_factory(factory, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新工厂。

参数:

factory (azure.mgmt.datafactory.models.Factory) – 工厂资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 工厂实体的 ETag。仅应在更新时指定，此时应匹配现有实体，或可以使用 * 进行无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果工厂不存在。

返回:

工厂。

返回类型:

azure.mgmt.datafactory.models.Factory

create_factory(factory, resource_group_name, factory_name, **config)[source]¶

创建工厂。

参数:

factory (azure.mgmt.datafactory.models.Factory) – 工厂资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果工厂已存在。

返回:

工厂。

返回类型:

azure.mgmt.datafactory.models.Factory

delete_factory(resource_group_name, factory_name, **config)[source]¶

删除工厂。

参数:

resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_linked_service(linked_service_name, resource_group_name, factory_name, if_none_match=None, **config)[source]¶

获取链接服务。

参数:

linked_service_name (str) – 链接服务名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_none_match (str | None) – 链接服务实体的 ETag。仅应在获取时指定。如果 ETag 与现有实体标签匹配，或者提供了 *，则不会返回任何内容。默认值为 None。
config (Any) – ADF 客户端的额外参数。

返回:

链接服务。

返回类型:

azure.mgmt.datafactory.models.LinkedServiceResource | None

update_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[source]¶

更新链接服务。

参数:

linked_service_name (str) – 链接服务名称。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 链接服务资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果链接服务不存在。

返回:

链接服务。

返回类型:

azure.mgmt.datafactory.models.LinkedServiceResource

create_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[source]¶

创建链接服务。

参数:

linked_service_name (str) – 链接服务名称。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 链接服务资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果链接服务已存在。

返回:

链接服务。

返回类型:

azure.mgmt.datafactory.models.LinkedServiceResource

delete_linked_service(linked_service_name, resource_group_name, factory_name, **config)[source]¶

删除链接服务。

参数:

linked_service_name (str) – 链接服务名称。
resource_group_name (str) – 链接服务名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_dataset(dataset_name, resource_group_name, factory_name, **config)[source]¶

获取数据集。

参数:

dataset_name (str) – 数据集名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

数据集。

返回类型:

azure.mgmt.datafactory.models.DatasetResource | None

update_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[source]¶

更新数据集。

参数:

dataset_name (str) – 数据集名称。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 数据集资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果数据集不存在。

返回:

数据集。

返回类型:

azure.mgmt.datafactory.models.DatasetResource

create_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[source]¶

创建数据集。

参数:

dataset_name (str) – 数据集名称。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 数据集资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果数据集已存在。

返回:

数据集。

返回类型:

azure.mgmt.datafactory.models.DatasetResource

delete_dataset(dataset_name, resource_group_name, factory_name, **config)[source]¶

删除数据集。

参数:

dataset_name (str) – 数据集名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_dataflow(dataflow_name, resource_group_name, factory_name, if_none_match=None, **config)[source]¶

获取数据流。

参数:

dataflow_name (str) – 数据流名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_none_match (str | None) – 数据流实体的 ETag。仅应在获取时指定。如果 ETag 与现有实体标签匹配，或者提供了 *，则不会返回任何内容。默认值为 None。
config (Any) – ADF 客户端的额外参数。

返回:

DataFlowResource。

返回类型:

azure.mgmt.datafactory.models.DataFlowResource

update_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新数据流。

参数:

dataflow_name (str) – 数据流名称。
dataflow (azure.mgmt.datafactory.models.DataFlowResource | IO) – 数据流资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 数据流实体的 ETag。仅应在更新时指定，此时应匹配现有实体，或可以使用 * 进行无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果数据集不存在。

返回:

DataFlowResource。

返回类型:

azure.mgmt.datafactory.models.DataFlowResource

create_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[source]¶

创建数据流。

参数:

dataflow_name (str) – 数据流名称。
dataflow (azure.mgmt.datafactory.models.DataFlowResource) – 数据流资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 工厂实体的 ETag。仅应在更新时指定，此时应匹配现有实体，或可以使用 * 进行无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果数据集已存在。

返回:

数据集。

返回类型:

azure.mgmt.datafactory.models.DataFlowResource

delete_dataflow(dataflow_name, resource_group_name, factory_name, **config)[source]¶

删除数据流。

参数:

dataflow_name (str) – 数据流名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

获取管道。

参数:

pipeline_name (str) – 管道名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

管道。

返回类型:

azure.mgmt.datafactory.models.PipelineResource | None

update_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

更新管道。

参数:

pipeline_name (str) – 管道名称。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管道资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果管道不存在。

返回:

管道。

返回类型:

azure.mgmt.datafactory.models.PipelineResource

create_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

创建管道。

参数:

pipeline_name (str) – 管道名称。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管道资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果管道已存在。

返回:

管道。

返回类型:

azure.mgmt.datafactory.models.PipelineResource

delete_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

删除管道。

参数:

pipeline_name (str) – 管道名称。
resource_group_name (str) – 管道名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

run_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

运行管道。

参数:

pipeline_name (str) – 管道名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

管道运行。

返回类型:

azure.mgmt.datafactory.models.CreateRunResponse

get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

获取管道运行。

参数:

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

管道运行。

返回类型:

azure.mgmt.datafactory.models.PipelineRun

get_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

获取管道运行的当前状态。

参数:

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。

返回:

管道运行的状态。

返回类型:

str

wait_for_pipeline_run_status(run_id, expected_statuses, resource_group_name, factory_name, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待管道运行匹配预期的状态。

参数:

run_id (str) – 管道运行标识符。
expected_statuses (str | set[str]) – 与管道运行的当前状态进行比对的期望状态。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
check_interval (int) – 检查管道运行状态的时间间隔（秒）。
timeout (int) – 等待管道达到终止状态或预期状态的超时时间（秒）。

返回:

布尔值，指示管道运行是否已达到 expected_status。

返回类型:

bool

cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取消管道运行。

参数:

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

获取触发器。

参数:

trigger_name (str) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

触发器。

返回类型:

azure.mgmt.datafactory.models.TriggerResource | None

update_trigger(trigger_name, trigger, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新触发器。

参数:

trigger_name (str) – 触发器名称。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 触发器资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 触发器实体的 ETag。仅应在更新时指定，此时它应与现有实体匹配，或者可以为 * 进行无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果触发器不存在。

返回:

触发器。

返回类型:

azure.mgmt.datafactory.models.TriggerResource

create_trigger(trigger_name, trigger, resource_group_name, factory_name, **config)[source]¶

创建触发器。

参数:

trigger_name (str) – 触发器名称。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 触发器资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发:

AirflowException – 如果触发器已存在。

返回:

触发器。

返回类型:

azure.mgmt.datafactory.models.TriggerResource

delete_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

删除触发器。

参数:

trigger_name (str) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

start_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

启动触发器。

参数:

trigger_name (str) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

一个 Azure 操作轮询器。

返回类型:

azure.core.polling.LROPoller

stop_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

停止触发器。

参数:

trigger_name (str) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回:

一个 Azure 操作轮询器。

返回类型:

azure.core.polling.LROPoller

rerun_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[source]¶

重新运行触发器。

参数:

trigger_name (str) – 触发器名称。
run_id (str) – 触发器运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

cancel_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[source]¶

取消触发器。

参数:

trigger_name (str) – 触发器名称。
run_id (str) – 触发器运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

test_connection()[source]¶

测试已配置的 Azure Data Factory 连接。

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory_async(func)[source]¶

如果未指定，则为异步装饰函数提供目标工厂。

如果未提供 resource_group_name 或 factory_name，则默认为连接 extra 中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryAsyncHook(azure_data_factory_conn_id=default_conn_name)[source]¶

基类: AzureDataFactoryHook

一个连接到 Azure DataFactory 以执行管道操作的异步 Hook。

参数:: azure_data_factory_conn_id (str) – Azure Data Factory 连接 ID。

default_conn_name: str = 'azure_data_factory_default'[source]¶

conn_id = 'azure_data_factory_default'[source]¶

async get_async_conn()[source]¶

获取异步连接并连接到 Azure Data Factory。

async refresh_conn()[source]¶

async get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

异步连接到 Azure Data Factory，通过运行 ID 获取管道运行详情。

参数:

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

async get_adf_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

异步连接到 Azure Data Factory，并通过 run_id 获取管道状态。

参数:

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。

async cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取消管道运行。

参数:

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。