airflow.providers.microsoft.azure.hooks.synapse¶

属性¶

凭据

异常¶

AzureSynapsePipelineRunException

表示管道运行失败的异常。

类¶

`AzureSynapseSparkBatchRunStatus`	Azure Synapse Spark 作业操作状态。
`AzureSynapseHook`	用于与 Azure Synapse 交互的 Hook。
`AzureSynapsePipelineRunStatus`	Azure Synapse 管道操作状态。
`BaseAzureSynapseHook`	使用连接 ID 创建与 Azure Synapse 的会话和连接的基础 hook 类。
`AzureSynapsePipelineHook`	用于与 Azure Synapse Pipeline 交互的 Hook。

模块内容¶

airflow.providers.microsoft.azure.hooks.synapse.Credentials[source]¶

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapseSparkBatchRunStatus[source]¶

Azure Synapse Spark 作业操作状态。

NOT_STARTED = 'not_started'[source]¶

STARTING = 'starting'[source]¶

RUNNING = 'running'[source]¶

IDLE = 'idle'[source]¶

BUSY = 'busy'[source]¶

SHUTTING_DOWN = 'shutting_down'[source]¶

ERROR = 'error'[source]¶

DEAD = 'dead'[source]¶

KILLED = 'killed'[source]¶

SUCCESS = 'success'[source]¶

TERMINAL_STATUSES[source]¶

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapseHook(azure_synapse_conn_id=default_conn_name, spark_pool='')[source]¶

基类: airflow.hooks.base.BaseHook

用于与 Azure Synapse 交互的 Hook。

参数：:

azure_synapse_conn_id (str) – Azure Synapse 连接 ID。。
spark_pool (str) – 用于提交作业的 Apache Spark 池

conn_type: str = 'azure_synapse'[source]¶

conn_name_attr: str = 'azure_synapse_conn_id'[source]¶

default_conn_name: str = 'azure_synapse_default'[source]¶

hook_name: str = 'Azure Synapse'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[source]¶

返回自定义字段行为。

job_id: int | None = None[source]¶

conn_id = 'azure_synapse_default'[source]¶

spark_pool = ''[source]¶

get_conn()[source]¶

返回此 Hook 的连接。

run_spark_job(payload)[source]¶

在 Apache Spark 池中运行作业。

参数：:: payload (azure.synapse.spark.models.SparkBatchJobOptions) – Livy 兼容的负载，表示用户要提交的 Spark 作业。

get_job_run_status()[source]¶: 获取作业运行状态。

wait_for_job_run_status(job_id, expected_statuses, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待作业运行达到预期状态。

参数：:

job_id (int | None) – 作业运行标识符。
expected_statuses (str | set[str]) – 用于检查作业运行当前状态的期望状态。
check_interval (int) – 检查作业运行状态的间隔时间（秒）。
timeout (int) – 等待作业达到终止状态或预期状态的超时时间（秒）。

cancel_job_run(job_id)[source]¶

取消 Spark 作业运行。

参数：:: job_id (int) – Synapse Spark 作业标识符。

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineRunStatus[source]¶

Azure Synapse 管道操作状态。

QUEUED = 'Queued'[source]¶

IN_PROGRESS = 'InProgress'[source]¶

SUCCEEDED = 'Succeeded'[source]¶

FAILED = 'Failed'[source]¶

CANCELING = 'Canceling'[source]¶

CANCELLED = 'Cancelled'[source]¶

TERMINAL_STATUSES[source]¶

INTERMEDIATE_STATES[source]¶

FAILURE_STATES[source]¶

exception airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineRunException[source]¶

基类: airflow.exceptions.AirflowException

表示管道运行失败的异常。

class airflow.providers.microsoft.azure.hooks.synapse.BaseAzureSynapseHook(azure_synapse_conn_id=default_conn_name, **kwargs)[source]¶

基类: airflow.hooks.base.BaseHook

使用连接 ID 创建与 Azure Synapse 的会话和连接的基础 hook 类。

参数：:: azure_synapse_conn_id (str) – Azure Synapse 连接 ID。。

conn_type: str = 'azure_synapse'[source]¶

conn_name_attr: str ='azure_synapse_conn_id'[source]¶

default_conn_name: str ='azure_synapse_default'[source]¶

hook_name: str ='Azure Synapse'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要添加到连接表单的连接小部件。

返回要添加到连接表单的连接小部件。

返回自定义字段行为。

conn_id ='azure_synapse_default'[source]¶

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineHook(azure_synapse_workspace_dev_endpoint, azure_synapse_conn_id=default_conn_name, **kwargs)[source]¶

基类: BaseAzureSynapseHook

用于与 Azure Synapse Pipeline 交互的 Hook。

参数：:

azure_synapse_conn_id (str) – Azure Synapse 连接 ID。。
azure_synapse_workspace_dev_endpoint (str) – Azure Synapse Workspace 开发端点。

default_conn_name: str ='azure_synapse_connection'[source]¶

azure_synapse_workspace_dev_endpoint[source]¶

get_conn()[source]¶

返回此 Hook 的连接。

run_pipeline(pipeline_name, **config)[source]¶

运行 Synapse 管道。

参数：:

pipeline_name (str) – 管道名称。
config (Any) – Synapse Artifact Client 的额外参数。

返回：:

管道运行 ID。

返回类型：:

azure.synapse.artifacts.models.CreateRunResponse

get_pipeline_run(run_id)[source]¶

获取管道运行。

参数：:: run_id (str) – 管道运行标识符。
返回：:: 管道运行。
返回类型：:: azure.synapse.artifacts.models.PipelineRun

get_pipeline_run_status(run_id)[source]¶

获取管道运行的当前状态。

参数：:: run_id (str) – 管道运行标识符。
返回：:: 管道运行的状态。
返回类型：:: str

refresh_conn()[source]¶

wait_for_pipeline_run_status(run_id, expected_statuses, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待管道运行达到预期状态。

参数：:

run_id (str) – 管道运行标识符。
expected_statuses (str | set[str]) – 要与管道运行的当前状态进行对照检查的期望状态。
check_interval (int) – 检查管道运行状态的间隔时间（秒）。
timeout (int) – 等待管道达到终止状态或期望状态的超时时间（秒）。

返回：:

一个布尔值，指示管道运行是否已达到 expected_status。

返回类型：:

bool

cancel_run_pipeline(run_id)[source]¶

取消管道运行。

参数：:: run_id (str) – 管道运行标识符。