airflow.providers.microsoft.azure.hooks.synapse

模块内容

类

AzureSynapseSparkBatchRunStatus

Azure Synapse Spark 作业操作状态。

AzureSynapseHook

用于与 Azure Synapse 交互的钩子。

AzureSynapsePipelineRunStatus

Azure Synapse 管道操作状态。

BaseAzureSynapseHook

一个基础钩子类，用于使用连接 ID 创建会话并连接到 Azure Synapse。

AzureSynapsePipelineHook

用于与 Azure Synapse 管道交互的钩子。

属性

凭据

airflow.providers.microsoft.azure.hooks.synapse.Credentials[源代码]
class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapseSparkBatchRunStatus[源代码]

Azure Synapse Spark 作业操作状态。

NOT_STARTED = 'not_started'[源代码]
STARTING = 'starting'[源代码]
RUNNING = 'running'[源代码]
IDLE = 'idle'[源代码]
BUSY = 'busy'[源代码]
SHUTTING_DOWN = 'shutting_down'[源代码]
ERROR = 'error'[源代码]
DEAD = 'dead'[源代码]
KILLED = 'killed'[源代码]
SUCCESS = 'success'[源代码]
TERMINAL_STATUSES[源代码]
class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapseHook(azure_synapse_conn_id=default_conn_name, spark_pool='')[源代码]

基类: airflow.hooks.base.BaseHook

用于与 Azure Synapse 交互的钩子。

参数
conn_type: str = 'azure_synapse'[源代码]
conn_name_attr: str = 'azure_synapse_conn_id'[源代码]
default_conn_name: str = 'azure_synapse_default'[源代码]
hook_name: str = 'Azure Synapse'[源代码]
classmethod get_connection_form_widgets()[source]

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[source]

返回自定义字段行为。

get_conn()[source]

返回钩子的连接。

run_spark_job(payload)[source]

在 Apache Spark 池中运行作业。

参数

payload (azure.synapse.spark.models.SparkBatchJobOptions) – Livy 兼容的有效载荷，表示用户要提交的 Spark 作业。

get_job_run_status()[source]

获取作业运行状态。

wait_for_job_run_status(job_id, expected_statuses, check_interval=60, timeout=60 * 60 * 24 * 7)[source]

等待作业运行匹配预期状态。

参数

  • job_id (int | None) – 作业运行标识符。

  • expected_statuses (str | set[str]) – 要对照作业运行的当前状态检查的所需状态。

  • check_interval (int) – 以秒为单位检查作业运行状态的时间间隔。

  • timeout (int) – 等待作业达到终端状态或预期状态的秒数。

cancel_job_run(job_id)[source]

取消 Spark 作业运行。

参数

job_id (int) – Synapse Spark 作业标识符。

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineRunStatus[source]

Azure Synapse 管道操作状态。

QUEUED = 'Queued'[source]
IN_PROGRESS = 'InProgress'[source]
SUCCEEDED = 'Succeeded'[source]
FAILED = 'Failed'[source]
CANCELING = 'Canceling'[source]
CANCELLED = 'Cancelled'[source]
TERMINAL_STATUSES[source]
INTERMEDIATE_STATES[source]
FAILURE_STATES[source]
exception airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineRunException[source]

基类: airflow.exceptions.AirflowException

指示管道运行未能完成的异常。

class airflow.providers.microsoft.azure.hooks.synapse.BaseAzureSynapseHook(azure_synapse_conn_id=default_conn_name, **kwargs)[source]

基类: airflow.hooks.base.BaseHook

一个基础钩子类，用于使用连接 ID 创建会话并连接到 Azure Synapse。

参数

azure_synapse_conn_id (str) – Azure Synapse 连接 ID。

conn_type: str = 'azure_synapse'[source]
conn_name_attr: str = 'azure_synapse_conn_id'[source]
default_conn_name: str = 'azure_synapse_default'[源代码]
hook_name: str = 'Azure Synapse'[源代码]
classmethod get_connection_form_widgets()[源代码]

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[源代码]

返回自定义字段行为。

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineHook(azure_synapse_workspace_dev_endpoint, azure_synapse_conn_id=default_conn_name, **kwargs)[源代码]

基类： BaseAzureSynapseHook

用于与 Azure Synapse 管道交互的钩子。

参数

  • azure_synapse_conn_id (str) – Azure Synapse 连接 ID。

  • azure_synapse_workspace_dev_endpoint (str) – Azure Synapse Workspace 开发终结点。

default_conn_name: str = 'azure_synapse_connection'[源代码]
get_conn()[源代码]

返回钩子的连接。

run_pipeline(pipeline_name, **config)[源代码]

运行 Synapse 管道。

参数

  • pipeline_name (str) – 管道名称。

  • config (Any) – Synapse Artifact Client 的额外参数。

返回

管道运行 ID。

返回类型

azure.synapse.artifacts.models.CreateRunResponse

get_pipeline_run(run_id)[源代码]

获取管道运行。

参数

run_id (str) – 管道运行标识符。

返回

管道运行。

返回类型

azure.synapse.artifacts.models.PipelineRun

get_pipeline_run_status(run_id)[源代码]

获取管道运行的当前状态。

参数

run_id (str) – 管道运行标识符。

返回

管道运行的状态。

返回类型

str

refresh_conn()[源代码]
wait_for_pipeline_run_status(run_id, expected_statuses, check_interval=60, timeout=60 * 60 * 24 * 7)[源代码]

等待管道运行与预期状态匹配。

参数

  • run_id (str) – 管道运行标识符。

  • expected_statuses (str | set[str]) – 要针对管道运行的当前状态检查的所需状态。

  • check_interval (int) – 以秒为单位检查管道运行状态的时间间隔。

  • timeout (int) – 等待管道达到终端状态或预期状态的秒数。

返回

布尔值，指示管道运行是否已达到 expected_status。

返回类型

bool

cancel_run_pipeline(run_id)[源代码]

取消管道运行。

参数

run_id (str) – 管道运行标识符。

此条目是否对您有帮助？