Azure Synapse Operators¶

Azure Synapse Analytics 是一项无限分析服务，它将数据集成、企业数据仓库和大数据分析融为一体。它让你能够按照自己的方式自由地查询数据，无论使用无服务器选项还是专用选项，都能实现大规模查询。Azure Synapse 通过统一的体验将这些世界连接起来，以引入、探索、准备、转换、管理和提供数据，满足即时的 BI 和机器学习需求。

AzureSynapseRunSparkBatchOperator¶

使用 AzureSynapseRunSparkBatchOperator 来在 Synapse Analytics 中执行 Spark 应用程序。默认情况下，此 Operator 将定期检查执行的 Spark 作业状态，直到其终止并显示“成功”状态。

以下是使用此 Operator 在 Azure Synapse 上执行 Spark 应用程序的示例。

tests/system/microsoft/azure/example_azure_synapse.py

run_spark_job = AzureSynapseRunSparkBatchOperator(
    task_id="run_spark_job",
    spark_pool="provsparkpool",
    payload=SPARK_JOB_PAYLOAD,  # type: ignore
)

AzureSynapseRunPipelineOperator¶

使用 :class:~airflow.providers.microsoft.azure.operators.synapse.AzureSynapseRunPipelineOperator 来在 Synapse Analytics 中执行管道应用程序。此 Operator 将执行 Synapse 管道。

tests/system/microsoft/azure/example_synapse_run_pipeline.py

run_pipeline1 = AzureSynapseRunPipelineOperator(
    task_id="run_pipeline1",
    azure_synapse_conn_id="azure_synapse_connection",
    pipeline_name="Pipeline 1",
    azure_synapse_workspace_dev_endpoint="azure_synapse_workspace_dev_endpoint",
)

参考资料¶

欲了解更多信息，请参阅 Microsoft 文档

Azure Synapse Analytics 文档