Azure Synapse Operators¶
Azure Synapse Analytics 是一项无限分析服务,它将数据集成、企业数据仓库和大数据分析融为一体。它让你能够按照自己的方式自由地查询数据,无论使用无服务器选项还是专用选项,都能实现大规模查询。Azure Synapse 通过统一的体验将这些世界连接起来,以引入、探索、准备、转换、管理和提供数据,满足即时的 BI 和机器学习需求。
AzureSynapseRunSparkBatchOperator¶
使用 AzureSynapseRunSparkBatchOperator
来在 Synapse Analytics 中执行 Spark 应用程序。默认情况下,此 Operator 将定期检查执行的 Spark 作业状态,直到其终止并显示“成功”状态。
以下是使用此 Operator 在 Azure Synapse 上执行 Spark 应用程序的示例。
tests/system/microsoft/azure/example_azure_synapse.py
run_spark_job = AzureSynapseRunSparkBatchOperator( task_id="run_spark_job", spark_pool="provsparkpool", payload=SPARK_JOB_PAYLOAD, # type: ignore )
AzureSynapseRunPipelineOperator¶
使用 :class:~airflow.providers.microsoft.azure.operators.synapse.AzureSynapseRunPipelineOperator 来在 Synapse Analytics 中执行管道应用程序。此 Operator 将执行 Synapse 管道。
tests/system/microsoft/azure/example_synapse_run_pipeline.py
run_pipeline1 = AzureSynapseRunPipelineOperator(
task_id="run_pipeline1",
azure_synapse_conn_id="azure_synapse_connection",
pipeline_name="Pipeline 1",
azure_synapse_workspace_dev_endpoint="azure_synapse_workspace_dev_endpoint",
)
参考资料¶
欲了解更多信息,请参阅 Microsoft 文档