airflow.providers.databricks.sensors.databricks_sql¶

此模块包含 Databricks 传感器。

类¶

DatabricksSqlSensor

在 Databricks 上运行 SQL 查询的传感器。

模块内容¶

class airflow.providers.databricks.sensors.databricks_sql.DatabricksSqlSensor(*, databricks_conn_id=DatabricksSqlHook.default_conn_name, http_path=None, sql_warehouse_name=None, session_configuration=None, http_headers=None, catalog='', schema='default', sql, handler=fetch_all_handler, client_parameters=None, **kwargs)[源代码]¶

基类: airflow.sensors.base.BaseSensorOperator

在 Databricks 上运行 SQL 查询的传感器。

参数:

databricks_conn_id (str) – 引用 Databricks 连接 ID（模板化），默认为 DatabricksSqlHook.default_conn_name。
sql_warehouse_name (str | None) – Databricks SQL 仓库的可选名称。如果未指定，必须按照下文所述提供 http_path，默认为 None
http_path (str | None) – 指定 Databricks SQL 仓库或通用集群 HTTP 路径的可选字符串。如果未指定，应在 Databricks 连接的额外参数中指定，或必须指定 sql_warehouse_name。
session_configuration – Spark session 参数的可选字典。如果未指定，可在 Databricks 连接的额外参数中指定，默认为 None
http_headers (list[tuple[str, str]] | None) – 将在每个请求中设置为 HTTP 头的 (k, v) 对的可选列表。（模板化）。
catalog (str) – 要使用的可选初始 catalog。需要 Databricks Runtime 9.0+ 版本（模板化），默认为 “”
schema (str) – 要使用的可选初始 schema。需要 Databricks Runtime 9.0+ 版本（模板化），默认为 “default”
sql (str | collections.abc.Iterable[str]) – 要执行的 SQL 语句。
handler (Callable[[Any], Any]) – 用于 DbApiHook.run() 返回结果的处理程序，默认为 fetch_all_handler
client_parameters (dict[str, Any] | None) – Databricks SQL 连接器参数内部的额外参数。