airflow.providers.databricks.sensors.databricks_partition¶
此模块包含 Databricks 传感器。
模块内容¶
类¶
用于检测 Databricks 中是否存在表分区的传感器。 |
- class airflow.providers.databricks.sensors.databricks_partition.DatabricksPartitionSensor(*, databricks_conn_id=DatabricksSqlHook.default_conn_name, http_path=None, sql_warehouse_name=None, session_configuration=None, http_headers=None, catalog='', schema='default', table_name, partitions, partition_operator='=', handler=fetch_all_handler, client_parameters=None, **kwargs)[源代码]¶
基类:
airflow.sensors.base.BaseSensorOperator用于检测 Databricks 中是否存在表分区的传感器。
- 参数
databricks_conn_id (str) – Databricks 连接 ID的引用（已模板化），默认为 DatabricksSqlHook.default_conn_name。
sql_warehouse_name (str | None) – Databricks SQL 仓库的可选名称。如果未指定，则必须提供
http_path，如下所述，默认为 Nonehttp_path (str | None) – 指定 Databricks SQL 仓库或通用集群的 HTTP 路径的可选字符串。如果未指定，则应在 Databricks 连接的额外参数中指定，或者必须指定
sql_warehouse_name。session_configuration – Spark 会话参数的可选字典。如果未指定，可以在 Databricks 连接的额外参数中指定，默认为 None
http_headers (list[tuple[str, str]] | None) – 一个可选的 (k, v) 对列表，它将在每次请求时设置为 HTTP 标头。（已模板化）。
catalog (str) – 要使用的可选初始目录。需要 Databricks Runtime 版本 9.0+（已模板化），默认为 “”。
schema (str) – 要使用的可选初始架构。需要 Databricks Runtime 版本 9.0+（已模板化），默认为 “default”。
table_name (str) – 要检查分区的表名。
partitions (dict) – 要检查的分区名称。示例：{“date”: “2023-01-03”, “name”: [“abc”, “def”]}
partition_operator (str) – 分区的可选比较运算符，例如 >=。
handler (Callable[[Any], Any]) – 用于 DbApiHook.run() 返回结果的处理程序，默认为 fetch_all_handler
client_parameters (dict[str, Any] | None) – Databricks SQL 连接器参数内部的其他参数。
- template_fields: collections.abc.Sequence[str] = ('databricks_conn_id', 'catalog', 'schema', 'table_name', 'partitions', 'http_headers')[源代码]¶
- template_ext: collections.abc.Sequence[str] = ('.sql',)[源代码]¶