airflow.providers.databricks.hooks.databricks_base

Databricks hook。

此 hook 支持向 Databricks 平台提交和运行作业。在内部,operator 会与 api/2.0/jobs/runs/submit 端点通信。

属性

AZURE_METADATA_SERVICE_TOKEN_URL

AZURE_METADATA_SERVICE_INSTANCE_URL

TOKEN_REFRESH_LEAD_TIME

AZURE_MANAGEMENT_ENDPOINT

DEFAULT_DATABRICKS_SCOPE

OIDC_TOKEN_SERVICE_URL

DEFAULT_AZURE_CREDENTIAL_SETTING_KEY

BaseDatabricksHook

与 Databricks 交互的基础类。

BearerAuth

aiohttp 只自带 BasicAuth,对于 Bearer auth,我们需要 BasicAuth 的子类。

模块内容

airflow.providers.databricks.hooks.databricks_base.AZURE_METADATA_SERVICE_TOKEN_URL = 'http://169.254.169.254/metadata/identity/oauth2/token'[source]
airflow.providers.databricks.hooks.databricks_base.AZURE_METADATA_SERVICE_INSTANCE_URL = 'http://169.254.169.254/metadata/instance'[source]
airflow.providers.databricks.hooks.databricks_base.TOKEN_REFRESH_LEAD_TIME = 120[source]
airflow.providers.databricks.hooks.databricks_base.AZURE_MANAGEMENT_ENDPOINT = 'https://management.core.windows.net/'[source]
airflow.providers.databricks.hooks.databricks_base.DEFAULT_DATABRICKS_SCOPE = '2ff814a6-3304-4ab8-85cb-cd0e6f879c1d'[source]
airflow.providers.databricks.hooks.databricks_base.OIDC_TOKEN_SERVICE_URL = '{}/oidc/v1/token'[source]
airflow.providers.databricks.hooks.databricks_base.DEFAULT_AZURE_CREDENTIAL_SETTING_KEY = 'use_default_azure_credential'[source]
class airflow.providers.databricks.hooks.databricks_base.BaseDatabricksHook(databricks_conn_id=default_conn_name, timeout_seconds=180, retry_limit=3, retry_delay=1.0, retry_args=None, caller='Unknown')[source]

基类: airflow.hooks.base.BaseHook

与 Databricks 交互的基础类。

参数:
  • databricks_conn_id (str) – 指向 Databricks 连接的引用。

  • timeout_seconds (int) – requests 库在超时前等待的时间,单位为秒。

  • retry_limit (int) – 服务中断时重试连接的次数。

  • retry_delay (float) – 每次重试之间等待的秒数(可能是一个浮点数)。

  • retry_args (dict[Any, Any] | None) – 一个可选字典,包含传递给 tenacity.Retrying 类的参数。

  • caller (str) – 调用此 hook 的 operator 名称。

conn_name_attr: str = 'databricks_conn_id'[source]
default_conn_name = 'databricks_default'[source]
conn_type ='databricks'[source]
extra_parameters[source]
databricks_conn_id = 'databricks_default'[source]
timeout_seconds = 180[source]
retry_limit = 3[source]
retry_delay = 1.0[source]
oauth_tokens: dict[str, dict][source]
token_timeout_seconds = 10[source]
caller = 'Unknown'[source]
property databricks_conn: airflow.models.Connection[source]
get_conn()[source]

返回 hook 的连接。

property user_agent_header: dict[str, str][source]
property user_agent_value: str[source]
property host: str[source]
async __aenter__()[source]
async __aexit__(*err)[source]
class airflow.providers.databricks.hooks.databricks_base.BearerAuth(token)[source]

基类: aiohttp.BasicAuth

aiohttp 只自带 BasicAuth,对于 Bearer auth,我们需要 BasicAuth 的子类。

token[source]
encode()[source]

编码凭据。

此条目有帮助吗?