airflow.providers.alibaba.cloud.hooks.analyticdb_spark¶

类¶

`AppState`	AnalyticDB Spark 应用程序状态。
`AnalyticDBSparkHook`	用于通过 REST API 与 AnalyticDB MySQL Spark 交互的 Hook。

模块内容¶

class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AppState[源]¶

基类: enum.Enum

AnalyticDB Spark 应用程序状态。

参见: https://www.alibabacloud.com/help/en/analyticdb-for-mysql/latest/api-doc-adb-2021-12-01-api-struct -sparkappinfo。

SUBMITTED = 'SUBMITTED'[源]¶

STARTING = 'STARTING'[源]¶

RUNNING = 'RUNNING'[源]¶

FAILING = 'FAILING'[源]¶

FAILED = 'FAILED'[源]¶

KILLING = 'KILLING'[源]¶

KILLED = 'KILLED'[源]¶

SUCCEEDING = 'SUCCEEDING'[源]¶

COMPLETED = 'COMPLETED'[源]¶

FATAL = 'FATAL'[源]¶

UNKNOWN = 'UNKNOWN'[源]¶

class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AnalyticDBSparkHook(adb_spark_conn_id='adb_spark_default', region=None, *args, **kwargs)[源]¶

基类: airflow.hooks.base.BaseHook, airflow.utils.log.logging_mixin.LoggingMixin

用于通过 REST API 与 AnalyticDB MySQL Spark 交互的 Hook。

参数:

adb_spark_conn_id (str) – 用于 AnalyticDB MySQL Spark 凭据的 Airflow 连接。
region (str | None) – 您希望提交 Spark 应用程序的 AnalyticDB MySQL 区域。

TERMINAL_STATES[源]¶

conn_name_attr = 'alibabacloud_conn_id'[源]¶

default_conn_name = 'adb_spark_default'[源]¶

conn_type = 'adb_spark'[源]¶

hook_name = 'AnalyticDB Spark'[源]¶

adb_spark_conn_id = 'adb_spark_default'[源]¶

adb_spark_conn[源]¶

region[源]¶

submit_spark_app(cluster_id, rg_name, *args, **kwargs)[源]¶

执行请求以提交 Spark 应用程序。

参数:

cluster_id (str) – AnalyticDB MySQL 3.0 数据湖集群的集群 ID。
rg_name (str) – AnalyticDB MySQL 3.0 数据湖集群中的资源组名称。

submit_spark_sql(cluster_id, rg_name, *args, **kwargs)[源]¶

执行请求以提交 Spark SQL。

参数:

cluster_id (str) – AnalyticDB MySQL 3.0 数据湖集群的集群 ID。
rg_name (str) – AnalyticDB MySQL 3.0 数据湖集群中的资源组名称。

get_spark_state(app_id)[源]¶

获取指定 Spark 应用程序的状态。

参数:: app_id (str) – Spark 应用程序的标识符

get_spark_web_ui_address(app_id)[源]¶

获取指定 Spark 应用程序的 Web UI 地址。

参数:: app_id (str) – Spark 应用程序的标识符

get_spark_log(app_id)[源]¶

获取指定 Spark 应用程序的日志。

参数:: app_id (str) – Spark 应用程序的标识符

kill_spark_app(app_id)[源]¶

终止指定的 Spark 应用程序。

参数:: app_id (str) – Spark 应用程序的标识符

static build_submit_app_data(file=None, class_name=None, args=None, conf=None, jars=None, py_files=None, files=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, archives=None, name=None)[源]¶

构建提交应用程序的请求数据。

参数:

file (str | None) – 包含要执行的应用程序文件的路径。
class_name (str | None) – 应用程序 Java/Spark 主类的名称。
args (collections.abc.Sequence[str | int | float] | None) – 应用程序命令行参数。
conf (dict[Any, Any] | None) – Spark 配置属性。
jars (collections.abc.Sequence[str] | None) – 此应用程序要使用的 jar 包。
py_files (collections.abc.Sequence[str] | None) – 此应用程序要使用的 Python 文件。
files (collections.abc.Sequence[str] | None) – 此应用程序要使用的文件。
driver_resource_spec (str | None) – Spark driver 的资源规范。
executor_resource_spec (str | None) – 每个 Spark executor 的资源规范。
num_executors (int | str | None) – 为此应用程序启动的 executor 数量。
archives (collections.abc.Sequence[str] | None) – 此应用程序要使用的归档文件。
name (str | None) – 此应用程序的名称。

static build_submit_sql_data(sql=None, conf=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, name=None)[源]¶

构建提交 Spark SQL 的请求数据。

参数:

sql (str | None) – 要执行的 SQL 查询。（模板化）
conf (dict[Any, Any] | None) – Spark 配置属性。
driver_resource_spec (str | None) – Spark driver 的资源规范。
executor_resource_spec (str | None) – 每个 Spark executor 的资源规范。
num_executors (int | str | None) – 为此应用程序启动的 executor 数量。
name (str | None) – 此应用程序的名称。

get_adb_spark_client()[源]¶

获取有效的 AnalyticDB MySQL Spark 客户端。

get_default_region()[源]¶

从连接中获取默认区域。