airflow.providers.amazon.aws.hooks.glue_databrew

类

GlueDataBrewHook

与 AWS DataBrew 交互。

模块内容

class airflow.providers.amazon.aws.hooks.glue_databrew.GlueDataBrewHook(*args, **kwargs)[source]

基类：airflow.providers.amazon.aws.hooks.base_aws.AwsBaseHook

与 AWS DataBrew 交互。

可以指定额外的参数（如 aws_conn_id），这些参数会向下传递给底层的 AwsBaseHook。

另请参阅

job_completion(job_name, run_id, delay=10, max_attempts=60)[source]

等待 Glue DataBrew 作业达到终端状态。

参数：

  • job_name (str) – 本次运行中正在处理的作业名称。

  • run_id (str) – 作业运行的唯一标识符。

  • delay (int) – 轮询之间的延迟时间（秒）。

  • maxAttempts – 轮询完成的最大尝试次数。

返回：

作业状态

返回类型：

str

get_job_state(job_name, run_id)[source]

获取作业运行的状态。

参数：

  • job_name (str) – 本次运行中正在处理的作业名称。

  • run_id (str) – 作业运行的唯一标识符。

返回：

作业运行的状态。'STARTING'|'RUNNING'|'STOPPING'|'STOPPED'|'SUCCEEDED'|'FAILED'|'TIMEOUT'

返回类型：

str

此条目有帮助吗？