airflow.providers.amazon.aws.hooks.glue_databrew

模块内容

类

GlueDataBrewHook

与 AWS DataBrew 交互。
class airflow.providers.amazon.aws.hooks.glue_databrew.GlueDataBrewHook(*args, **kwargs)[源代码]

基类： airflow.providers.amazon.aws.hooks.base_aws.AwsBaseHook

与 AWS DataBrew 交互。

可以指定其他参数（例如 aws_conn_id），它们会被传递到底层的 AwsBaseHook。

另请参阅

job_completion(job_name, run_id, delay=10, max_attempts=60)[源代码]

等待 Glue DataBrew 作业达到终端状态。

参数

  • job_name (str) – 在此运行期间处理的作业的名称。

  • run_id (str) – 作业运行的唯一标识符。

  • delay (int) – 轮询之间的延迟时间，以秒为单位

  • maxAttempts – 轮询完成的最大尝试次数

返回

作业状态

返回类型

str

get_job_state(job_name, run_id)[源代码]

获取作业运行的状态。

参数

  • job_name (str) – 在此运行期间处理的作业的名称。

  • run_id (str) – 作业运行的唯一标识符。

返回

作业运行的状态。“STARTING”|“RUNNING”|“STOPPING”|“STOPPED”|“SUCCEEDED”|“FAILED”|“TIMEOUT”

返回类型

str

此条目是否有帮助？