AWS Glue DataBrew

AWS Glue DataBrew 是一款可视化数据准备工具,可帮助数据分析师和数据科学家更轻松地清理和规范化数据,以便为分析和机器学习 (ML) 做好准备。您可以从 250 多个预构建的转换中进行选择,以自动化数据准备任务,所有这些都无需编写任何代码。您可以自动化过滤异常、将数据转换为标准格式和更正无效值等任务。数据准备就绪后,即可立即将其用于分析和 ML 项目。

先决条件任务

要使用这些操作符,您需要完成几项操作

通用参数

aws_conn_id

Amazon Web Services 连接 ID 的引用。如果此参数设置为 None,则使用默认的 boto3 行为,无需查找连接。否则,使用连接中存储的凭据。默认值: aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略,则使用 AWS 连接额外参数 中的 region_name。否则,使用指定的值而不是连接值。默认值: None

verify

是否验证 SSL 证书。

  • False - 不验证 SSL 证书。

  • path/to/cert/bundle.pem - 要使用的 CA 证书捆绑包文件名。如果您想使用与 botocore 使用的 CA 证书捆绑包不同的捆绑包,可以指定此参数。

如果此参数设置为 None 或省略,则使用 AWS 连接额外参数 中的 verify。否则,使用指定的值而不是连接值。默认值: None

botocore_config

提供的字典用于构建 botocore.config.Config。此配置可用于配置 避免节流异常、超时等。

示例,有关参数的更多详细信息,请参阅 botocore.config.Config
{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略,则使用 AWS 连接额外参数 中的 config_kwargs。否则,使用指定的值而不是连接值。默认值: None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置

操作符

启动 AWS Glue DataBrew 作业

要提交新的 AWS Glue DataBrew 作业,您可以使用 GlueDataBrewStartJobOperator

tests/system/amazon/aws/example_glue_databrew.py

start_job = GlueDataBrewStartJobOperator(task_id="startjob", job_name=job_name, waiter_delay=15)

参考资料

此条目是否对您有帮助?