Amazon DynamoDB¶

Amazon DynamoDB Amazon DynamoDB 是一种全托管、无服务器的键值 NoSQL 数据库，旨在以任意规模运行高性能应用程序。DynamoDB 提供内置安全、持续备份、自动化多区域复制、内存缓存以及数据导入导出工具。

前置任务¶

要使用这些操作符，您需要完成以下几项工作

使用 AWS 控制台或 AWS CLI 创建所需资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息可在 Airflow® 安装中获取。
设置连接.

通用参数¶

aws_conn_id

引用到 Amazon Web Services 连接 ID。如果此参数设置为 None，则使用默认的 boto3 行为且不进行连接查找。否则使用存储在连接中的凭证。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则使用 region_name（来自 AWS 连接额外参数）。否则使用指定的值而不是连接中的值。默认值：None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书捆绑文件名。如果您想使用与 botocore 不同的 CA 证书捆绑，可指定此参数。

如果此参数设置为 None 或省略，则使用 verify（来自 AWS 连接额外参数）。否则使用指定的值而不是连接中的值。默认值：None

botocore_config

提供的字典将用于构建 botocore.config.Config。此配置可用于配置避免限流异常、超时等。

示例，关于参数的更多细节请查看 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则使用 config_kwargs（来自 AWS 连接额外参数）。否则使用指定的值而不是连接中的值。默认值：None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置。

传感器¶

等待 Amazon DynamoDB 项目属性值匹配¶

使用 DynamoDBValueSensor 来等待 DynamoDB 项目中匹配的属性/值对出现。

等待单个属性值匹配：¶

本示例展示了如何使用 DynamoDBValueSensor 来等待 DynamoDB 项目中某个特定的属性/值对。

tests/system/amazon/aws/example_dynamodb.py[source]

dynamodb_sensor = DynamoDBValueSensor(
    task_id="waiting_for_dynamodb_item_value",
    table_name=table_name,
    partition_key_name=PK_ATTRIBUTE_NAME,
    partition_key_value="Test",
    sort_key_name=SK_ATTRIBUTE_NAME,
    sort_key_value="2022-07-12T11:11:25-0400",
    attribute_name="Value",
    attribute_value="Testing",
)

等待属性值列表中的任意值：¶

在本示例中，传感器会等待 DynamoDB 项目拥有一个属性，该属性的值匹配提供的列表中的任意一个值。

tests/system/amazon/aws/example_dynamodb.py[source]

dynamodb_sensor_any_value = DynamoDBValueSensor(
    task_id="waiting_for_dynamodb_item_any_value",
    table_name=table_name,
    partition_key_name=PK_ATTRIBUTE_NAME,
    partition_key_value="Test",
    sort_key_name=SK_ATTRIBUTE_NAME,
    sort_key_value="2022-07-12T11:11:25-0400",
    attribute_name="Value",
    attribute_value=["Foo", "Testing", "Bar"],
)

参考¶

AWS boto3 库的 DynamoDB 文档