Amazon Neptune¶

Amazon Neptune 数据库是一个为实现卓越的可扩展性和可用性而设计的无服务器图数据库。Neptune 数据库提供内置安全性、持续备份以及与其他 AWS 服务的集成。

前置任务¶

要使用这些操作器，您需要做一些准备工作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow® 安装
设置连接.

通用参数¶

aws_conn_id

引用 Amazon Web Services 连接 ID。如果此参数设置为 None，则使用默认的 boto3 行为，不进行连接查找。否则，使用存储在 Connection 中的凭据。默认值: aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则使用 AWS 连接 Extra 参数中的 region_name。否则，使用指定的值而不是连接中的值。默认值: None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果要使用与 botocore 使用的不同的 CA 证书包，可以指定此参数。

如果此参数设置为 None 或省略，则使用 AWS 连接 Extra 参数中的 verify。否则，使用指定的值而不是连接中的值。默认值: None

botocore_config

提供的字典用于构建一个 botocore.config.Config。此配置可用于配置避免限制异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则使用 AWS 连接 Extra 参数中的 config_kwargs。否则，使用指定的值而不是连接中的值。默认值: None

注意

指定一个空字典，{}，将覆盖 botocore.config.Config 的连接配置

操作器¶

启动 Neptune 数据库集群¶

要启动现有的 Neptune 数据库集群，可以使用 StartNeptuneDbClusterOperator。通过传递参数 deferrable=True，可以在延迟模式下运行此操作器。这需要安装 aiobotocore 模块。

注意

此操作器仅启动现有的 Neptune 数据库集群，不会创建集群。

tests/system/amazon/aws/example_neptune.py

start_cluster = NeptuneStartDbClusterOperator(task_id="start_task", db_cluster_id=cluster_id)

停止 Neptune 数据库集群¶

要停止正在运行的 Neptune 数据库集群，可以使用 StartNeptuneDbClusterOperator。通过传递参数 deferrable=True 马匹，可以在延迟模式下运行此操作器。这需要安装 aiobotocore 模块。

tests/system/amazon/aws/example_neptune.py

stop_cluster = NeptuneStopDbClusterOperator(task_id="stop_task", db_cluster_id=cluster_id)

参考¶

Neptune 的 AWS boto3 库文档