AWS 可延迟 Operator

AWS 可延迟 Operator 依赖于 aiobotocore>=2.1.1 库。遗憾的是,由于 aiobotocoreboto3 之间存在 botocore 版本冲突,目前我们无法将其添加到核心 AWS 提供商依赖项中。我们已将 aiobotocore 添加为额外依赖项。因此,如果您想使用 AWS 可延迟 Operator,则必须自行管理此依赖项。

我们引入了一个异步 Hook,用于异步管理 AWS 服务之间的认证。AWS 异步 Hook 当前支持默认的 botocore 认证机制,即如果未提供 Airflow 连接,提供商将尝试在环境变量中查找凭据参数。如果提供了 Airflow 连接,则使用 secret-key/access-key-id/profile/token 和 arn-method 的基本认证应该可以工作。

为了使用可延迟 Operator,我们在支持可延迟执行的那些 Operator 中暴露了 deferrable 参数。默认情况下,deferrable 设置为 False,将其设置为 True 即可在异步模式下运行 Operator。

此条目是否有帮助?