apache-airflow-providers-amazon

变更日志

9.6.1

Bug 修复

  • 修复 'EksClusterStateSensor'. 将 'region' 保存为 属性 (#49138)

  • 减小 'MwaaTriggerDagRunOperator' 中 'waiter_max_attempts' 的 默认值 (#49136)

  • 增大 'BedrockBatchInferenceOperator' 中 'waiter_max_attempts' 的 默认值 (#49090)

其他

  • 使用 contextlib.suppress(exception) 代替 try-except-pass 并添加 SIM105 ruff 规则 (#49251)

  • 为 aws auth_manager 添加 base_url 回退 (#49305)

  • 移除 多余的 else 块 (#49199)

  • AWS Batch Operator/Sensor 继承 AWS Base 类 (#49172)

  • 帮助 pip 查找 适用于 aiobotocore 的 适当 boto (#49166)

  • 更新 EKS Operator 和 Sensor 以 继承 AWS Base 类 (#48192)

9.6.0

新特性

  • 添加 Bedrock Batch Inference Operator 及相关 部分 (#48468)

  • 更新 ECS executor 以支持 Task SDK (#48513)

Bug 修复

  • 处理 waiter_with_logging.py 中的 NoCredentialsError (#48946)

  • Bedrock Batch Inference - 尝试 停止 已完成的 作业被视为 成功结果 (#48964)

  • S3Hook: 在 不活跃期 检查中 移除 错误 返回 (#48782)

其他

  • 在 GlueJobHook 中将 list_jobs 方法重命名为 describe_jobs (#48904)

  • 修复 MwaaHook 文档字符串中的 拼写错误 (#48980)

  • 更新 Amazon RDS Operator 和 Sensor 以 继承 AWS Base 类 (#48872)

  • 更改 特定于 提供程序的 依赖项以 引用 提供程序 (#48843)

9.5.0

新特性

  • 在 AWS MwaaHook 中添加 调用 MWAA API 的 备用 实现 (#47035)

  • 添加 AWS SageMaker Unified Studio Workflow Operator (#45726)

  • 在 RdsExportTaskExistenceSensor  中添加 错误 状态 检查 (#46917)

  • 通用 消息队列 (#46694)

  • 在 GlueJobHook 中获取 日志时，向 paginator.paginate 添加 startTime (#46950)

  • 将 MwaaDagRunSensor 添加到 Amazon Provider 包 (#46945)

  • 添加 等待/推迟 支持 - MwaaTriggerDagRunOperator (#47528)

  • 为 MwaaDagRunSensor 添加 可推迟 支持 (#47527)

Bug 修复

  • 修复 aws trigger 测试，使用 get_async_conn 作为 模拟 对象 (#47515)

  • 修复: 不要 为 异步 目的 使用 阻塞 属性 访问 (#47326)

  • 修复并 简化 认证管理器中的 'get_permitted_dag_ids' (#47458)

  • 在 EMR Containers sensor 失败时 记录 状态 (#47125)

  • 在 S3ToRedshiftOperator 中不要 期望 默认 连接 (#48363)

  • 在 RedshiftToS3Operator 中不要 期望 默认 连接 存在 (#47968)

  • 修复 PosixPath 在 S3Hook 的 download_file 中与 文件 create_asset 不兼容的 问题 (#47880)

  • 修复 Cloudwatch 远程 日志记录 (#48774)

  • 修复 'conf.get_boolean("api", "ssl_cert")' (#48465)

  • 修复 'BatchWaitersHook.get_waiter' 签名与 父类 不匹配的 问题 (#48581)

其他

  • 将 airflow.auth 迁移到 airflow.api_fastapi.auth (#47492)

  • AIP-72: 将 BaseOperatorLink 移至 task sdk (#47008)

  • 为 认证管理器 添加 一些 类型提示 并要求 kwargs (#47455)

  • AIP-84 - 为 Assets 添加 认证 (#47136)

  • AWS Base 类 - S3 (#47321)

  • 从 认证管理器中 移除 未使用的 方法 (#47316)

  • 将 api-server 移至 端口 8080 (#47310)

  • 在新 UI 中 渲染 结构化 日志，而不是 显示 原始 JSON (#46827)

  • 移除 旧 UI 和 webserver (#46942)

  • 不要 从 example_glue.py 中移除 日志组 (#47128)

  • 将 'fastapi-api' 命令移至 'api-server' (#47076)

  • 从 新 UI 中移除 '/webapp' 前缀 (#47041)

  • 限制 moto 5.1.0 以修复 CI (#47005)

  • 将 boto3 最低 版本 提升至 1.37.0 (#48238)

  • 将 BaseNotifier 移至 Task SDK (#48008)

  • 使用 AWS Base 类 更新 EC2 Operator 和 Sensor (#47931)

  • 将 mypy-boto3-appflow 提升至 >=1.37.0 (#47912)

  • 降低 bind xmlsec 依赖 版本 (#47696)

  • 澄清 Redshift 删除集群 Operator 的 消息 传递 (#48652)

  • 为 structlog 时代重做 远程 任务 日志处理 (#48491)

  • 将 'BaseSensorOperator' 移至 TaskSDK 定义 (#48244)

  • 非 TLS 模式下的 Cookie (#48453)

9.4.0

注意

此版本没有代码更改。由于之前版本因打包问题被撤回而发布此版本。

9.3.0

警告

  • 实验性的 AWS 认证 管理器 不再与 Airflow 2 兼容

新特性

  • 将 MwaaTriggerDagRunOperator 和 MwaaHook 添加到 Amazon Provider 包 (#46579)

  • 为 EC2 添加 额外链接 (#46340)

  • 允许将 container_name 参数传递给 EcsRunTaskOperator (#46152)

  • 添加 DataSync 链接 (#46292)

  • 为 Comprehend Operator 添加 额外 链接 (#46031)

  • 为 BatchOperator 添加 超时 支持 (#45660)

  • 添加 SageMaker Transform 额外链接 (#45677)

  • 为 AWS SqsPublishOperator 添加 MessageDeduplicationId 支持 (#45051)

Bug 修复

  • 重做 TriggererJobRunner 以 在没有 数据库访问权限的 进程中 运行 触发器 (#46677)

  • 由于 重组，修复 AWS 认证 管理器 系统 测试中的 schema 路径 (#46625)

  • 增加 'EmrContainerHook.create_emr_on_eks_cluster' 中的 重试 次数 (#46562)

  • 更新 'create_emr_on_eks_cluster' 方法，当 "集群由于其连接 正在更新而 不可访问" 时进行 重试 (#46497)

  • 为 EKS Hook 生成 分区感知 的 STS 端点 (#45725)

  • Sagemaker Operator 字符 限制 修复  (#45551)

  • 修复 EKS hook 中的 'fetch_access_token_for_cluster' (#45469)

  • DMS 等待器 replication_terminal_status 已扩展，可在另外 2 种 状态下 继续 进行: "created" 和 "deprovisioned" (#46684)

其他

  • AIP-72: 改进 Operator Link 接口以 防止 用户代码在 Webserver 中执行 (#46613)

  • 更新 'example_sqs' 不使用 'logical_date' (#46696)

  • 将 不正确的 AirflowProviderDeprecationWarning 忽略更改为 3.12 测试的 DeprecationWarning 忽略 (#46612)

  • 更新 AWS 认证 管理器使用 Fastapi 代替 Flask (#46381)

  • AIP-72: 将 Secrets Masker 移至 task SDK (#46375)

  • 将 CeleryExecutor 切换到 使用 TaskSDK 执行 (#46265)

  • 使 认证 管理器接口中 所有方法的 参数 'user' 成为 强制项 (#45986)

  • 在 'GlueJobOperator' 中添加 'run_job_kwargs' 作为 模板 字段 (#45973)

  • 为 'OutletEventAccessor' 使用 Protocol (#45762)

  • AIP-72: 支持 SDK 中 Context 字典 的 更好类型提示  (#45583)

  • 移除 可以直接从 'typing_compat' 导入的 类 (#45589)

  • 将 Literal 别名 移至 TYPE_CHECKING 块中 (#45345)

  • 移除 marshmallow 版本 限制；更新 已弃用的 用法 (#45499)

  • 移除 针对 pre-python 3.9 的 过时 pandas 规范 (#45399)

  • 在 认证 管理器接口中 添加 定义 FastAPI api 的 选项 (#45009)

9.2.0

注意

此提供程序版本仅适用于 Airflow 2.9+，如Apache Airflow 提供程序支持策略中所述。

新特性

  • 添加 DMS Serverless Operator (#43988)

  • 为 SFTPToS3Operator 添加 fail_on_file_not_exist 选项 (#44320)

  • 为 'EmrCreateJobFlowOperator' 添加 'wait_policy' 选项 (#44055)

  • 为 'S3CopyObjectOperator' 添加 meta_data_directive (#44160)

其他

  • 移除 对 AIRFLOW_V_2_9_PLUS 的 引用 (#44987)

  • 将 提供程序中的 最低 Airflow 版本 提升至 Airflow 2.9.0 (#44956)

  • 在 提供程序中 检查 Airflow 版本的 统一 方式 (#44686)

  • 移除 S3 asset 导入中 不必要的 兼容性 代码 (#44714)

  • 从 taskinstance 中移除 AIP-44 (#44540)

  • 在 EcsRunTaskOperator 中添加 do_xcom_push 文档 (#44440)

  • 将 Asset 用户可见 组件移至 task_sdk (#43773)

  • 在 Fast API 中设置 JWT token 认证 (#42634)

  • 将 mypy-boto3-appflow 提升并 移除 '# type: ignore[arg-type]' (#44115)

  • 更新 多个 提供程序 文档中的 DAG 示例链接 (#44034)

9.1.0

新特性

  • feat: 为 RedshiftToS3Operator 添加 OpenLineage 支持 (#41632)

  • 添加 'SageMakerProcessingSensor' (#43144)

  • 使 'RedshiftDataOperator'  支持处理 多个 查询 (#42900)

Bug 修复

  • 修复(providers/amazon): 将 is_authorized_dataset 别名为 is_authorized_asset (#43470)

  • 移除 athena hook 的 final 子句中的 返回 语句 (#43426)

  • 修复: 在 EksHook 中将 \s 替换为 空格 (#43849)

  • 修复如果 未传递 s3_bucket 参数，'HttpToS3Operator' 会抛出 异常的 问题 (#43828)

  • 添加 'container_name' 并更新 'awslogs_stream_prefix' 模式 (#43138)

  • 检查 awslogs_stream_prefix 是否已以 container_name 结尾 (#43724)

  • bugfix: openlineage 与 'AthenaOperator' 集成的 description 应为 可选 (#43576)

  • (bugfix): 'EcsRunTaskOperator' 将 'volume_configurations' 与 'capacity_provider_strategy' 解耦 (#43047)

  • GlueJobOperator: 添加 选项以 等待 清理 完成后 再返回 作业 状态 (#43688)

  • 解决 导致 'GlueJobTrigger' 序列化 bug，使 verbose 始终为 True 的 问题 (#43622)

  • 移除 S3ToDynamoDBOperator 的 final 子句中的 返回 语句 (#43456)

其他

  • 移除 sqlalchemy-redshift 依赖项 (#43271)

  • feat(providers/amazon): 在 通用 提供程序中 使用 asset (#43110)

  • 限制 looker-sdk 版本为 24.18.0，microsoft-kiota-http 版本为 1.3.4 (#42954)

  • 限制 mypy-boto3-appflow (#43436)

  • 将 PythonOperator 移至 Standard provider (#42081)

  • 为 DbApiHook, PrestoHook, 和 TrinoHook 添加 分号 去除 支持 (#41916)

  • 移除 cncf.kubernetes provider 中的 弃用项 (#43689)

  • 修复 AthenaTrigger 的 文档 字符串 (#43616)

9.0.0

重大变更

警告

为了支持 RedshiftData operator 中的会话重用，引入了以下重大变更

The database argument is now optional and as a result was moved after the sql argument which is a positional one. Update your DAGs accordingly if they rely on argument order. Applies to

  • RedshiftDataHook’s execute_query method

  • RedshiftDataOperator

RedshiftDataHook 的 execute_query 方法现在返回一个 QueryExecutionOutput 对象，而不仅仅是作为字符串的语句 ID。

RedshiftDataHook 的 parse_statement_resposne 方法已重命名为 parse_statement_response。

S3ToRedshiftOperator 的 schema 参数现在是可选的，并移至位置参数 s3_key 之后。如果您的 DAG 依赖参数顺序，请相应地更新。

警告

所有已弃用的类、参数和功能已从 Amazon provider 包中移除。引入了以下重大更改

  • Hooks

    • 移除 AthenaHook 中的 sleep_time 参数。请改用 poll_query_status

    • 移除 BaseAsyncSessionFactory

    • 移除 AwsBaseAsyncHook

    • 移除 AwsLogsHook.get_log_events 方法中的 start_from_head 参数

    • 移除 QuickSightHook 中的 sts_hook 属性

    • 移除 RedshiftAsyncHook

    • 移除 S3 连接类型。请改用 aws 作为 conn_type，并在 extras 中的 service_config.s3 中指定 bucket_name

    • 移除 SageMakerHook.start_pipeline 方法中的 wait_for_completion、check_interval 和 verbose 参数

    • 移除 SageMakerHook.stop_pipeline 方法中的 wait_for_completion、check_interval 和 verbose 参数

  • Operator

    • 移除 AppflowRunOperator 中的 source 参数

    • 移除 BatchOperator 中的 overrides 参数。请改用 container_overrides

    • 移除 BatchCreateComputeEnvironmentOperator 中的 status_retries 参数

    • 移除 DataSyncOperator 中的 get_hook 方法。请改用 hook 属性

    • 移除 EcsDeregisterTaskDefinitionOperator 中的 wait_for_completion、waiter_delay 和 waiter_max_attempts 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EcsRegisterTaskDefinitionOperator 中的 wait_for_completion、waiter_delay 和 waiter_max_attempts 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EksCreateClusterOperator 中的 eks_hook 属性。请改用 hook 属性

    • 移除 EksPodOperator 中的 pod_context、pod_username 和 is_delete_operator_pod 参数

    • 移除 EmrStartNotebookExecutionOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EmrStopNotebookExecutionOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EmrContainerOperator 中的 max_tries 参数。请改用 max_polling_attempts

    • 移除 EmrCreateJobFlowOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EmrServerlessCreateApplicationOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EmrServerlessStartJobOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EmrServerlessStopApplicationOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 EmrServerlessDeleteApplicationOperator 中的 waiter_countdown 和 waiter_check_interval_seconds 参数。请改用 waiter_max_attempts 和 waiter_delay

    • 移除 GlueDataBrewStartJobOperator 中的 delay 参数。请改用 waiter_delay

    • 移除 RdsBaseOperator 中的 hook_params 参数

    • 移除 SageMakerProcessingOperator 中的 action_if_job_exists 参数的可能值 increment

    • 移除 SageMakerTransformOperator 中的 action_if_job_exists 参数的可能值 increment

    • 移除 SageMakerTrainingOperator 中的 action_if_job_exists 参数的可能值 increment

  • Secrets

    • 移除 SecretsManagerBackend 中 kwargs 参数的可能键 full_url_mode 和 are_secret_values_urlencoded

  • Sensors

    • 移除 BatchSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 DmsTaskBaseSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 EmrBaseSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 GlueCatalogPartitionSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 GlueCrawlerSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 QuickSightSensor 中的 quicksight_hook 属性。请改用 QuickSightSensor.hook

    • 移除 QuickSightSensor 中的 sts_hook 属性

    • 移除 RedshiftClusterSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 S3KeySensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 SageMakerBaseSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 SqsSensor 中的 get_hook 方法。请改用 hook 属性

    • 移除 StepFunctionExecutionSensor 中的 get_hook 方法。请改用 hook 属性

  • 传输

    • 移除 AwsToAwsBaseOperator 中的 aws_conn_id 参数。请改用 source_aws_conn_id

    • 移除 GCSToS3Operator 中的 bucket 和 delimiter 参数。请改用 gcs_bucket 而非 bucket

  • Triggers

    • 移除 BatchOperatorTrigger。请改用 BatchJobTrigger

    • 移除 BatchSensorTrigger。请改用 BatchJobTrigger

    • 移除 EksCreateFargateProfileTrigger 中的 region 参数。请改用 region_name

    • 移除 EksDeleteFargateProfileTrigger 中的 region 参数。请改用 region_name

    • 移除 EmrCreateJobFlowTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 EmrTerminateJobFlowTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 EmrContainerTrigger 中的 poll_interval 参数。请改用 waiter_delay

    • 移除 GlueCrawlerCompleteTrigger 中的 poll_interval 参数。请改用 waiter_delay

    • 移除 GlueDataBrewJobCompleteTrigger 中的 delay 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 RdsDbInstanceTrigger。请改用其他 RDS 触发器，例如 RdsDbDeletedTrigger、RdsDbStoppedTrigger 或 RdsDbAvailableTrigger

    • 移除 RedshiftCreateClusterTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 RedshiftPauseClusterTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 RedshiftCreateClusterSnapshotTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 RedshiftResumeClusterTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 RedshiftDeleteClusterTrigger 中的 poll_interval 和 max_attempts 参数。请改用 waiter_delay 和 waiter_max_attempts

    • 移除 SageMakerTrainingPrintLogTrigger。请改用 SageMakerTrigger

  • Utils

    • 移除 AwsConnectionWrapper 中 extra_config 的可能键 test_endpoint_url。请在 extras 中的 service_config.sts 中设置 endpoint_url

    • 移除 AwsConnectionWrapper 中 conn_type 的可能值 s3。请更新您的连接，将 conn_type 设置为 'aws'

    • 移除连接额外配置中的键 session_kwargs。请直接指定传递给 boto3 session 的参数

    • 移除 AWS 连接中的 host，请改为在 extra['endpoint_url'] 中设置它

    • 移除 AwsHookParams 中的 region 参数。请改用 region_name

  • 移除 Amazon provider 包中的已弃用内容 (#42450)

  • 支持在 'RedshiftDataOperator' 中复用会话 (#42218)

新特性

  • 将 STOPPED 添加到 Sagemaker Training Jobs 的失败情况中 (#42423)

错误修复

  • 'S3DeleteObjects' Operator: 处理作为字符串传递的日期 (#42464)

  • 对 AWS AVP cli 初始化脚本的小修复 (#42479)

  • 通过减少睡眠时间加快 AWS 日志记录 (#42449)

  • 修复 AWS 认证管理器中的注销问题 (#42447)

  • fix(providers/amazon): 处理在 table.get_item 期间 key 丢失后抛出的 ClientError (#42408)

其他

  • 放弃对 core 和 providers 的 python3.8 支持 (#42766)

  • 移除对 airflow 2.8.0 及以上版本中任务上下文日志记录的条件检查 (#42764)

  • 将 dataset 相关的 python 变量名重命名为 asset (#41348)

  • 移除 identity center 认证管理器 cli (#42481)

  • 重构 AWS 认证管理器的用户输出 (#42454)

  • 移除 Amazon provider 中的 'sqlalchemy-redshift' 依赖 (#42830)

  • 撤销 "移除 Amazon provider 中的 'sqlalchemy-redshift' 依赖" (#42864)

8.29.0

新特性

  • 在 ECSRunTaskOperator 中添加对卷配置的支持 (#42087)

  • Openlineage s3 到 redshift operator 集成 (#41575)

错误修复

  • ECSExecutor: 移除与 EC2 不兼容的参数 (#42228)

  • 修复 'GlueDataBrewStartJobOperator' 的模板字段 (#42073)

  • 在 waiters 中验证 aws 服务异常 (#41941)

  • 修复 S3Hook.parse_s3_url() 中对 "#" 的处理 (#41796)

  • fix: 从 S3ToRedshiftOperator 中移除部分 openlineage 提取 (#41631)

  • providers 文件任务处理器中 filename 模板参数的向后兼容性支持 (#41633)

  • fix: 在 RedshiftToS3Operator 中， select_query 应优先于默认查询 (#41634)

其他

  • 实际将 saml 移至 amazon provider (错误地添加到 papermill 中) (#42148)

  • 在 AWS Glue DataBrew Operators/Triggers 中使用基础 aws 类 (#41848)

  • 将 'register_views' 移至认证管理器接口 (#41777)

  • 移除 airflow.models.taskinstance 的已弃用内容 (#41784)

  • 从 providers 中移除已弃用的 soft_fail (#41710)

  • 从 providers 中移除已弃用的 soft_fail 第二部分 (#41727)

  • 限制 watchtower 作为依赖，因为 3.3.0 版本破坏了 moin。 (#41612)

  • 移除已弃用的日志处理器参数 filename_template (#41552)

8.28.0

注意

此版本的 provider 仅适用于 Airflow 2.8+，如 Apache Airflow provider 支持策略 中所述。

警告

在 8.17.0 版本为 RedshiftDataOperator 引入 deferrable 模式时，配置了 deferrable=True 和 wait_for_completion=True 的任务不会进入 deferred 状态。相反，任务会一直占用一个执行器槽，直到语句完成。一个可能的变通方法是将 wait_for_completion 设置为 False。在此版本中，配置了 wait_for_completion=False 的任务将不再等待，无论 deferrable 的值如何。

新特性

  • 在 'DynamoDBToS3Operator' 中添加增量导出和跨账户导出功能 (#41304)

  • AWS Batch submit_job 的 EKS Overrides (#40718)

错误修复

  • 修复 'AwsTaskLogFetcher' 丢失日志的问题 (#41515)

  • 修复 'RdsHook' 中的 Exception 名称并解除依赖固定 (#41256)

  • 修复 RedshiftDataOperator 未按预期在 deferred 模式下运行的问题 (#41206)

其他

  • 对 example_dynamodb_to_s3.py 的部分修复 (#41517)

  • 移除 AWS provider 中的已弃用代码 (#41407)

  • 将 providers 中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)

  • 暂时限制 moto 版本 - 5.0.12 版本破坏了我们的测试 (#41244)

8.27.0

新特性

  • 为 'StepFunctionStartExecutionOperator' 添加 RedriveExecution 支持 (#40976)

  • openlineage: 为 S3Hook 添加 hook 血缘 支持 (#40819)

  • 引入 Amazon Kinesis Analytics V2 (Managed Service for Apache Flink 应用)  (#40765)

Bug 修复

  • 使 EMR Container Trigger 的最大 尝试次数 重试 与 Operator 匹配 (#41008)

  • 修复 'RdsStopDbOperator' operator 在 可延迟模式下 的问题 (#41059)

  • 修复 'RedshiftCreateClusterOperator' 使其 始终 指定 'PubliclyAccessible' (#40872)

  • 修复 Redshift 集群 operator 和 sensor 使用 可延迟模式时 的问题 (#41191)

  • 修复 'EmrServerlessStartJobOperator' 在 可延迟模式下 的问题 (#41103)

其他

  • 更新 'example_redshift' 和 'example_redshift_s3_transfers' 改用 'RedshiftDataHook' 而不是 'RedshiftSQLHook' (#40970)

  • openlineage: 将 OpenLineage provider 迁移到 V2 facets。 (#39530)

  • [AIP-62] 将 AIP-60 URI 转换为 OpenLineage (#40173)

  • 将 AWS Managed Service for Apache Flink sensor 状态 移至 Hook (#40896)

  • 将 任务 上下文 日志记录器 的用法替换为 日志表 (#40867)

  • 弃用 'SageMakerTrainingPrintLogTrigger' (#41158)

8.26.0

注意

降低 S3KeyTrigger Decorator 的内存占用。 provide_bucket_name_async 已移除。异步操作不需要单独的 decorator。旧的已被移除，用户可以将 provide_bucket_name 用于协程函数、异步迭代器和普通同步函数。Hook 方法 get_file_metadata_async 现在是一个异步迭代器。之前，元数据对象累积在一个列表中。现在，对象在分页遍历结果时生成。要获取列表，可以在列表推导式中使用 async for。S3KeyTrigger 在某些情况下避免将所有匹配项加载到内存中。

注意

此版本包含异步 session 的显著资源利用率改进。

功能

  • 不再为 EMR Serverless 动态确定操作链接 (#40627)

  • 能够在 S3 hook 的 copy_object 中移除 ACL (#40518)

  • 功能(aws): 在 S3 sensor 中为 check_fn 提供 上下文 (#40686)

Bug 修复

  • 修复 AthenaOperator 的 OpenLineage 提取 (#40545)

  • 降低 S3 key trigger 的 内存占用 (#40473)

  • 向 ECS trigger 事件添加 集群 以避免 延迟错误 (#40482)

  • 修复 可延迟的 AWS SageMaker operator (#40706)

  • 使 'AwsAuthManager' 仅兼容 Airflow >= 2.9 (#40690)

  • 为 S3 operator 添加 序列化 选项 (#40659)

其他

  • 在 AWS Glue Data Catalog Sensor 中使用 基础 AWS 类 (#40492)

  • 在 AWS Glue Crawlers Operator/Sensor/Trigger 中使用 基础 AWS 类 (#40504)

  • 在 asyncio boto session 之间共享 数据加载器 (#40658)

  • 在 'EcsExecutor' 中将 执行器日志发送到 任务日志 (#40468)

  • 在 'AwsBatchExecutor' 中将 执行器日志发送到 任务日志 (#40698)

8.25.0

功能

  • 添加 Amazon Comprehend 文档分类器 (#40287)

Bug 修复

  • 修复 AWS utils 中 'importlib_metadata' 的导入 (#40134)

  • openlineage, redshift: 对于低于 Airflow 2.10 的 schema 不调用 数据库 (#40197)

  • 在 'RedshiftToS3Operator' 中延迟匹配 转义引号 (#40206)

  • 使用 标准库 'importlib.metadata' 获取 'botocore' 包版本 (#40137)

其他

  • 更新 Python 3.12 对 pandas 的最低要求 (#40272)

8.24.0

功能

  • AWS Batch submit_job 的 ECS 覆盖 (#39903)

  • 添加 传输 operator S3ToDynamoDBOperator (#39654)

  • 添加 Glue 数据质量 规则推荐运行  (#40014)

  • 允许 在 S3KeySensor 的 check_fn 中使用 用户指定的 对象属性 (#39950)

  • 添加 Amazon Glue 数据质量服务 (#39923)

Bug 修复

  • 在 SageMakerTransformOperator 中去除 模型名称重复 (#39956)

  • 修复: 从 templated_fields 中移除 process_func (#39948)

  • 修复 可延迟模式下的 AWS assume role session 创建 (#40051)

其他

  • 解决 ECS fargate 弃用警告 (#39834)

  • 解决 EMR notebook 弃用警告 (#39829)

  • 提升 boto 最低版本 (#40052)

  • 文档: 提及在使用 Batch 'ecs_properties_override' 时， AWS provider 需要 boto3 1.34.52 的最低版本 (#39983)

8.23.0

功能

  • Amazon Bedrock - Retrieve 和 RetrieveAndGenerate (#39500)

  • 引入 Amazon Comprehend 服务 (#39592)

Bug 修复

  • 修复: AthenaExtractor 的 openlineage 数据集名称为空的问题 (#39677)

  • 修复 AWS Batch operator 重试策略的 默认值 (#39608)

  • Sagemaker trigger: 将 作业名称 作为 事件的一部分传递 (#39671)

  • 处理 batch 执行器的 任务领养 (#39590)

  • bugfix: 处理 NeptuneStopDbClusterOperator 中的 无效集群状态 (#38287)

  • 通过确保为 可延迟 trigger 设置 'waiter_max_attempts' 来修复 'EmrOperator' 中的 自动终止问题 (#38658)

其他

  • 解决 EMR 弃用警告 (#39743)

  • 其他: 添加关于移除 未使用代码的注释 (#39748)

8.22.0

功能

  • 'S3DeleteObjectsOperator' 添加了 按上次修改时间过滤 key 的能力 (#39151)

  • Amazon Bedrock - 添加 知识库 和 数据源集成 (#39245)

Bug 修复

  • EcsExcecutor Scheduler 处理 try_number 的递增 (#39336)

  • ECS Executor: 任务活跃后将其状态设为 RUNNING (#39212)

其他

  • 添加 'jmespath' 作为 显式依赖项 (#39350)

  • 移除 'xmlsec' 依赖项 (#39534)

  • 重新应用所有 provider 的模板 (#39554)

  • 更快的 'airflow_version' 导入 (#39552)

  • 增强(amazon_hook): 下载文件时抛出 未找到异常 而不是 通用异常 (#39509)

  • 简化 'airflow_version' 导入 (#39497)

8.21.0

注意

根据 Apache Airflow provider 支持策略 的说明，此 provider 版本仅适用于 Airflow 2.7+。

功能

  • 为 AWS LambdaCreateFunctionOperator 添加 logging_config,snapstart,ephemeral_storage 参数 (#39300)

Bug 修复

  • 修复 GlueJobOperator 中 使用 本地脚本文件时 连续运行失败的 Bug (#38960)

  • 更新 auth manager 中的 'is_authorized_custom_view' 以处理 自定义操作 (#39167)

  • 更新 逻辑以使 AWS Batch Client hook 中的重试生效 (#38998)

  • Amazon Bedrock - 模型吞吐量预置 (#38850)

其他

  • 在 Microsoft Azure provider 中添加 MSGraphOperator (#38111)

  • 将 provider 中的 Airflow 最低版本提升到 Airflow 2.7.0 (#39240)

  • 允许 使用更短的路径导入 AWS 执行器 (#39093)

  • 从 AWS auth manager 中移除 使用它的标志 (#39033)

  • 限制 xmlsec<1.3.14  (#39104)

8.20.0

功能

  • AWS Batch 执行器 (#37618)

  • 为 AWS 执行器添加 备用 'region_name' 值 (#38704)

  • 引入 Amazon Bedrock 服务 (#38602)

  • Amazon Bedrock - 模型自定义作业 (#38693)

  • ECS 执行器 - 添加对领养 孤立任务的支持。 (#37786)

  • 更新 AWS auth manager CLI 命令以不禁用 AVP schema 验证 (#38301)

Bug 修复

  • 减少 's3hook' 内存使用 (#37886)

  • 在 AWS auth manager 中添加检查以验证 Amazon Verified Permissions schema 是否最新 (#38333)

  • 修复: 使用 partial/expand 时 EmrServerlessStartJobOperator 未正确序列化 DAG 的问题。 (#38022)

  • 修复(amazon): 在 trigger 的 while 循环中的 yield 中添加 return 语句 (#38396)

  • 修复在 'MappedOperator' 中设置 已弃用的 Amazon operator 参数 (#38346)

  • 'ECSExecutor' API 重试 Bug 修复 (#38118)

  • 修复基于 'AwsBaseOperator' / 'AwsBaseSensor' 的 'MappedOperator' 中的 'region' 参数 (#38178)

  • 修复 ECS 执行器中一个 任务失败时跳过其他任务的 Bug。 (#37979)

  • 修复 AWS Redshift to S3 operator 的 初始化检查 (#37861)

其他

  • 使方法 'BaseAuthManager.is_authorized_custom_view' 成为 抽象方法 (#37915)

  • 在 AWS auth manager 中将 "Role" 替换为 "Group" (#38078)

  • 避免在 测试之外 使用 'assert' (#37718)

  • 在 获取 Glue 作业日志时使用 'AwsLogsHook' (#38010)

  • 在 AWS auth manager 中实现 'filter_permitted_dag_ids' (#37666)

  • AWS auth manager CLI: 更新时保留 策略存储描述 (#37946)

  • 将 Batch Executor 日志消息中的 f-string 更改为 格式化字符串 (#37929)

8.19.0

功能

  • 在 AWS auth manager 中实现 'filter_permitted_menu_items' (#37627)

  • 在 AWS auth manager 中实现 'batch_is_authorized_*' API (#37430)

Bug 修复

  • 修复 AWS 'eks' 的 初始化检查 (#37674)

  • 修复 AWS gcs_to_s3 的 初始化检查 (#37662)

其他

  • 使用命名日志记录器 而不是 根日志记录器 (#37801)

  • 避免使用 非推荐的 日志记录方式 (#37792)

  • 统一 'aws_conn_id' 类型，使其始终为 'str | None' (#37768)

  • 限制 'pandas' 为 '<2.2' (#37748)

  • 实现 AIP-60 数据集 URI 格式 (#37005)

  • 提升 openapi validators 的最低版本 (#37691)

  • 更新 AWS auth manager 中的 操作名称 (#37572)

8.18.0

功能

  • ECS 执行器 - 对失败任务重试添加 回退策略 (#37109)

  • SqlToS3Operator: 功能/ 添加 max_rows_per_file 参数 (#37055)

  • 添加 Amazon Neptune Hook 和 Operator (#37000)

  • 在 'EmrContainerOperator' 中添加 重试配置 (#37426)

  • 为 AWS auth manager 创建 CLI 命令以创建 AWS Identity Center 相关资源 (#37407)

  • 为 EMR Serverless 添加 额外的 operator 链接 (#34225)

Bug 修复

  • 修复 'log_query' 在 'AthenaOperator' 中正确格式化 SQL 语句的问题 (#36962)

  • 在 延迟 'SageMakerTrainingOperator' 之前检查 SageMaker 训练作业状态 (#36685)

其他

  • 根据 递归 Python 字典更新 合并所有 ECS 执行器配置 (#37137)

  • 更新 'BatchSensor' 的默认值 (#37234)

  • 从 download_file 中移除 信息日志 (#37211)

  • S3ToRedshiftOperator 的 aws_conn_id 模板化 (#37195)

  • 更新 ECS 文档 (#37125)

  • 功能: 将所有 类、函数、方法的 弃用标记切换到 decorator (#36876)

  • 替换 provider 中 'datetime.utcnow' 和 'datetime.utcfromtimestamp' 的用法 (#37138)

  • 为 Amazon provider "execute_coplete" 方法添加 类型注解 (#36330)

8.17.0

功能

  • 为 RedshiftDataOperator 添加 可延迟模式 (#36586)

  • 为 ECS 执行器添加 容量提供程序支持 (#36722)

  • 为 'S3KeySensor' 添加 use_regex 参数以允许使用 正则表达式检查 S3 key (#36578)

  • 为 RedshiftClusterSensor 添加 可延迟模式 (#36550)

  • AthenaSqlHook 实现 (#36171)

  • 为 AWS auth manager 创建 CLI 命令以创建 Amazon Verified Permissions 相关资源 (#36799)

  • 在 AWS auth manager 中实现 'is_authorized_dag' (#36619)

Bug 修复

  • 修复 provider 中 warnings.warn 的 stacklevel (#36831)

  • EC2 'CreateInstance': 在 on_kill 中终止 实例 (#36828)

  • 如果未设置 '[aws] cloudwatch_task_handler_json_serializer' ，则回退到 默认值 (#36851)

  • AWS auth manager: 对于 AVP 命令抛出 AirflowOptionalProviderfeature 异常 (#36824)

  • 在 延迟 SageMakerTransformOperator 之前检查 transform 作业状态 (#36680)

  • 在 延迟 SageMaker processing 作业之前检查 job_status (#36658)

  • 在 BatchOperator 在 可延迟模式下执行之前检查 job_status (#36523)

  • 更新 redshift 主机名检查以避免 潜在 Bug (#36703)

  • 在 'AwsEcsExecutor' 中刷新 凭据 (#36179)

其他

  • 修复 'S3ListOperator' 中 apply_wildcard 参数的 docstring。更改 docstring 顺序以修复问题。 (#36679)

  • 在 AWS DMS Operators/Sensors 中使用基础 aws 类 (#36772)

  • 在 AWS Redshift Data API Operators 中使用基础 aws 类 (#36764)

  • 在 Amazon EventBridge Operators 中使用基础 aws 类 (#36765)

  • 在 Amazon QuickSight Operators/Sensors 中使用基础 aws 类 (#36776)

  • 在 AWS Datasync Operators 中使用基础 aws 类 (#36766)

  • 在 Amazon DynamoDB Sensors 中使用基础 aws 类 (#36770)

  • 在 AWS CloudFormation Operators/Sensors 中使用基础 aws 类 (#36771)

  • 将所有 providers 和 airflow 的最低 pandas 依赖设置为 1.2.5 (#36698)

  • 提升 amazon-provider 相关依赖的最低版本 (#36660)

8.16.0

特性

  • 添加 AWS Step Functions 链接 (#36599)

  • 为 Redshift SQL 添加 OpenLineage 支持 (#35794)

Bug 修复

  • 修复 'AwsToAwsBaseOperator' 中 '__init__' 中模板字段的赋值问题 (#36604)

  • 修复 'DataSyncOperator' 中 '__init__' 中模板字段的赋值问题 (#36605)

  • 在延迟到 triggerer 之前检查 Redshift 集群状态 (#36416)

其他

  • 在 Amazon SQS Operators/Sensors/Triggers 中使用基础 aws 类 (#36613)

  • 在 Amazon SNS Operators 中使用基础 aws 类 (#36615)

  • 在 AWS Step Functions Operators/Sensors/Triggers 中使用基础 aws 类 (#36468)

8.15.0

特性

  • 添加 Amazon Athena 查询结果额外链接 (#36447)

Bug 修复

  • fix(providers/amazon): 移除 EmrContainerOperator.execute_complete 中的 event['message'] 调用 | 因为键 message 已不存在 (#36417)

  • 在 S3Hook.is_keys_unchanged_async 中处理 tzinfo (#36363)

其他

  • 在 Amazon ECS Operators/Sensors/Triggers 中使用基础 aws 类 (#36393)

8.14.0

特性

  • 为 'SqsSensor' 添加 'jsonpath_ng.ext.parse' 支持 (#36170)

  • 将 ConflictException 重试次数增加到总共 4 次 (#36337)

  • 增加 trigger.html 中 execution_date 输入字段的宽度 (#36278) (#36304)

  • 允许传递存储选项 (#35820)

Bug 修复

  • 从 auth manager 中移除 'is_authorized_cluster_activity' (#36175)

  • 在子类中遵循 BaseHook connection fields 方法签名 (#36086)

其他

  • 通过 Ruff 在 docstrings 中添加代码片段格式化 (#36262)

  • 从 Amazon Provider 中移除剩余的 Airflow 2.6 后向兼容代码 (#36324)

8.13.0

注意

此 provider 版本仅适用于 Airflow 2.6+，具体请参阅 Apache Airflow provider 支持策略中的说明。

特性

  • 支持 Redshift serverless 的 IAM 认证 (#35897)

  • 在 AWS auth manager 中实现 'is_authorized_variable' (#35804)

  • 增强 'DynamoDBValueSensor' 中的 'attribute_value' 以接受列表 (#35831)

Bug 修复

  • 修复 'RedshiftToS3Operator' 中单引号的处理问题 (#35986)

  • 修复 Redshift Serverless 中 get_iam_token 的 bug (#36001)

  • 修复 'AthenaHook.get_output_location' 中 try 块外面的 reraise 问题 (#36008)

  • 修复 EKS trigger 中访问 hooks 的 bug (#35989)

  • 修复 'GlacierToGCSOperator' 中使用的方法名 bug (#35978)

  • 修复 EC2Hook get_instance for client_type api 问题 (#35960)

  • 避免在 EmrServerlessCancelJobsTrigger 初始化时创建 hook (#35992)

  • 在将 'EmrContainerTrigger' 迁移到 'AwsBaseWaiterTrigger' 后，停止从 event 中获取 message (#35892)

  • 修复 'EksCreateClusterOperator' 的 deferrable 模式问题 (#36079)

其他

  • 将 providers 中的最低 Airflow 版本提升到 Airflow 2.6.0 (#36017)

  • 更新 'boto3' 和 'botocore' 版本说明 (#36073)

  • 改进 only_client_type decorator 的类型提示 (#35997)

  • 重构 EmrContainerHook 中的一些方法 (#35999)

  • 重构 AthenaHook 中的 get_output_location (#35996)

  • 将 RDS hook 移至 RDS trigger 中的 cached property (#35990)

  • 在 AzureBlobStorageToS3Operator 中将默认空字典值替换为 None (#35977)

  • 更新 'set_context' 签名以匹配父类签名，并停止在 CloudwatchTaskHandler 中设置实例属性 (#35975)

  • 在 AWS S3 FS 中使用 S3 hook 代替 AwsGenericHook (#35973)

  • AWS auth manager: 实现所有 'is_authorized_*' 方法 (但排除 'is_authorized_dag') (#35928)

  • 在 S3Hook 中移除设置一个不存在的对象参数，并改用局部变量 (#35950)

8.12.0

特性

  • 添加 'EC2HibernateInstanceOperator' 和 'EC2RebootInstanceOperator' (#35790)

  • 为 'S3FileTransformOperator' 添加 OpenLineage 支持 (#35819)

  • 为 S3Operators - Copy, Delete and Create Object 添加 OpenLineage 支持 (#35796)

  • 在 Amazon AWS provider Batch Operator 中添加 retry strategy 参数，以允许动态 Batch 重试策略 (#35789)

  • 在 EmrServerlessStartJobOperator 的 template_fields 中添加 name 字段 (#35648)

  • openlineage, aws: 为 AthenaOperator 添加 OpenLineage 支持。 (#35090)

  • 在 AWS auth manager 中实现 login 和 logout (#35488)

Bug 修复

  • 修复 Batch operator 的 retry_strategy 问题 (#35808)

  • 修复并重新应用 provider 文档模板 (#35686)

  • 使 EksPodOperator 的 exec config 不依赖于 log level (#35771)

  • 修复 'EmrServerlessStartJobOperator' 中的 'configuration_overrides' 参数问题 (#35787)

其他

  • 更新 docstring: 'check_key_async' 现在与 '_check_key_async' 的描述一致 (#35799)

  • 检查父类属性而非自身属性 (关于 TaskContextLogger set_context) (#35780)

  • 允许更宽范围的 watchtower 版本 (#35713)

  • 扩展任务上下文日志记录支持，以便使用 AWS S3 进行远程日志记录 (#32950)

  • 如果任务在 ECS Executor 中失败，记录容器的失败原因 (#35496)

8.11.0

破坏性变更

特性

  • 添加对 objectstorage 访问 s3 bucket 匿名访问的支持 (#35273)

  • ECS Executor 健康检查 (#35412)

Bug 修复

  • 修复 AWS RDS hook 的 DB instance 状态检查问题 (#34773)

  • 修复 Amazon docstrings 中的参数语法问题 (#35349)

  • 改进 AWS 链接中的错误处理 (#35518)

  • 使用 catchall except 更新 ECS executor healthcheck (#35512)

其他

  • 将 ECS Executor 移至单独的文件 (#35418)

  • 澄清 ECS Executor 日志消息中的 "task" (#35304)

  • 使 'AthenaOperator' 中的 'output_location' 属性成为可选 (#35265)

8.10.0

注意

此版本引入了实验性特性：AWS ECS Executor。

特性

  • 添加 AWS ECS Executor (#34381)

  • AIP-58: 添加 Airflow ObjectStore (AFS) (#34729)

  • 添加 Http to s3 operator (#35176)

Bug 修复

  • 在 S3 download_files() hook 中启用加密。 (#35037)

其他

  • 在 Amazon AppFlow Operators 中使用基础 aws 类 (#35082)

  • 在 Amazon Athena Operators/Sensors/Triggers 中使用基础 aws 类 (#35133)

  • 在 Amazon Lambda Operators/Sensors 中使用基础 aws 类 (#34890)

  • 在 Amazon S3 Glacier Operators/Sensors 中使用基础 aws 类 (#35108)

  • 在 'AthenaOperator' 中暴露 catalog 参数 (#35103)

8.9.0

特性

  • 添加 Glue 'DataBrew' operator (#34807)

  • 将 'check_interval' 和 'max_attempts' 作为 'DynamoDBToS3Operator' 的参数 (#34972)

Bug 修复

  • 将 'EcsRunTaskOperator' 的默认 waiter duration 设置为 70 天 (#34928)

8.8.0

注意

此 provider 版本仅适用于 Airflow 2.5+，具体请参阅 Apache Airflow provider 支持策略中的说明。

特性

  • 实现 'AwsBaseOperator' 和 'AwsBaseSensor' (#34784)

  • 将 hooks 参数扩展到 'AwsBaseWaiterTrigger' (#34884)

  • 允许在 AWS Connection 中按服务设置 'endpoint_url' (#34593)

  • 将 AWS Lambda 执行日志包含到任务日志中 (#34692)

Bug 修复

  • fix(providers/amazon): 在抛出异常时遵循 soft_fail 参数 (#34134)

  • 如果找不到日志，不使 operator 失败 (#34570)

  • 运行 'BatchSensors' 时遵循 'soft_fail' 参数 (#34592)

  • 运行 'SqsSensor' 时遵循 'soft_fail' 参数 (#34569)

  • 运行 'EcsBaseSensor' 时遵循 'soft_fail' 参数 (#34596)

  • 运行 'SageMakerBaseSensor' 时遵循 'soft_fail' 参数 (#34565)

  • 在 'S3KeysUnchangedSensor' 和 'S3KeySensor' 中遵循 'soft_fail' 参数 (#34550)

  • 在 'LambdaFunctionStateSensor' 中遵循 'soft_fail' 参数 (#34551)

  • 在 'AthenaSensor' 中遵循 'soft_fail' 参数 (#34553)

  • 在 'QuickSightSensor' 中遵循 'soft_fail' 参数 (#34555)

  • 在 'GlacierJobOperationSensor' 中遵循 'soft_fail' 参数 (#34557)

  • 在 'GlueJobSensor', 'GlueCatalogPartitionSensor' 和 'GlueCrawlerSensor' 中遵循 'soft_fail' 参数 (#34559)

  • 在 'StepFunctionExecutionSensor' 中遵循 'soft_fail' 参数 (#34560)

其他

  • 重构 providers 中 consolidate import from io (#34378)

  • 将 watchtower 升级到 3.0.1 (#25019) (#34747)

  • 提升 providers 的最低 Airflow 版本 (#34728)

  • 重构: consolidate import time in providers (#34402)

  • 重构 providers 中 str() 的使用 (#34320)

  • 重构 import from collections (#34406)

  • 澄清 Amazon Lambda 调用和 sensing (#34653)

  • 重构 providers 中将多个 equals 替换为 contains (#34441)

  • 在 'GCSToS3Operator' 中将 'bucket' 重命名为 'gcs_bucket' (#33031)

  • 移除 Amazon Provider 中重复的 'asgiref' 依赖 (#34580)

  • 更新 'BatchOperator' 的 operator_extra_links 属性 (#34506)

  • sagemaker.py 拼写错误修复 (#34445)

  • 在 providers 中使用 'airflow.exceptions.AirflowException' (#34511)

  • 在 Amazon provider 的 deprecated decorator 中使用 'AirflowProviderDeprecationWarning' (#34488)

  • 在 EMR Operators 中使用 'AirflowProviderDeprecationWarning' (#34453)

  • 在 DataSyncOperator 中弃用 get_hook ，并改用 hook (#34427)

  • 重构 providers 中更短的默认值 (#34347)

8.7.1

Bug 修复

  • Bug 修复: 修复 RDS triggers 参数，使其能处理 serialization/deserialization (#34222)

  • 在 EmrAddStepsOperator deferred 模式中使用基于 AwsBaseWaiterTrigger 的 trigger (#34216)

其他

  • 重构: 在 providers 中积极思考 (#34279)

  • 从 'EksPodOperator' 的 docstring 中移除未使用的参数 'cluster_role_arn' (#34300)

  • 修正 'S3CreateObjectOperator' 的 docstring 中的参数名称 (#34263)

  • 重构: 简化比较 (#34181)

  • 简化为  bool(...) (#34258)

8.7.0

警告

版本 8.0.0 中引入的一个 bug 导致所有 EcsRunTaskOperator 任务在 10 分钟后从 ECS task 分离并失败，即使 ECS task 仍在运行。在此版本中，我们通过将默认的 waiter_max_attempts 值恢复为 sys.maxsize 来修复此问题。

特性

  • 添加 Amazon SQS Notifier (#33962)

  • 添加 Amazon SNS Notifier (#33828)

Bug 修复

  • 增加 'EcsRunTaskOperator' 中 'waiter_max_attempts' 的默认值 (#33712)

  • 修复 AWS 'EmrStepSensor' 在 延迟 模式 下 忽略 指定的 'aws_conn_id'  (#33952)

  • 修复 AppflowHook 中的 类型 标注 (#33881)

  • 使 Amazon Chime 连接 延迟 加载 并 与 文档 保持 一致 (#34000)

  • 在 可 延迟 模式 下 运行 BatchSensor 时 遵循 "soft_fail" 参数 (#33405)

杂项

  • 重构: 合并 random 的 导入 和 使用 (#34108)

  • 合并 os.path.* 的 导入 (#34060)

  • 重构 providers 中的 regex (#33898)

  • 重构: 简化 aws/triggers/batch.py 中的 循环 (#34052)

  • 合并 providers 中 类似 的 if 逻辑 (#33987)

  • 在 测试 中 将 单引号 替换 为 双引号 (#33864)

  • 从 providers 中 移除 无用的 字符串 连接 (#33968)

  • 使 'aws.session_factory' 成为 Amazon provider 配置 文档 的 一部分 (#33960)

  • 重构 providers 中 不必要的  跳转 (#33833)

  • 在 providers 中 将 try - except pass 替换 为 contextlib.suppress (#33980)

  • 从 providers 代码 中 移除 一些 无用的 try/except (#33967)

  • 重构: 在 providers 中 将 lambdas 替换 为 comprehensions (#33771)

  • 在 Airflow providers 中 将 序列 拼接 替换 为 解包 (#33933)

  • 重组 airflow 的 setup.py 中的 devel_only 额外项 (#33907)

  • 从 Airflow providers 包 和 测试 中 移除 显式的 字符串 连接 (#33860)

  • 改进 AWS provider 中的 模块 导入， 通过 将 其中 一些 移动 到 类型 检查 块 中 (#33780)

  • 始终 使用 来自 'typing_extensions' 的 'Literal' (#33794)

  • 在 providers 中 使用 字面量 字典 而不是 调用 dict() (#33761)

  • 在 providers 中 移除 不必要的 并 使用 list 重写 (#33763)

8.6.0

特性

  • 添加了 Amazon SageMaker Notebook hook 和 operators (#33219)

  • 向 'LambdaCreateFunctionOperator' 添加 'deferrable' 选项 (#33327)

  • 向 GlueCatalogPartitionSensor 添加 可 延迟 模式 (#33239)

  • 向 'S3ToSqlOperator' 添加 'sql_hook_params' 参数 (#33427)

  • 向 'SqlToS3Operator' 添加 'sql_hook_params' 参数 (#33425)

  • 添加 用于 传递 role ARN 的 参数 到 'GlueJobOperator ' (#33408)

  • 添加 新的 RdsStartExportTaskOperator 参数 (#33251)

Bug 修复

  • 修复 在 使用 AWS CloudWatch 时 任务 日志 中的 bug。 不要 设置 'start_time' (#33673)

  • 修复 AWS Batch waiter 的 失败 状态 (#33656)

  • 修复 AWS appflow waiter (#33613)

  • 修复 在 'SageMakerEndpointOperator' 中 回退 到 更新 时 剥离 标签 的 问题 (#33487)

杂项

  • 在 providers/amazon 中 简化 关于 len() 的 条件 (#33565)

  • 移除 EcsRunTaskOperator 中 非 公开 接口 的 使用 (#29447)

  • 升级 botocore/aiobotocore 的 最低 要求 (#33649)

  • 合并 itertools 的 导入 和 使用 (#33479)

  • 合并 pandas 的 导入 和 使用 (#33480)

  • 在 'EcsRunTaskOperator' 中 总是 将 ECS 任务 ARN 推送 到 xcom (#33703)

  • 对于 waiters， 使用 链接 到 资源 元数据 的 'boto3.client' 而不是 创建 新的 (#33552)

8.5.1

Bug 修复

  • 在 EMR 作业 失败 时 获取 失败 信息 (#32151)

  • 修复 AWS logs hook 中的 get_log_events() 方法 (#33290)

杂项

  • 改进 从 AWS 获取 日志 (#33231)

  • 重构: 简化 providers/amazon 中的 代码 (#33222)

  • 实现 EventBridge 启用 和 禁用 规则 的 operators (#33226)

  • 更新 mypy-boto3-appflow 依赖项 (#32930)

  • 在 'RdsBaseOperator' 中 使用 来自 functools 的 'cached_property' (#33133)

  • 对 'EcsDeregisterTaskDefinitionOperator' 的 'template_fields' 使用 set (#33129)

8.5.0

特性

  • openlineage, sagemaker: 添加 对于 SageMaker 的 Processing, Transform 和 Training operators 的 OpenLineage 支持 (#31816)

  • 添加 Amazon EventBridge PutRule hook 和 operator (#32869)

  • 向 GCSToS3Operator 添加 GCS Requester Pays 存储桶 支持 (#32760)

Bug 修复

  • 在 GCSToS3Operator 中 提供 match_glob 参数 之前 检查 google provider 版本 (#32925)

  • 为 延迟 的 BatchJobOperator 设置 更 长 的 默认 'waiter_max_attempts' (#33045)

杂项

  • openlineage, sagemaker: 添加 缺失 的 OpenLineage 类型 签名 (#33114)

  • 为 mypy 添加 S3Bucket (#33028)

8.4.0

特性

  • 在 test_connection 中 添加 endpoint_url (#32664)

  • 添加 对 查询 Redshift Serverless 集群 的 支持 (#32785)

  • 向 StepFunctionStartExecutionOperator 添加 可 延迟 模式 (#32563)

  • 为 EMR Serverless Start Job Operator 添加 可 延迟 模式 (#32534)

  • 添加 Eventbridge PutEvents operator 和 hook (#32498)

  • 向 rds 启动 和 停止 DB 添加 可 延迟 模式 (#32437)

  • EMR serverless Create/Start/Stop/Delete Application 的 可 延迟 模式 (#32513)

  • 使 Start and Stop SageMaker Pipelines operators 可 延迟 (#32683)

  • EKS Create/Delete Operator 的 可 延迟 模式 (#32355)

Bug 修复

  • 修复 在 使用 'assume_role' 时 通过 使用 AioCredentials 的 AWS 可 延迟 operators (#32733)

  • [bugfix] 修复 如果 未 指定 区域 则 反序列化 会 崩溃 的 AWS triggers (#32729)

  • 修复 prune_dict 中的 bug， 即使 在 严格 模式 下 空 字典 和 列表 也 会 被 移除 (#32573)

  • 修复 S3ToRedshiftOperator 在 UPSERT 时 不 支持 默认值 的 问题 (#32558)

  • 在 达到 最大 尝试 次数 后， AWS ECS trigger 不 返回 成功 (#32589)

杂项

  • 将 所有 k8S 类 移动 到 cncf.kubernetes provider (#32767)

  • 将 Appflow mypy 限制 到 1.28.12， 因为它 引入了 奇怪 的 类型 问题 (#32901)

  • 进一步 限制 mypy-boto3-appflow， 因为 修复 尚 无 迹象 (#32927)

8.3.1

Bug 修复

  • 如果 存在， 将 区域 信息 附加 到 S3ToRedshitOperator (#32328)

8.3.0

特性

  • 添加 'ChimeWebhookHook' (#31939)

  • 添加 'ChimeNotifier' (#32222)

  • 向 S3KeysUnchangedSensor 添加 可 延迟 模式 (#31940)

  • 向 'RdsCreateDbInstanceOperator' 和 'RdsDeleteDbInstanceOperator' 添加 可 延迟 模式 (#32171)

  • 为 'AthenaOperator' 添加 可 延迟 模式 (#32186)

  • 向 'BatchCreateComputeEnvironmentOperator' 添加 可 延迟 模式 (#32036)

  • 在 EMR operator 和 sensor 中 添加 可 延迟 模式 (#32029)

  • 向 "with logging" 的 aws utils 添加 异步 等待 方法 (#32055)

  • 向 EMR Serverless 添加 自定义 waiters  (#30463)

  • 向 'GlueJobOperator' 添加 一个 选项， 以便 在 TI 被 终止 时 停止 作业 运行 (#32155)

  • 'SageMakerTuningOperator' 和 'SageMakerEndpointOperator' 的 可 延迟 模式 (#32112)

  • EKS Create/Delete Nodegroup 的 可 延迟 模式 (#32165)

  • ECS operators 的 可 延迟 模式 (#31881)

  • 特性: AWS - GlueJobOperator - job_poll_interval (#32147)

  • 添加了 'AzureBlobStorageToS3Operator' 传输 operator (#32270)

  • 为 aws triggers 引入 基类 (#32274)

Bug 修复

  • bug 修复: 在 ECS operator 中 分解 run+wait 方法 (#32104)

  • 在 解析 无效 的 's3_url' 时 处理 'UnboundLocalError' (#32120)

  • 修复 'LambdaInvokeFunctionOperator' 的 payload 参数 类型 (#32259)

  • GCSToS3Operator 的 Bug 修复: 当 'replace=False' 且 文件 已 存在 于 S3 中 时， 避免 'ValueError' (#32322)

杂项

  • 弃用 GCS 中的 'delimiter' 参数 和 源 对象 的 通配符， 引入 新的 'match_glob' 参数。 (#31261)

  • aws waiter 工具 类: 在 waiter 错误 时 使用 error 级别 记录 状态 信息 (#32247)

  • 重写 在 ecs 中 使用 的 方法， 以 获取 更 少 的 日志 (#31786)

  • 重构 Eks Create Cluster Operator 代码 (#31960)

  • 在 'AthenaHook' 中 使用 waiter (#31942)

  • 向 'KubernetesPodOperator' 添加 'on_finish_action' (#30718)

  • 添加 default_deferrable 配置 (#31712)

  • 弃用 向 RDS hook 传递 任意 参数 (#32352)

  • 对 RDS operator 的 快速 修复， 以 防止 参数 冲突 (#32436)

  • 移除 在 AWS RDS trigger 中 指定 任意 hook 参数 的 能力 (#32386)

  • 仅当 存在 于 config dict 中 时 才 更新 crawler 标签 (#32331)

8.2.0

注意

此版本放弃了对 Python 3.7 的 支持

特性

  • 向 EmrTerminateJobFlowOperator 添加 可 延迟 选项 (#31646)

  • 向 EmrCreateJobFlowOperator 添加 可 延迟 选项 (#31641)

  • 向 'BatchSensor' 添加 可 延迟 模式  (#30279)

  • 为 S3KeySensor 添加 可 延迟 模式 (#31018)

  • 向 Emr Add Steps operator 添加 可 延迟 模式 (#30928)

  • 在 Redshift delete cluster 中 添加 可 延迟 模式 (#30244)

  • 向 AWS glue operators (Job & Crawl) 添加 可 延迟 模式 (#30948)

  • 在 BatchOperator 中 添加 deferrable 参数 (#30865)

  • 向 RedshiftCreateClusterSnapshotOperator 添加 可 延迟 模式 (#30856)

  • EksCreateFargateProfileOperator 和 EksDeleteFargateProfileOperator 的 可 延迟 模式 (#31657)

  • 允许 匿名 AWS 访问 (#31659)

  • 在 S3ListOperator 和 S3ToGCSOperator 中 支持 通配符 (#31640)

  • 在 'EmrContainerSensor' 中 添加 'deferrable' 参数 (#30945)

  • 为 BatchOperator 添加 实时 容器 执行 日志 (#31837)

Bug 修复

  • 对 ECS run task operator 的 各种 修复 (#31838)

  • 修复 glue operators 在 可 延迟 模式 下的 返回值 (#31694)

  • 添加 回 缺失 的 AsyncIterator 导入 (#31710)

  • 在 ecs 中 使用 continuation token 获取 日志 (#31824)

  • 在 while 循环 中 获取 状态， 以免 过早 退出 (#31804)

  • [AWS hook] 在 回退 时 使用 提供 的 client 获取 官方 waiter (#31748)

  • 处理 emr 的 'describe_cluster' API 响应 中 缺失 的 LogUri (#31482)

杂项

  • 添加 Python 3.11 支持 (#27264)

  • 向 EmrServerlessStartJobOperator 添加了 配置 模板 字段 (#31746)

  • 在 Amazon Redshift 连接 中 添加 对 host 的 空值 检查 (#31567)

  • 将 workgroup 添加 到 templated fields (#31574)

  • 为 _read_remote_logs 添加 docstring 和 signature (#31623)

  • 弃用 来自 'EcsRegisterTaskDefinitionOperator' 和 'EcsDeregisterTaskDefinitionOperator' 的 'wait_for_completion' (#31884)

  • 移除 Python 3.7 支持 (#30963)

  • 更改 RedshiftResumeClusterOperator 的 Deferrable 实现， 以 遵循 标准 (#30864)

  • 更改 RedshiftPauseClusterOperator 的 Deferrable 实现， 以 遵循 标准 (#30853)

8.1.0

注意

此 provider 版本 仅 适用 于 Airflow 2.4+， 如 在 Apache Airflow providers 支持 策略 中所述。

特性

  • DynamoDBToS3Operator - 添加 一个 特性 以 将 表 导出 到 某个 时间 点。 (#31142)

  • 在 SageMakerTransformOperator 中 添加 deferrable 参数 (#31063)

  • 在 SageMakerTrainingOperator 中 添加 deferrable 参数 (#31042)

  • 在 SageMakerProcessingOperator 中 添加 deferrable 参数 (#31062)

  • 通过 AWS Connection 向 Amazon Redshift Connection 添加 IAM 身份 验证 (#28187)

  • 'StepFunctionStartExecutionOperator': 在 失败 时 获取 日志 (#31072)

  • 向 EMR Serverless Job Operator 添加 on_kill (#31169)

  • 为 EC2StateSensor 添加 可 延迟 模式 (#31130)

Bug 修复

  • bug 修复: EMRHook  遍历 分页 响应 检查 cluster id 是否 存在 (#29732)

杂项

  • 提升 providers 中 最低 Airflow 版本 (#30917)

  • 向 S3ToRedshiftOperator 添加 模板 字段 (#30781)

  • 向 一些 其他 的 EMR Operators 和 Sensors 添加 额外 链接 (#31032)

  • 向 S3 delete_bucket 添加 重试 (#31192)

  • 在 RedshiftCreateClusterSnapshotOperator 中 添加 tags 参数 (#31006)

  • 改进/修复 glue 作业 日志 打印 (#30886)

  • 仅当 deferrable 为 true 时 才 导入 aiobotocore (#31094)

  • 更新 'S3Hook' 上 'get_key' 方法 的 返回 类型 (#30923)

  • 在 BatchOperator 中 支持 'shareIdentifier' (#30829)

  • BaseAWS - 当 resource_type 为 user 时 覆盖 client， 以 获取 自定义 waiters (#30897)

  • 添加 未来 兼容 的 mongo Hook 类型 标注 (#31289)

  • 当 使用 resource_type 获取 自定义 waiters 时 处理 临时 凭据 (#31333)

8.0.0

破坏性更改

警告

在此 provider 版本 中， 已 从 以下 operators: GCSToS3Operator, GlacierToGCSOperator 和 GoogleApiToS3Operator 中 移除 弃用 的 GCS hook 参数 delegate_to。可以 改为 利用 impersonation_chain 参数 实现 模拟。

已 从 GCSToS3Operator 中 移除 弃用 参数 google_cloud_storage_conn_id， 应该 改为 使用 gcp_conn_id。

已 从 Athena & EMR hook & operators 中 移除 弃用 参数 max_tries， 改用 max_polling_attempts。

移除了 emr hook 中已弃用的 waiter 方法，转而使用更通用的 airflow.providers.amazon.aws.utils.waiter.waiter

移除了 Redshift Cluster hook 方法 get_cluster_snapshot_status 中已弃用的未使用参数 cluster_identifier

移除了 Sagemaker hook 中已弃用的 find_processing_job_by_name 方法，请改用 count_processing_jobs_by_name

移除了已弃用的模块 airflow.providers.amazon.aws.operators.aws_lambda，转而使用 airflow.providers.amazon.aws.operators.lambda_function

移除了 EcsOperator，转而使用 EcsRunTaskOperator。EcsTaskLogFetcher 和 EcsProtocol 应从 hook 中导入。

移除了 AwsLambdaInvokeFunctionOperator，转而使用 LambdaInvokeFunctionOperator。

移除了 RedshiftDataOperator 中已弃用的参数 await_result，转而使用 wait_for_completion。该 operator 的某些方法应从 hook 中导入。

移除了已弃用的 RedshiftSQLOperator，转而使用更通用的 SQLExecuteQueryOperator。原先作为 redshift_conn_id 传递的参数需要改为 conn_id，其行为应保持不变。

移除了 secrets manager 中已弃用的 get_conn_uri 方法，转而使用 get_conn_value。同时移除了 systems manager 中已弃用的 get_conn_uri 方法。应改用 deserialize_connection(...).get_uri()。

移除了 ImapAttachmentToS3Operator、MongoToS3Operator 和 S3ToSFTPOperator 中已弃用且未使用的参数 s3_conn_id。

  • 移除 GCP operator 和 hook 中的 delegate_to (#30748)

  • 移除 Amazon provider 中的 已弃用代码 (#30755)

新增特性

  • 为 emr serverless 添加一个 stop operator (#30720)

  • SqlToS3Operator - 添加 分区 SQL 表功能 (#30460)

  • 新的 AWS sensor — DynamoDBValueSensor (#28338)

  • 为 emr serverless 的 stop/delete operator 添加“force”选项 (#30757)

  • 在 AMPP 中添加对 可延迟 operator 的支持 (#30032)

Bug 修复

  • 修复了 日志记录问题 (#30703)

  • DynamoDBHook - waiter_path() 考虑 'resource_type' 或 'client_type' (#30595)

  • 在 EcsRunTaskOperator 中添加覆盖 waiter 延迟的功能 (#30586)

  • 在 AWS Batch Operator 中添加对 多节点作业 的支持 (#29522)

  • AWS 日志。当 AWS Cloudwatch logs 返回 3 个连续响应时快速退出 (#30756)

  • 修复 async conn 对 none aws_session_token 的问题 (#30868)

其他

  • 从 EmrStepSensor 中移除 @poke_mode_only (#30774)

  • 组织 Amazon providers 文档索引 (#30541)

  • 移除 EksPodOperator 中重复的参数 docstring (#30634)

  • 更新 AWS EMR Cluster 链接以使用新仪表盘 (#30844)

  • 恢复 aiobotocore 作为 amazon provider 的可选依赖项 (#30874)

7.4.1

Bug 修复

  • 修复 'RedshiftResumeClusterOperator' 的可延迟实现 (#30370)

其他

  • 向 quicksight 错误消息添加更多信息 (#30466)

  • 为 s3 bucket 添加 模板字段 (#30472)

  • 在 SFTP to S3 operator 中将 s3_bucket 添加到模板字段 (#30444)

7.4.0

新增特性

  • 为 'RedshiftResumeClusterOperator' 添加 可延迟模式 (#30090)

  • 添加 'AwsToAwsBaseOperator' (#30044)

  • 在 RedshiftPauseClusterOperator 中添加 可延迟模式 (#28850)

  • 为 DynamoDB 添加支持使用不同的 AWS 连接 (#29452)

  • 添加 'EC2CreateInstanceOperator', 'EC2TerminateInstanceOperator' (#29548)

  • 使 GlueJobOperator 中的更新配置行为可选 (#30162)

  • 带有 动态值的 自定义 waiters，应用于 appflow (#29911)

  • 使用远程日志记录时支持删除本地日志文件 (#29772)

其他

  • 将字符串枚举类移动到 utils 模块 + 添加测试 (#29906)

  • 将 cncf provider 文件名与 AIP-21 对齐 (#29905)

  • 重写 appflow hook 的轮询代码 (#28869)

7.3.0

新增特性

  • 向 Redshift Data API hook 添加受影响的行数 (#29797)

  • 在 'RedshiftCreateClusterOperator' 中添加 'wait_for_completion' 参数 (#29657)

  • 将 Amazon Redshift-data 添加到 S3<>RS 传输 Operator (#27947)

  • 允许使用 *_lookup_pattern 参数指定后端查找哪个连接、变量或配置 (#29580)

  • 为 AWS hook 的 AssumeRoleWithWebIdentity 实现文件凭证 provider (#29623)

  • 为某些 EMR operator 实现自定义 boto waiters (#29822)

Bug 修复

  • 修复 sagemaker 中检查作业名称的代码 (#29245)

  • 如果正在流式传输日志，则避免为 S3TaskHandler 发出回退消息 (#29708)

  • 在 ECS Operator 中使用 waiters 代替内部 sensor (#29761)

其他

  • RedshiftDataOperator 改进：更好的错误报告和返回 SQL 结果的能力 (#29434)

  • 标准化 AWS lambda 命名 (#29749)

  • AWS Glue job hook：使 s3_bucket 参数可选 (#29659)

  • 'RedshiftDataOperator' 将 'await_result' 替换为 'wait_for_completion' (#29633)

7.2.1

Bug 修复

  • 明确处理 AWS provider 中配置解析引发的异常 (#29587)

其他

  • 修复 EcsRunTaskOperator docstring 中的 region_name -> region (#29562)

7.2.0

新增特性

  • 在 EmrCreateJobFlowOperator 中添加等待完成的选项 (#28827)

  • 添加 S3 到（通用）SQL 的传输 operator (#29085)

  • 对冲突时停止管道添加重试 (#29077)

  • 为 AWS Glue Job Console URL 添加日志 (#28925)

  • 启用独立 trigger 日志记录 (#27758)

Bug 修复

  • 修复： 'num_of_dpus' 类型提示 - GlueJobHook/Operator (#29176)

  • 修复 DataSyncHook boto3 方法在 NFS 和 EFS 中创建位置的拼写错误 (#28948)

  • 解密 SsmHook 获取的 SecureString 值 (#29142)

其他

  • 在 redshift sensor 中记录观察到的状态 (#29274)

  • 使用 thin/passthrough hook 代替单行 hook 方法 (#29252)

  • 将 AWS SqlToS3Operator 传输中的导入移动到可调用函数中 (#29045)

  • 引入 EKS sensor 的基类 (#29053)

  • 引入一种将字典转换为 boto 风格键值列表的方法 (#28816)

  • 更新 provide_bucket_name() 装饰器以处理新的 conn_type (#28706)

  • 统一通过缓存属性在 aws sensor 中获取 hook 的方式 (#29001)

  • 在文档/docstrings 中使用 boto3 intersphinx inventory。 (#28945)

7.1.0

新增特性

  • 将 ''configuration_overrides'' 添加到模板字段 (#28920)

  • 添加新的 SSM hook 并在 System Test 上下文构建器中使用它 (#28755)

  • 将 waiter config 参数添加到 emr.add_job_flow_steps (#28464)

  • 添加 AWS Sagemaker Auto ML operator 和 sensor (#28472)

  • 创建 sagemaker experiment 的新 operator (#28837)

Bug 修复

  • 避免从 S3HookUriParseFailure 的循环导入 (#28908)

  • 在 AWS Batch 模块中使用 compat 实现 cached_property (#28835)

  • 在 "provide bucket" 之前应用 "unify bucket and key" (#28710)

其他

  • 更新 S3ToRedshiftOperator 文档以告知用户多键功能 (#28705)

  • 重构 waiter 函数并改进单元测试 (#28753)

  • 针对 numpy 缺失情况抛出更好的异常 (#28722)

  • 不要在 provide_bucket_name 中调用 get_connection (#28716)

7.0.0

破坏性变更

‘SecretsManagerBackend’ 中的 JSON secrets 不再被解释为 urlencoded。在 5.x 和 6.x 版本中，代码会根据上下文线索推断 JSON secret 值是否是 urlencoded；现在 始终 使用未修改的值来构建 Connection 对象。

Pandas 现在是该 provider 的一个可选依赖项。SqlToS3Operator 和 HiveToDynamoDBOperator 需要安装 Pandas（您可以在安装 provider 时通过添加 [pandas] 额外项来自动安装它）。

  • 使 Amazon Provider 的 pandas 依赖项可选 (#28505)

新增特性

  • SecretsManagerBackend 中的 'full_url_mode' 已弃用；secret 是 JSON 还是 URL 将被推断 (#27920)

  • 为 AddStepsOperator 添加 execution role 参数 (#28484)

  • 添加 AWS SageMaker operator 用于注册模型版本 (#28024)

  • 添加 EMR Steps Sensor 日志链接 (#28180)

  • 添加 Amazon Elastic Container Registry (ECR) Hook (#28279)

  • 添加 EMR Notebook operator (#28312)

  • 创建 'LambdaCreateFunctionOperator' 和 sensor (#28241)

  • 更好地支持 Boto Waiters (#28236)

  • Amazon Provider Package 用户代理 (#27823)

  • 允许通过 EmrServerless Operator 配置 waiter (#27784)

  • 为 aws sagemaker pipelines 添加 operator + sensor (#27786)

  • 更新 RdsHook docstrings 以匹配正确的参数名称 (#28108)

  • 在 aws athena hook 中添加一些重要日志 (#27917)

  • Lambda hook：使 runtime 和 handler 可选 (#27778)

Bug 修复

  • 修复 EmrAddStepsOperature 的 wait_for_completion 参数不工作的问题 (#28052)

  • 正确地模板化 Glue Jobs 的 'create_job_kwargs' 参数 (#28403)

  • 修复 S3KeySensor 中模板渲染的 bucket_key (#28340)

  • 修复使用 DynamoDBToS3Operator 时的类型错误 (#28158)

  • 如果存在， AWSGlueJobHook 会更新作业配置 (#27893)

  • 修复使用 tags 时 GlueCrawlerOperature 失败的问题 (#28005)

其他

  • 修复 S3KeySensor 文档 (#28297)

  • 改进 'AwsLambdaInvokeFunctionOperator' 的 docstrings (#28233)

  • 从 providers 中移除过时的 compat imports/code (#28507)

  • 添加破坏性变更的描述 (#28582)

  • [其他] 删除条件中的 'pass' 语句 (#27775)

  • [其他] 在 providers 中用 'exactly_one' helper 替换 XOR '^' 条件 (#27858)

6.2.0

新增特性

  • 在 RDS Operator 中使用 Boto waiters 代替自定义 _await_status 方法 (#27410)

  • 处理 'RedshiftResumeClusterOperator' 和 'RedshiftPauseClusterOperator' 中的瞬时状态错误 (#27276)

  • 在 RedshiftDeleteClusterOperator 中添加重试选项，以便在集群中正在运行操作时重试 (#27820)

Bug 修复

  • 修正 SagemakerProcessingOperator 中的作业名称匹配 (#27634)

  • 将 common.sql provider 版本提升至 1.3.1 (#27888)

6.1.0

注意

正如 Apache Airflow provider 支持政策中所解释的，此 provider 版本仅适用于 Airflow 2.3+。

其他

  • 将所有 provider 的最低 Airflow 版本移至 2.3.0 (#27196)

  • 将 urlparse 替换为 urlsplit (#27389)

新增特性

  • 添加 关于 AWS SSM Parameter Store Secrets 后端 的 JSON 连接 格式 的信息 (#27134)

  • 为 EMR Serverless 作业 添加 默认 名称 (#27458)

  • 为 方法 'S3Hook.download_file' 添加 参数 'preserve_file_name' (#26886)

  • 添加 GlacierUploadArchiveOperator (#26652)

  • 添加 RdsStopDbOperator 和 RdsStartDbOperator (#27076)

  • 'GoogleApiToS3Operator' : 添加 'gcp_conn_id' 到 模板 字段 (#27017)

  • 添加 SQLExecuteQueryOperator (#25717)

  • 添加 关于 Amazon Elastic MapReduce 连接 的信息 (#26687)

  • 添加 BatchOperator 模板 字段 (#26805)

  • 改进 AWS 连接 响应 的 测试 (#26953)

错误修复

  • SagemakerProcessingOperator 不再遵守 'existing_jobs_found' (#27456)

  • 当 未找到 Amazon CloudWatch 日志 时， CloudWatch 任务 处理程序 不会 回退 到 本地 日志 (#27564)

  • 修复 RedshiftSQLOperator 的 向后 兼容性 (#27602)

  • 修复 redshift sql hook 的 get_ui_field_behaviour 中的 拼写错误 (#27533)

  • 修复 example_emr_serverless 系统 测试 (#27149)

  • 修复 RedshiftSQLHook 的 get_table_primary_key 方法 文档字符串 中的 参数 (#27330)

  • 添加 s3_key_prefix 到 模板 字段 (#27207)

  • 修复 用户 显式 设置 凭据 时 扮演 角色 的 问题 (#26946)

  • 修复 EmrServerlessStartJobOperator 的 等待器 调用 中的 失败 状态。 (#26853)

  • 修复 AWS 测试 中的 大量 弃用 警告 (#26857)

  • 修复 SqlToS3Operator 在 非 parquet 格式 中的 空 字符串 错误 (#26676)

  • Sagemaker hook: 在 等待 完成 时， 移除 末尾 额外 的 调用 (#27551)

  • ECS 小错误 (#26921)

  • 如果 从 配置 中 获取 秘密， 则 避免 AWS Secrets 后端 中的 循环 导入 (#26784)

6.0.0

不兼容的更改

警告

在此版本的提供程序中，Amazon S3 连接 (conn_type="s3") 已删除，因为它始终是 AWS 连接 (conn_type="aws") 的别名。实际上，唯一的影响是您将无法在 Web UI / API 中测试连接。为了恢复测试连接的能力，您需要手动将连接类型从 Amazon S3 (conn_type="s3") 更改为 Amazon Web Services (conn_type="aws")。

  • 移除 Amazon S3 连接 类型 (#25980)

功能

  • 添加 RdsDbSensor 到 amazon 提供程序 包 (#26003)

  • 在 RDS 运算符 上 设置 template_fields (#26005)

  • 在 Web UI 中 自动 跟踪 文件 日志 (#26169)

错误修复

  • 修复 SageMakerEndpointConfigOperator 的 返回值 (#26541)

  • EMR Serverless 修复： 解决 作业 即使 失败 也被 标记 为 成功的 问题 (#26218)

  • 修复 AWS 连接 针对 无效 参数 'profile_name' 的 警告 条件 (#26464)

  • 修复 Athena 和 EMR 运算符 中 max_retries 参数 的 混淆 问题 (#25971)

  • 修复 SageMaker 运算符 的 返回值 (#23628)

  • 移除 Amazon Log 任务 处理程序 中的 冗余 异常 捕获 (#26442)

杂项

  • 移除 提供程序 中的 重复 连接 类型 (#26628)

5.1.0

功能

  • 附加 的 AWS 凭据 隐藏 (#26014)

  • 添加 RedshiftDeleteClusterSnapshotOperator (#25975)

  • 添加 redshift 创建 集群 快照 运算符 (#25857)

  • 为 common-sql 添加 common-sql 的 下限 (#25789)

  • 允许 AWS Secrets 后端 使用 AWS 连接 功能 (#25628)

  • 实现 'EmrEksCreateClusterOperator' (#25816)

  • 改进 关于 存储桶 存在 检查 的 错误 处理/消息传递 (#25805)

错误修复

  • 修复 aws 连接 信息 显示 (#26025)

  • 修复 'EcsBaseOperator' 和 'EcsBaseSensor' 的 参数 (#25989)

  • 修复 RDS 系统 测试 (#25839)

  • 在 实例化 AWS SM 后端 时 避免 循环 导入 问题 (#25810)

  • 修复 版本 5.0.0rc3 中 Connection 对象 的 构造 错误 (#25716)

5.0.0

不兼容的更改

  • 避免 要求 AWS Secret Manager 的 JSON 值 进行 urlencoded。 (#25432)

  • 移除 已弃用 的 模块 (#25543)

  • 在 wrapper 中 解析 Amazon Hook 的 'region_name' 和 'config' 参数 (#25336)

  • 在 wrapper 中 解析 并 验证 AWS 连接 参数 (#25256)

  • 标准化 AwsLambda (#25100)

  • 将 单一 的 ECS 运算符 重构 并 分解 为 Operators、 Sensors 和 Hook (#25413)

  • 从 Amazon 提供程序 包 中 移除 已弃用 的 模块 (#25609)

功能

  • 添加 EMR Serverless Operators 和 Hooks (#25324)

  • 隐藏 Amazon Web Services 连接 的 未使用 字段 (#25416)

  • 在 SageMakerTransformOperator 中 启用 Transform 作业 名称 的 自动 递增 (#25263)

  • 统一 DbApiHook.run() 方法 与 覆盖 它 的 方法 (#23971)

  • SQSPublishOperator 应 允许 发送 消息 到 FIFO 队列 (#25171)

  • Glue 作业 驱动程序 日志记录 (#25142)

  • 更新 typing-extensions 和 mypy 以 支持 ParamSpec (#25088)

  • 在 RedshiftDataOperator 中 启用 多个 查询 执行 (#25619)

错误修复

  • 修复 S3Hook 传输 配置 参数 验证 (#25544)

  • 修复 当 wait_for_completion = True 时 BatchOperator 的 链接 (#25228)

  • 修改 了 SqlToS3Operator 的 _fix_int_dtypes 方法 (#25083)

  • 重构: 弃用 将 参数 'host' 作为 连接 的 额外 属性。 弃用 是 为了 支持 extra 中的 'endpoint_url'。 (#25494)

  • 通过 适当 的 方法 获取 boto3.session.Session (#25569)

4.1.0

功能

  • 为 AWS hook 添加 test_connection 方法 (#24662)

  • 添加 用于 创建 和 删除 RDS 数据库 的 AWS 运算符 (#24099)

  • 为 'SqsSensor' 添加 批量 选项 (#24554)

  • 添加 AWS Batch 和 AWS CloudWatch 额外 链接 (#24406)

  • 重构 EmrClusterLink 并 为 其他 AWS EMR 运算符 添加 链接 (#24294)

  • 将 所有 SQL 类 移动 到 common-sql 提供程序 (#24836)

  • Amazon AppFlow (#24057)

  • 使 S3Hook 中的 extra_args 在 调用 之间 不可变 (#24527)

错误修复

  • 重构 并 修复 AWS secret manager 无效 异常 (#24898)

  • 修复: RedshiftDataHook 和 RdsHook 不 使用 缓存 连接 (#24387)

  • 修复 示例 的 源 链接 (#24386)

  • 修复 S3KeySensor。 参见 #24321 (#24378)

  • 修复: 在 'EmrCreateJobFlowOperator' 中， 'emr_conn_id' 应 是 可选 的 (#24306)

  • 更新 提供程序 以 使用 functools 兼容 的 ''cached_property'' (#24582)

4.0.0

不兼容的更改

注意

此提供程序的发布版本仅适用于 Airflow 2.2+，正如Apache Airflow 提供程序支持策略中所述。

功能

  • 为 GlueCatalogHook 添加 分区 相关 方法： (#23857)

  • 添加 支持，以便 将 自定义 标签 关联  到 通过 EmrContainerOperator 提交 的 作业 运行 (#23769)

  • 在 RedshiftCreateClusterOperator 中， 仅适用于 单 节点 集群 时， 添加 节点数量 参数 (#23839)

错误修复

  • 修复: StepFunctionHook 忽略 显式 设置 的 'region_name' 参数 (#23976)

  • 修复 Amazon EKS 示例 DAG 在 导入 时 引发 警告 的 问题 (#23849)

  • 将 字符串 参数 评估 移动 到 'EksCreateClusterOperator' 中的 'execute()' (#23877)

  • 修复: 修复了 #24215。 当 'create_job_kwargs' 包含 'Command' 键 时， 不 引发 KeyError。 (#24308)

杂项

  • 轻量 重构 和 清理 AWS 提供程序 (#23907)

  • 更新 RDS 的 示例 DAG 和 文档 (#23651)

  • 重新 格式化 整个 AWS 文档 (#23810)

  • 在 pathlib 对象 中 将 "absolute()" 替换 为 "resolve()" (#23675)

  • 将 按 运行 的 日志 模板 应用 到 日志 处理程序 (#24153)

  • 重构 GlueJobHook 的 get_or_create_glue_job 方法。 (#24215)

  • 更新 DMS 示例 DAG 和 文档 (#23681)

  • 更新 Quicksight 的 文档 和 示例 DAG (#23653)

  • 更新 EMR Containers 的 文档 和 示例 DAG (#24087)

  • 添加 AWS 项目 结构 测试 (关于: AIP-47) (#23630)

  • 添加 GCSToS3Operator 的 文档 和 示例 DAG (#23730)

  • 移除 旧 的 Athena 示例 DAG (#24170)

  • 清理 日志 调用 中的 f-strings (#23597)

3.4.0

功能

  • 添加 Quicksight 创建 数据 摄入 Hook 和 Operator (#21863)

  • 为 SageMaker Operators 添加 默认 的 'aws_conn_id' #21808 (#23515)

  • 添加 RedshiftCreateClusterOperator

  • 添加 'S3CreateObjectOperator' (#22758)

  • 添加 'RedshiftDeleteClusterOperator' 支持 (#23563)

错误修复

  • 修复 检索 日志 事件 时 的 连接 关闭 错误 (#23470)

  • 修复 LocalFilesystemToS3Operator 和 S3CreateObjectOperator 以 支持 完整 的 s3:// 风格 键 (#23180)

  • 修复 在 'ECSOperator' 中 尝试 重新 附加 的 问题 (#23370)

  • 修复 main 分支 上的 文档 构建 失败 (#23240)

  • 修复 "Chain not supported for different length Iterable" 错误

  • 'S3Hook': 修复 'load_bytes' 文档字符串 (#23182)

  • 弃用 'S3PrefixSensor' 和 'S3KeySizeSensor' ， 推荐使用 'S3KeySensor' (#22737)

  • 允许 Glue 中的 script_location 参数 恢复 为 None (#23357)

杂项

  • 添加 Amazon SQS 运算符 的 文档 和 示例 DAG (#23312)

  • 添加 S3CopyObjectOperator 和 S3DeleteObjectsOperator 的 文档 和 示例 DAG (#22959)

  • 添加 S3KeysUnchangedSensor 的 示例 DAG 和 文档

  • 添加 S3FileTransformOperator 的 文档 和 示例 DAG

  • 添加 AWS Step Functions 运算符 的 文档 和 示例 DAG

  • 添加 S3ListOperator 的 示例 DAG 和 文档 (#23449)

  • 添加 EC2 的 文档 和 示例 DAG (#23547)

  • 添加 S3ListPrefixesOperator 的 示例 DAG 和 文档 (#23448)

  • Amazon Sagemaker 示例 DAG 和 文档 更新 (#23256)

  • 更新 Athena 示例 DAG 和 文档 (#23428)

  • 更新 Datasync 的 示例 DAG 和 文档 (#23511)

3.3.0

功能

  • 在 SES 电子邮件 后端 中 传递 自定义 头部 (#22667)

  • 更新 秘密 后端 以 使用 get_conn_value 而非 get_conn_uri (#22348)

杂项

  • 添加 SqlToS3Operator 的 文档 和 示例 DAG (#22603)

  • 添加 HiveToDynamoDB 传输 示例 DAG 和 文档 (#22517)

  • 添加 MongoToS3Operator 的 文档 和 示例 DAG (#22575)

  • 添加 LocalFilesystemToS3Operator 的 文档 (#22574)

  • 为 AWS CloudFormation Operators 添加文档和示例 DAG (#22533)

  • 为 S3ToFTPOperator 和 FTPToS3Operator 添加文档和示例 DAG (#22534)

  • GoogleApiToS3Operator: 更新示例 DAG 和文档 (#22507)

  • SalesforceToS3Operator: 更新示例 DAG 和文档 (#22489)

3.2.0

新功能

  • 为过滤列表添加参数: start_after_key, from_datetime, to_datetime, object_filter callable (#22231)

Bug 修复

  • 修复误为所有 providers 添加 install_requires 的问题 (#22382)

  • ImapAttachmentToS3Operator: 修复，更新示例 DAG 和更新文档 (#22351)

3.1.1

新功能

  • 添加 AWS RDS sensors (#21231)

  • 添加 AWS RDS operators (#20907)

  • 添加 RedshiftDataHook (#19137)

  • 功能: 添加 invoke lambda function operator (#21686)

  • 在 SqlToS3Operator 上添加 JSON 输出 (#21779)

  • 添加 SageMakerDeleteModelOperator (#21673)

  • 添加 Amazon RDS 的 Hook。添加 'boto3_stub' 库用于自动完成。 (#20642)

  • 添加 SNS 示例 DAG 和 rst (#21475)

  • 在非常特定的 eni 预置失败时重试 (#22002)

  • 可配置的 AWS Session 工厂 (#21778)

  • S3KeySensor 使用 S3Hook url 解析器 (#21500)

  • 休眠后获取日志事件以获取所有日志 (#21574)

  • 在 GCSToS3Operator 中使用临时文件 (#21295)

Bug 修复

  • AWS RDS 集成修复 (#22125)

  • 修复 ''RedshiftSQLOperator'' 中的类型提示 (#21885)

  • Bug 修复 - S3DeleteObjectsOperator 将尝试删除所有键 (#21458)

  • 修复 Amazon SES emailer 签名 (#21681)

  • 修复 EcsOperatorError，使其可以从 picklefile 加载 (#21441)

  • 修复 RedshiftDataOperator 并更新文档 (#22157)

  • 修复在预置失败时重试的 Bug(#22137)

  • 如果上传任务日志到 S3 失败，重试一次 (#21981)

  • GCSToS3Operator 的 Bug 修复 (#22071)

  • 修复查询状态轮询逻辑 (#21423)

  • 使用不同的 logger 以避免重复的日志条目 (#22256)

其他

  • 在 PyPI 中添加 Trove classifiers (Framework :: Apache Airflow :: Provider)

  • 支持 Python 3.10

  • [文档] 通过添加任务 upload_keys 改进 S3 operator 示例 (#21422)

  • 将 'S3' hook 名称重命名为 'Amazon S3' (#21988)

  • 为 DynamoDBToS3Operator 添加 template fields (#22080)

3.0.0

破坏性变更

CloudFormationCreateStackOperator 和 CloudFormationDeleteStackOperator 使用 params 作为构造函数参数之一，但是这个名称与在 Airflow 2.2 中处理方式不同的 params 参数字段 params 冲突。params 参数已重命名为 cloudformation_parameters 以使其非歧义。

任何使用 CloudFormationCreateStackOperator 和 CloudFormationDeleteStackOperator 时传递 params 的地方，都应改为使用 cloudformation_parameters。

  • 在 CloudFormation operators 中将 params 重命名为 cloudformation_parameter。 (#20989)

新功能

  • [SQSSensor] 添加选择加入选项以禁用自动删除消息 (#21159)

  • 创建一个通用 operator SqlToS3Operator 并废弃 MySqlToS3Operator。  (#20807)

  • 将一些 base_aws 日志级别从 info 移至 debug (#20858)

  • AWS: 添加对 EKS Operators 中可选 kwargs 的支持 (#20819)

  • AwsAthenaOperator: 如果未提供，则不生成 ''client_request_token'' (#20854)

  • 添加更多 SQL template fields 渲染器 (#21237)

  • 为新的 SQL lexers 添加有条件的 'template_fields_renderers' 检查 (#21403)

Bug 修复

  • 修复: cloudwatch logs 获取逻辑 (#20814)

  • 修复所有 Amazon Provider 的 MyPy 错误 (#20935)

  • 修复 AWS glue operator 中与 num_of_dpus 相关联的 Bug #19787 (#21353)

  • 修复检查值是否为整数或浮点数并相应转换的问题。 (#21277)

其他

  • 减轻已废弃 AWS 模块中 'EmrClusterLink' 的导入警告 (#21195)

  • 重命名 amazon EMR hook 名称 (#20767)

  • 标准化 AWS SQS 类名 (#20732)

  • 标准化 AWS Batch 命名 (#20369)

  • 标准化 AWS Redshift 命名 (#20374)

  • 标准化 DynamoDB 命名 (#20360)

  • 标准化 AWS ECS 命名 (#20332)

  • 重构 operator 链接以避免创建临时的 TaskInstances (#21285)

  • eks_hook 日志级别 fatal -> FATAL  (#21427)

2.6.0

新功能

  • 为 DynamoDBToS3Operator 添加 aws_conn_id (#20363)

  • 添加 RedshiftResumeClusterOperator 和 RedshiftPauseClusterOperator (#19665)

  • 在 AWSAthenaHook 中添加函数以获取 S3 输出查询结果文件 URI  (#20124)

  • 添加 AWS Batch 的 sensor (#19850) (#19885)

  • 为 EMR 容器失败原因添加状态详情 (#19579)

  • 添加在 MySqlToS3Operator 上替换 S3 文件的支持 (#20506)

Bug 修复

  • 修复 AWS provider 的 _get_credentials 中的向后兼容性问题 (#20463)

  • 修复拆分 redshift 模块后的废弃消息 (#20366)

  • ECSOperator: 修复缺失 exitCode 时的 KeyError (#20264)

  • 修复 AWS glue operator 在指定 WorkerType 和 NumberOfWorkers 时的 Bug (#19787)

其他

  • 在 Amazon provider 中组织 Sagemaker 类 (#20370)

  • 移动 emr_container hook (#20375)

  • 标准化 AWS Athena 命名 (#20305)

  • 标准化 AWS EKS 命名 (#20354)

  • 标准化 AWS Glue 命名 (#20372)

  • 标准化 Amazon SES 命名 (#20367)

  • 标准化 AWS CloudFormation 命名 (#20357)

  • 标准化 AWS Lambda 命名 (#20365)

  • 标准化 AWS Kinesis/Firehose 命名 (#20362)

  • 标准化 Amazon SNS 命名 (#20368)

  • 分割 redshift sql 和 cluster 对象 (#20276)

  • 在 Amazon provider 中组织 EMR 类 (#20160)

  • 重命名 DataSync Hook 和 Operator (#20328)

  • 废弃将 execution_date 传递给 XCom 方法 (#19825)

  • 在 Amazon provider 中组织 Dms 类 (#20156)

  • 在 Amazon Provider 中组织 S3 类 (#20167)

  • 在 Amazon provider 中组织 Step Function 类 (#20158)

  • 在 Amazon provider 中组织 EC2 类 (#20157)

  • 迁移到 watchtower 2.0.1 (#19907)

  • 修复 mypy aws 示例 dags (#20497)

  • 在 KubernetesPodOperator 中默认删除 pods (#20575)

2.5.0 (已撤回)

警告

此版本已**撤回**，原因: 包含破坏性变更

新功能

  • 添加对使用 ''client_type'' API 与 EC2 交互的支持以及支持过滤器 (#9011)

  • 在尝试下载之前不检查 S3 key (#19504)

  • MySQLToS3Operator  实际允许将 parquet 文件写入 S3。 (#19094)

Bug 修复

  • Amazon provider 移除废弃，第二次尝试 (#19815)

  • 在 AWS Secrets Manager 后端中捕获 AccessDeniedException (#19324)

2.4.0

新功能

  • MySQLToS3Operator 添加对 parquet 格式的支持 (#18755)

  • 添加 RedshiftSQLHook, RedshiftSQLOperator (#18447)

  • 从 AWS Provider 中移除额外的 postgres 依赖 (#18844)

  • 移除 S3ToRedshiftOperator 中的重复代码 (#18671)

Bug 修复

  • 修复 ses email 后端 (#18042)

  • 修复字符串连接问题 (#19099)

  • 更新 S3PrefixSensor 以支持检查存储桶内的多个前缀 (#18807)

  • 将 templated input params 的验证移至 context init 后运行 (#19048)

  • 修复 SagemakerProcessingOperator ThrottlingException (#19195)

  • 修复 S3ToRedshiftOperator (#19358)

2.3.0

此版本的 Redshift operators 需要至少 2.3.0 版本的 Postgres Provider。这体现在 [postgres] extra 中，但 extras 不保证安装正确版本的依赖项（取决于安装方法）。如果您在运行 Redshift operators 时遇到问题，请将 apache-airflow-providers-postgres provider 升级到至少 2.3.0 版本。

新功能

  • 为 S3ToRedshiftTransfer 和 RedshiftToS3Transfer 添加 IAM Role Credentials (#18156)

  • 在 docstring 中添加缺失的 'replace' param (#18241)

  • 在 S3ToRedshift operator 上添加 upsert 方法 (#18027)

  • 为 job flow 示例向 EMR cluster 添加 Spark (#17563)

  • 更新 s3_list.py (#18561)

  • ECSOperator 实时日志记录 (#17626)

  • 废弃 EKSPodOperator 中的默认 pod 名称 (#18036)

  • Aws secrets manager 后端 (#17448)

  • sftp_to_s3 流文件选项 (#17609)

  • AwsBaseHook 使 client_type resource_type 成为 get_client_type, get_resource_type 的可选参数 (#17987)

  • 删除 EKSPodOperator 中不必要的参数 (#17960)

  • 使 AWS Secrets Manager 后端能够使用不同的字段检索连接 (#18764)

  • 添加 emr cluster 链接 (#18691)

  • AwsGlueJobOperator: 为 Glue job run 添加 wait_for_completion (#18814)

  • 使 FTPToS3Operator 能够传输多个文件 (#17937)

  • Amazon Athena 示例 (#18785)

  • AwsGlueJobOperator: 为 Glue job run 添加 run_job_kwargs (#16796)

  • Amazon SQS 示例 (#18760)

  • 添加一个 S3 列出前缀的 operator (#17145)

  • 为 amazon provider 的 postgres extra 添加额外的依赖项 (#18737)

  • 在 S3KeySensor 中支持所有 Unix 通配符 (#18211)

  • 添加 AWS Fargate profile 支持 (#18645)

Bug 修复

  • ECSOperator 在 ECS 任务失败时返回最后日志 (#17209)

  • 刷新 EKS 上长时间运行的 pods 的凭据 (#17951)

  • ECSOperator: 在未找到 cloudwatch log stream 的边缘情况下出现 airflow 异常 (#18733)

2.2.0

新功能

  • 添加一个 Amazon EMR on EKS provider 包 (#16766)

  • 在 ''RedshiftToS3Operator'' 中添加可选的 SQL 参数 (#17640)

  • 在 Amazon provider 下添加新的 LocalFilesystemToS3Operator (#17168) (#17382)

  • 为 hook 和 transfer 添加 Mongo projections (#17379)

  • 将 platform version 设置为 ECSOperator 的独立参数 (#17281)

  • 改进 AWS SQS Sensor (#16880) (#16904)

  • 实现基础 EKS 集成 (#16571)

Bug 修复

  • 修复在 Glue hooks/operators 中执行 load_file 时出现的 ParamValidationError (#16012)

  • 修复 #16972 - 在 AWS base hook 中 Slugify role session name (#17210)

  • 修复 EKSPodOperator 中损坏的 XCOM (#17918)

其他

  • 优化 Airflow 2.2.0 的连接导入

  • 修复由于测试中 exit(0) 导致的 provider.yaml 错误 (#17858)

  • 向 provider yaml 添加 secrets 后端/日志记录/认证信息 (#17625)

2.1.0

新功能

  • 允许在 ECSOperator 中附加到之前启动的任务 (#16685)

  • 更新 AWS Base hook 以使用可刷新凭据 (#16770) (#16771)

  • 在 RedshiftToS3Operator 的 templated fields 中添加 select_query (#16767)

  • AWS Hook - 允许 IDP HTTP 重试 (#12639) (#16612)

  • 更新 ECSOperator 中的 Boto3 API 调用 (#16050)

  • 新增 自定义 Salesforce 连接 类型 + SalesforceToS3Operator 更新 (#17162)

  • 将 SalesforceToS3Operator 添加 到 Amazon Provider (#17094)

Bug 修复

  • AWS DataSync 默认 轮询 时间从 5s 调整 到 30s (#11011)

  • 修复 AWS Operators 中 错误 的 template_fields_renderers (#16820)

  • AWS DataSync 在 发生 异常时 取消 任务 (#11011) (#16589)

  • 修复 Amazon provider 的 template_fields_renderers (#17087)

  • 移除 try-catch 块 (#17081)

  • ECSOperator / 将 context 传递 给 self.xcom_pull 因为 之前 缺失 (使用 reattach 时) (#17141)

  • 使 S3ToRedshiftOperator 事务 安全 (#17117)

2.0.0

破坏性变更

  • 自动应用 apply_default 装饰器 (#15667)

警告

由于移除了 apply_default 装饰器，此版本的 provider 需要 Airflow 2.1.0+。如果你的 Airflow 版本低于 2.1.0，并且想要安装此 provider 版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，你的 Airflow 包版本将被自动升级，并且你将不得不手动运行 airflow upgrade db 来完成迁移。

功能

  • CloudwatchTaskHandler 从 Cloudwatch 事件中 读取 时间戳 (#15173)

  • 暂时移除 重试 (#16150)

  • 移除 S3_hook 中的 'not-allow-trailing-slash' 规则 (#15609)

  • 为 ECSOperator 添加 容量提供者 策略 的 支持 (#15848)

  • 更新 s3 到 redshift 的 复制 命令 (#16241)

  • 在 SageMakerTrainingOperator 中 使 任务名称 检查 变为 可选 (#16327)

  • 添加 AWS DMS 复制 任务 Operators (#15850)

Bug 修复

  • 修复 S3 Select 有效载荷 连接 (#16189)

  • 修复 'AwsBatchWaitersHook' docstring 中的 间距 问题 (#15839)

  • MongoToS3Operator 在 使用 单个 查询 （非 聚合 管道） 运行时 失败 (#15680)

  • 修复: AwsGlueJobOperator 更改 load_file 参数 顺序 (#16216)

  • 修复 S3ToFTPOperator (#13796)

1.4.0

功能

  • S3Hook.load_file 除了 接受 str 外，还应 接受 Path 对象 (#15232)

Bug 修复

  • 修复 'logging.exception' 的 冗余 问题 (#14823)

  • 修复 AthenaSensor 调用 AthenaHook 不正确 的 问题 (#15427)

  • 为 已弃用 模块 添加 指向 新 模块 的 链接 (#15316)

  • 修复 SQSSensor 的 文档 (#15323)

1.3.0

功能

  • 增加 了 一系列 template_fields_renderers (#15130)

  • 将 region_name 传递 给 AwsGlueJobHook 的 父类 (#14251)

  • 为 ECS Operator 添加 重试 功能 (#14263)

  • 在 AwsGlueJobOperator 中 使 script_args 可 模板化 (#14925)

  • 添加 FTPToS3Operator (#13707)

  • 实现 了 S3 Bucket Tagging (#14402)

  • S3DataSource 不是 必需 的 (#14220)

Bug 修复

  • AWS: 在 未 找到 SSM & SecretsManager 密钥 时 不 记录 信息 (#15120)

  • 初始化 'CloudFormationCreateStackSensor' 时 缓存 Hook (#14638)

1.2.0

功能

  • 在 S3 远程 日志 上传中 避免 使用 线程 (#14414)

  • 允许 AWS Operator RedshiftToS3Transfer 运行 自定义 查询 (#14177)

  • 如果 使用 STS 凭证，则 包含 STS token (#11227)

1.1.0

功能

  • 添加 对 为 Glue Job 提供 额外 参数的 支持。 (#14027)

  • 添加 适用于 EmailOperator 的 aws ses 邮件 后端。 (#13986)

  • 在 S3 operators 中 将 bucket_name 添加 到 模板 字段 (#13973)

  • 添加 ExasolToS3Operator (#13847)

  • AWS Glue Crawler 集成 (#13072)

  • 为 S3CopyObjectOperator 添加 acl_policy (#13773)

  • MongotoS3Operator 中的 AllowDiskUse 参数 和 文档 (#12033)

  • 添加 S3ToFTPOperator (#11747)

  • 为 ECSOperator 添加 xcom push (#12096)

  • [AIRFLOW-3723] 为 mongo_to_S3 operator 添加 Gzip 功能 (#13187)

  • 添加 S3KeySizeSensor (#13049)

  • 在 MongoToS3Operator 中 将 'mongo_collection' 添加 到 template_fields (#13361)

  • 允许 在 提交 AWS Batch 任务 时 使用 标签 (#13396)

Bug 修复

  • 修复 GCSToS3Operator 中的 错误 (#13718)

  • 修复 S3KeysUnchangedSensor 以使其 template_fields 工作 (#13490)

1.0.0

provider 的初始版本。

此条目是否有帮助？