apache-airflow-providers-standard

更新日志

1.0.0

注意

Provider 的稳定版本。

错误修复

  • 移除 dag_version 作为 create_dagrun 参数 (#49148)

  • 修复 ExternalTaskSensor task_group_id 检查 条件 (#49027)

  • 确保 TI.id 在每次尝试中都是唯一的。 (#48749)

  • 在 standard provider 中有条件地添加与 session 相关的导入 (#49218)

杂项

  • 移除 多余的 else 块 (#49199)

0.4.0

特性

  • 使 TriggerDagRunOperator 的默认值为 time.now() (#48969)

错误修复

  • 修复 WorkflowTrigger 以与 TaskSDK 一起工作 (#48819)

  • 使 'LatestOnlyOperator' 能够与 Task SDK 一起工作 (#48945)

  • 修复 dagstate trigger 以与 TaskSDK 一起工作 (#48747)

杂项

  • 从 airflow.sdk 导入 '@task' (#48896)

0.3.0

  • 使 'ExternalTaskSensor' 能够与 Task SDK 一起工作 (#48651)

  • 使 Context 中的 datetime 对象成为 Pendulum 对象 (#48592)

  • 修复 sensor_helper.py 中的 _get_count (#40795)

  • 修复 BranchDateTimeOperator 和 BranchDayOfWeekOperator 中的 logical_date 错误 (#48486)

  • 将 'BaseSensorOperator' 移至 TaskSDK 定义 (#48244)

  • 将标准 decorators 迁移到 standard provider (#48683)

0.2.0

特性

  • AIP-72: 实现 short circuit 和 branch 操作符 (#46584)

错误修复

  • 处理 TimeDeltaSensorAsync 中的空 logical date (#47652)

  • 修复 'BranchMixIn' 的弃用警告 (#47856)

  • 修复 DayOfWeekSensor 的 use_task_logical_date 条件 (#47825)

  • 修复 在 virtualenv jinja 脚本中初始化插件时 python 操作符 出现的错误 (#48035)

杂项

  • AIP-72: 使 'TriggerDagRunOperator' 能够与 Task SDK 一起工作 (#47882)

  • 将 utils/weekday.py 重新定位到 standard provider (#47892)

  • AIP-72: 处理 Task SDK 上的自定义 XCom Backend (#47339)

  • 重写 asset event 注册 (#47677)

  • 在 sdk 中实现 pre- 和 post-execute 钩子 (#48230)

0.1.1

杂项

  • 将 SmoothOperator 重新定位到 standard provider 并添加测试 (#47530)

  • AIP-72: 将 BaseOperatorLink 移至 task sdk (#47008)

  • 将 tests_common 包移至 devel-common 项目 (#47281)

  • 移除旧的 UI 和 webserver (#46942)

  • 为 GenericTransfer 添加 deferred 分页模式 (#44809)

  • 使用 DagRunType 替换 'external_trigger' 检查 (#45961)

  • 运行时 context 不应包含 start_date 作为键 (#46961)

  • 将 flit 升级到 3.11.0 (#46938)

0.1.0

特性

  • AIP-82 引入 'BaseEventTrigger' 作为与事件驱动调度一起使用的 triggers 的基类 (#46391)

  • AIP-83 修正: 在 logical date 为 None 时添加生成 run_id 的逻辑。 (#46616)

错误修复

  • TriggerDagRunOperator 默认将 logical date 设置为 null (#46633)

  • 在 ExternalDag 和 TriggerDagRun 链接中使用 run_id (#46546)

杂项

  • 更改 listener API，在 TaskSDK 中添加对 task instance listeners 的基本支持，使 OpenLineage provider 支持 Airflow 3 的 listener 接口 (#45294)

  • 移除 AirflowContextDeprecationWarning，因为对于 Airflow 3，所有 context 都应该是干净的 (#46601)

  • 重构(utils/decorators): 重写 remove task decorator 以使用 cst (#43383)

  • 将 dynamic task mapping 添加到 TaskSDK 运行时 (#46032)

  • 将 EmptyOperator 移至 standard provider (#46231)

  • 为 DagRun 模型添加 run_after 列 (#45732)

  • 移除特性: 在 venv 操作符中发送 context (使用 'use_airflow_context') (#46306)

  • 在 generic transfer 测试中移除从 MySQL provider 测试导入的代码 (#46274)

  • 修复 main 分支上与 DagRun 验证相关的失败 (#45917)

  • 开始将 mapped task 移植到 SDK (#45627)

  • AIP-72: 在 SDK 中支持更优的 Context 字典类型提示  (#45583)

  • 移除针对 Context 键弃用的代码 (#45585)

  • AIP-72: 将非用户可见的代码移至 '_internal' (#45515)

  • AIP-72: 在 Task SDK 中添加对 'get_current_context' 的支持 (#45486)

  • 将 Literal 别名移至 TYPE_CHECKING 块 (#45345)

  • AIP-72: 在 Task SDK 中添加 Taskflow API 支持和模板渲染 (#45444)

  • 移除 tuple_in_condition 帮助函数 (#45201)

0.0.3

注意

Provider 仍在开发中 (WIP)。可以在生产环境中使用，但在达到 1.0.0 版本之前，我们可能会引入不遵循语义化版本控制的重大变更。

注意

此 Provider 版本仅适用于 Airflow 2.9+，详情请参阅Apache Airflow provider 支持政策。

重大变更

警告

所有已弃用的类、参数和特性都已从 standard provider 包中移除。引入了以下重大变更

  • 操作符

    • 已从 PythonOperator 以及所有 virtualenv 和 branching 派生类中移除已弃用的参数 use_dill。 请改用 serializer='dill'。

    • 已从所有 Python task decorators 以及 virtualenv 和 branching 派生类中移除已弃用的参数 use_dill。 请改用 serializer='dill'。

  • 移除 Standard 中的 Provider 弃用项 (#44541)

错误修复

  • 在 filesystem sensor 中添加对 StartTriggerArgs 导入的向后兼容性检查 (#44458)

杂项

  • 移除对 AIRFLOW_V_2_9_PLUS 的引用 (#44987)

  • 将 providers 中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)

  • 移除为 AIP-44 引入的 Pydantic 模型 (#44552)

  • 在 providers 中检查 Airflow 版本的一致方式 (#44686)

  • Deferrable sensors 可以实现 sensor 超时 (#33718)

  • 从 renderedtifields.py 中移除 AIP-44 代码 (#44546)

  • 从 taskinstance 中移除 AIP-44 (#44540)

  • 将 'LatestOnlyOperator' 操作符移至 standard provider。 (#44309)

  • 从代码中移除 AIP-44 配置 (#44454)

  • 将 external task sensor 移至 standard provider (#44288)

  • 将 triggers 移至 standard provider (#43608)

0.0.2

注意

Provider 仍在开发中 (WIP)。可以在生产环境中使用，但在达到 1.0.0 版本之前，我们可能会引入不遵循语义化版本控制的重大变更。

错误修复

  • 修复当 trigger_dag_id 被模板化时 TriggerDagRunOperator 的 extra_link (#42810)

杂项

  • 将 'TriggerDagRunOperator' 移至 standard provider (#44053)

  • 将 filesystem sensor 移至 standard provider (#43890)

  • 在整个代码库中将 execution_date 重命名为 logical_date (#43902)

0.0.1

注意

Provider 仍在开发中 (WIP)。可以在生产环境中使用，但在达到 1.0.0 版本之前，我们可能会引入不遵循语义化版本控制的重大变更。

注意

此 provider 通过从 Airflow 2 core 迁移 operators/sensors/hooks 创建。

重大变更

  • 在 BranchDayOfWeekOperator、 DayOfWeekSensor、 BranchDateTimeOperator 中，参数 use_task_execution_date 已被移除。 请使用 use_task_logical_date。

  • PythonVirtualenvOperator 使用内置的 venv 代替 virtualenv 包。

  • is_venv_installed 方法已从 PythonVirtualenvOperator 中移除，因为 venv 是内置的。

  • 此 provider 的初始版本。 (#41564)

此条目有帮助吗？