apache-airflow-providers-postgres

变更日志¶

6.1.3¶

错误修复 (Bug Fixes)¶

修复 PostgresHook Json 序列化 (#49120)

其他 (Misc)¶

移除多余的 else 块 (#49199)

6.1.2¶

其他 (Misc)¶

更新 common.sql 提供者的最低版本至 1.23.0 (#48416)

6.1.1¶

其他 (Misc)¶

升级 flit 至 3.11.0 (#46938)

6.1.0¶

新特性 (Features)¶

在 DbApiHook 中引入方言概念 (#41327)

错误修复 (Bug Fixes)¶

修复 common sql 提供者方言中作为列名的特殊字符或保留字的转义问题 (#45640)

其他 (Misc)¶

将 psycopg2 提升到 2.9.9 以可能避免在 Python 3.12 上崩溃 (#46431)
添加描述引入方言概念原因的 ADR 文档 (#45456)
将 psycopg2-binary 的最低版本提升到 2.9.7 (#45635)

6.0.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.9+。

重大变更 (Breaking changes)¶

警告

Postgres 提供者包中已移除所有已弃用的类、参数和特性。引入了以下重大变更：

Hooks
- schema 参数已重命名为 database，因为它包含数据库名称。已移除弃用的参数、getter 和 setter。请使用 database 设置数据库名称。
操作器 (Operators)
- 移除 airflow.providers.postgres.operators.postgres.PostgresOperator。请改用 airflow.providers.common.sql.operators.sql.SQLExecuteQueryOperator。

移除 Postgres 中的提供者弃用 (#44705)

其他 (Misc)¶

将提供者中的最低 Airflow 版本提升到 Airflow 2.9.0 (#44956)
更新多个提供者文档中的 DAG 示例链接 (#44034)
添加基本的 asyncio 支持 (#43944)

5.14.0¶

新特性 (Features)¶

为 PostgresHook 添加 AWS Redshift Serverless 支持 (#43669)

错误修复 (Bug Fixes)¶

修复 PostgresHook 获取 AWS Redshift Serverless 凭据时的错误 (#43807)

其他 (Misc)¶

为 DbApiHook, PrestoHook, 和 TrinoHook 添加支持分号剥离 (#41916)

5.13.1¶

其他 (Misc)¶

将 dataset 相关的 python 变量名重命名为 asset (#41348)

5.13.0¶

新特性 (Features)¶

特性: 记录提供者 postgres 的客户端 db 消息 (#40171)

其他 (Misc)¶

通用化 DbApiHook 中的连接缓存以提高性能 (#40751)

5.12.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.8+。

其他 (Misc)¶

将提供者中的最低 Airflow 版本提升到 Airflow 2.8.0 (#41396)

5.11.3¶

其他 (Misc)¶

清理 DbApiHook 中剩余的 getattr connection (#40665)

5.11.2¶

其他 (Misc)¶

实现带有最低直接依赖解析的按提供者进行的测试 (#39946)

5.11.1¶

错误修复 (Bug Fixes)¶

修复: 为 postgresql 提供者在 'get_uri' 中使用 'sqlalchemy_url' 属性 (#38831)

其他 (Misc)¶

更快的 'airflow_version' 导入 (#39552)
简化 'airflow_version' 导入 (#39497)

5.11.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.7+。

错误修复 (Bug Fixes)¶

修复 PostgresOperator 中的 schema 赋值 (#39264)

其他 (Misc)¶

将提供者中的最低 Airflow 版本提升到 Airflow 2.7.0 (#39240)
在 DbApiHook 中插入行时总是使用 executemany 方法，因为它快得多 (#38715)

5.10.2¶

其他 (Misc)¶

实现 AIP-60 数据集 URI 格式 (#37005)

5.10.1¶

其他 (Misc)¶

特性: 将所有类、函数、方法的弃用切换到装饰器 (#36876)

5.10.0¶

新特性 (Features)¶

使 ODBC 的 "placeholder" 在 UI 中可配置 (#36000)

错误修复 (Bug Fixes)¶

在子类中遵循 BaseHook connection fields 方法签名 (#36086)

5.9.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.6+。

其他 (Misc)¶

将提供者中的最低 Airflow 版本提升到 Airflow 2.6.0 (#36017)

5.8.0¶

新特性 (Features)¶

重构 PostgresHook 中的游标检索 (#35498)

5.7.1¶

错误修复 (Bug Fixes)¶

'PostgresOperator' 不应覆盖 'SQLExecuteQueryOperator.template_fields' (#34969)

5.7.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.5+。

新特性 (Features)¶

为 PostgresHook 添加 'get_ui_field_behaviour()' 方法 (#34811)

其他 (Misc)¶

提升提供者的最低 airflow 版本 (#34728)

5.6.1¶

其他 (Misc)¶

通过将一些模块放入类型检查块中，改进 Airflow 提供者中的模块导入 (#33754)
在提供者中使用带有多个上下文的单一语句，而不是嵌套语句 (#33768)
在提供者中使用字面字典而不是调用 dict() (#33761)

5.6.0¶

新特性 (Features)¶

openlineage, postgres: 为 Postgres 添加 OpenLineage 支持 (#31617)

其他 (Misc)¶

在提供者模块和类的 docstring 中添加弃用信息 (#32536)

5.5.2¶

其他 (Misc)¶

弃用 'runtime_parameters' ，改用 'hook_params' 中的 options (#32345)

5.5.1¶

注意

此版本放弃了对 Python 3.7 的支持

其他 (Misc)¶

添加提供者放弃 Python 3.7 的说明 (#32015)

5.5.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.4+。

其他 (Misc)¶

提升提供者中的最低 Airflow 版本 (#30917)

5.4.0¶

新特性 (Features)¶

重新引入 psycopg2-binary 作为依赖，而不是 psycopg (#28316)

5.3.1¶

错误修复 (Bug Fixes)¶

提升 common.sql 提供者至 1.3.1 (#27888)

5.3.0¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.3+。

其他 (Misc)¶

将所有提供者的最低 airflow 版本移至 2.3.0 (#27196)

新特性 (Features)¶

PostgresHook: 当所有目标字段都是主键时，添加 ON CONFLICT DO NOTHING 语句 (#26661)
添加 SQLExecuteQueryOperator (#25717)
在 PostgresHook 中将 schema 重命名为 database (#26744)

5.2.2¶

其他 (Misc)¶

为 common-sql 添加 lower bound (#25789)

5.2.1¶

错误修复 (Bug Fixes)¶

提升 common-sql 依赖以修复 SQLTableCheckOperator 的问题 (#26143)

5.2.0¶

新特性 (Features)¶

在 IAM 授权期间，仅使用公共的 AwsHook 方法 (#25424)
统一 DbApiHook.run() 方法及其覆盖方法 (#23971)

5.1.0¶

新特性 (Features)¶

将所有 SQL 类移至 common-sql 提供者 (#24836)

5.0.0¶

重大变更 (Breaking changes)¶

注意

如 Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.2+。

4.1.0¶

新特性 (Features)¶

添加向 postgres operator 传递配置参数的能力 (#21551)

错误修复 (Bug Fixes)¶

修复所有提供者中错误添加的 install_requires (#22382)

4.0.1¶

其他 (Misc)¶

在 PyPI 中添加 Trove 分类器 (Framework :: Apache Airflow :: Provider)

4.0.0¶

Postgres get_uri() 返回的 URI 现在使用 postgresql:// 前缀，而不是 postgres:// 前缀，后者是 SQLAlchemy 1.4.0+ 唯一支持的前缀。任何使用 get_uri() 的地方如果期望 postgres:// 前缀，则需要更新以反映此变化。

重大变更 (Breaking changes)¶

将 postgres:// 的使用替换为 postgresql:// (#21205)

新特性 (Features)¶

添加更多 SQL 模板字段渲染器 (#21237)
为新的 SQL lexer 添加条件性的 'template_fields_renderers' 检查 (#21403)

其他 (Misc)¶

支持 Python 3.10

3.0.1¶

其他 (Misc)¶

使 DbApiHook 使用 Connection 中的 get_uri (#21764)

2.4.0¶

新特性 (Features)¶

19489 - 为 postgres 连接传递 client_encoding (#19827)
Amazon 提供者移除弃用，第二次尝试 (#19815)

错误修复 (Bug Fixes)¶

2.3.0¶

新特性 (Features)¶

在 S3ToRedshift 操作器上添加 upsert 方法 (#18027)

错误修复 (Bug Fixes)¶

修复 PostgresOperator 的示例 dag (#18236)

2.2.0¶

新特性 (Features)¶

使 DBApiHook 中的 schema 为私有 (#17423)

其他 (Misc)¶

优化 Airflow 2.2.0 的连接导入

2.1.0 (已撤回)¶

警告

此版本已撤回，原因是: The postgres operator seem to conflict with earlier versions of Airflow （postgres 操作器似乎与早期版本的 Airflow 冲突）

新特性 (Features)¶

添加 schema 作为 DbApiHook 实例属性 (#16521)

2.0.0¶

重大变更 (Breaking changes)¶

自动应用 apply_default 装饰器 (#15667)

警告

由于移除了 apply_default 装饰器，此提供者版本需要 Airflow 2.1.0+。如果您的 Airflow 版本小于 2.1.0，并且您想安装此提供者版本，请先将 Airflow 升级到至少 2.1.0。否则您的 Airflow 包版本将自动升级，并且您必须手动运行 airflow upgrade db 来完成迁移。

新特性 (Features)¶

PostgresHook: 深度拷贝 connection 以避免修改 connection 对象 (#15412)
postgres_hook_aws_conn_id (#16100)

1.0.2¶

不将 cluster-identifier 转发给 psycopg2 (#15360)

1.0.1¶

更新了文档和 readme 文件。添加了 Postgres Operator 的操作指南 (HowTo guide)。

1.0.0¶

提供者初始版本。