发布说明¶
在将 chart 升级到最新版本之前,运行 helm repo update。
Airflow Helm Chart 1.16.0 (2025-04-01)¶
重要变更¶
默认 git-sync 镜像更新至 4.3.0 (#41411)¶
Chart 使用的默认 git-sync 镜像现在是 4.3.0,此前版本为 4.1.0。
默认 Airflow 镜像更新至 2.10.5 (#46624)¶
Chart 使用的默认 Airflow 镜像现在是 2.10.5,此前版本为 2.9.3。
默认 PgBouncer 镜像更新至 1.23.1 (#47416)¶
Chart 使用的默认 PgBouncer 镜像现在是 airflow-pgbouncer-2025.03.05-1.23.1,此前版本为 airflow-pgbouncer-2024.01.19-1.21.0。
默认 PgBouncer Exporter 镜像更新至 v0.18.0 (#47416)¶
Chart 使用的默认 PgBouncer Exporter 镜像现在是 airflow-pgbouncer-exporter-2025.03.05-0.18.0,此前版本为 airflow-pgbouncer-exporter-2024.06.18-0.17.0。
默认 StatsD exporter 镜像更新至 v0.28.0 (#43393)¶
Chart 使用的默认 StatsD exporter 镜像现在是 v0.28.0,此前版本为 v0.26.1。
新特性¶
允许将自定义环境变量传递给日志清理 sidecar 容器 (#46003)
允许在 Redis StatefulSet 中使用现有的持久化卷声明 (#41619)
在 Triggerer 中添加 hostAliases 支持 (#41725)
为 Airflow Webserver 启用 HPA (#41955)
为数据库迁移作业添加环境变量支持 (#42345)
支持 Redis Service 使用 NodePort (#41811)
为 DAG 处理器添加心跳指标 (#42398)
选项:为 StatsD 主机启用 ipv6 IP 地址解析支持 (#42625)
允许自定义 worker 中的
podManagementPolicy(#42673)在 chart 中支持多种执行器 (#43606, #44424)
在 helm chart 中将内部 RPC 服务器替换为 API 服务器 (#44463)
添加 OpenSearch 远程日志选项 (#45082)
为 flower deployment 添加
startupProbe(#45012)添加 PgBouncer 和 StatsD ingress (#41759)
添加控制日志清理频率的环境变量 (#46237)
改进¶
更新指标名称以允许多种执行器报告指标 (#40778)
为 ClusterIP 服务添加特定的内部 IP 地址 (#40912)
移除 scheduler 自动 ServiceAccount token (#44173)
更多 PgBouncer secrets 配置控制选项 (#45248)
添加
ti.running指标导出 (#47773)添加
startupProbeinitialDelaySeconds的可选配置 (#47094)引入
worker.extraPorts以向 worker 容器暴露附加端口 (#46679)
Bug 修复¶
当
passwordSecretName为 true 时启用AIRFLOW__CELERY__BROKER_URL_CMD(#40270)正确实现 termination grace period seconds (#41374)
将 kerberos 环境变量添加到基础容器环境变量,添加 webserver-config 卷 (#41645)
修复
volumeClaimTemplates缺少apiVersion和kind的问题 (#41771)将全局卷和卷挂载渲染到清理作业中 (#40191) (#42268)
修复 flower ingress 服务引用 (#41179)
修复 scheduler 在本地和持久化模式下的
volumeClaimTemplate(#42946)修复多种执行器的角色绑定 (#44424)
在 KEDA ScaledObject 中将容器名称设置为
envSourceContainerName(#44963)更新 scheduler deployment 以支持多种执行器 (#46039)
替换元数据标签中不允许的字符 (#46811)
授予 Airflow API Server 读取 Pod 日志的权限 (#47212)
修复多执行器模式下 scheduler ServiceAccount 自动挂载的问题 (#46486)
仅文档变更¶
在文档中体现 jobs 支持
extraInitContainers(#41674)添加如何使用 Kubernetes Secret 配置 PgBouncer 的指南 (#42460)
更新私有 registry 参数描述 (#43721)
修改 kerberos
reinitFrequency参数描述 (#45343)更新 Helm 驱逐配置指南以体现
workers.safeToEvict的默认值 (#44852)添加
storageClassName可以模板化的信息 (#45176)修复生产环境指南中 broker-url secret 名称 (#45863)
在文档中将 DAGs 替换为 dags (#47959)
改进
airflowLocalSettings值描述 (#47855)保持模板化参数标记方式的一致性 (#46481)
杂项¶
在 NOTES 中支持模板化主机名 (#41423)
将 Airflow 默认版本设置为 2.10.5 (#46624)
将 triggerer 配置选项
default_capacity修改为capacity(#48032)AIP-84 将公共 API 移至 /api/v2 下 (#47760)
Chart 中默认使用 FabAuthManager (#47976)
将 PgBouncer 更新至
1.23.1,将 PgBouncer exporter 更新至0.18.0(#47416)将 api-server 移至 8080 端口 (#47310)
在 Airflow 3 中启动 api-server,在 Airflow 2 中启动 webserver (#47085)
将
fastapi-api命令移至api-server(#47076)将
execution_api_server_url配置移至 core 部分 (#46969)对 Airflow 3 使用独立的 DAG 处理器 (#45659)
将
quay.io/prometheus/statsd-exporter从v0.26.1更新至v0.28.0(#43393)
Airflow Helm Chart 1.15.0 (2024-07-24)¶
重要变更¶
默认 Airflow 镜像更新至 2.9.3 (#40816)¶
Chart 使用的默认 Airflow 镜像现在是 2.9.3,此前版本为 2.9.2。
默认 PgBouncer Exporter 镜像已更新 (#40318)¶
PgBouncer Exporter 镜像已更新至 airflow-pgbouncer-exporter-2024.06.18-0.17.0,解决了 CVE-2024-24786 问题。
新特性¶
添加 git-sync 容器生命周期钩子 (#40369)
为 jobs 添加初始化容器 (#40454)
添加持久化卷声明保留策略 (#40271)
为 Redis StatefulSet 添加注解 (#40281)
添加
dags.gitSync.sshKey,允许直接在 values 文件中配置 git-sync 私钥 (#39936)向 git-sync 容器添加
extraEnvFrom(#39031)
改进¶
使用动态 webserver secret 时,UIAlert 中指向生产环境指南的链接现在在新标签页中打开 (#40635)
支持禁用
extraConfigMaps和extraSecrets上的 helm hooks (#40294)
Bug 修复¶
将 git-sync ssh secret 添加到 DAG 处理器 (#40691)
修复重复的
safeToEvict注解 (#40554)在 values.yaml 中添加缺失的
triggerer.keda.usePgbouncer(#40614)使用 mysql 后端时,删除开头的
//字符 (#40401)
仅文档变更¶
更新 chart 下载链接以使用 Apache 下载 CDN (#40618)
杂项¶
将 PgBouncer exporter 镜像更新至
airflow-pgbouncer-exporter-2024.06.18-0.17.0(#40318)将 Airflow 默认版本设置为 2.9.3 (#40816)
修复
startupProbe时间注释 (#40412)
Airflow Helm Chart 1.14.0 (2024-06-18)¶
重要变更¶
ClusterRole 和 ClusterRoleBinding 名称已更新为唯一 (#37197)¶
ClusterRole``s and ``ClusterRoleBinding``s created when ``multiNamespaceMode 在启用时已重命名以确保名称唯一
{{ include "airflow.fullname" . }}-pod-launcher-role已重命名为{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-launcher-role
{{ include "airflow.fullname" . }}-pod-launcher-rolebinding已重命名为{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-launcher-rolebinding
{{ include "airflow.fullname" . }}-pod-log-reader-role已重命名为{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-log-reader-role
{{ include "airflow.fullname" . }}-pod-log-reader-rolebinding已重命名为{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-log-reader-rolebinding
{{ include "airflow.fullname" . }}-scc-rolebinding已重命名为{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-scc-rolebinding
workers.safeToEvict 默认值更改为 False (#40229)¶
workers.safeToEvict 的默认值现在为 False。这是一个更安全的默认设置,因为它阻止了 K8s Cluster Autoscaler 缩减运行 worker 的节点。如果希望保留之前的行为,可以将此配置设为 True。
默认 Airflow 镜像更新至 2.9.2 (#40160)¶
Chart 使用的默认 Airflow 镜像现在是 2.9.2,此前版本为 2.8.3。
默认 StatsD 镜像更新至 v0.26.1 (#38416)¶
Chart 使用的默认 StatsD 镜像现在是 v0.26.1,此前版本为 v0.26.0。
新特性¶
为 triggerer 启用 MySQL KEDA 支持 (#37365)
允许 AWS 执行器 (#38524)
改进¶
允许在组件的环境变量配置中使用
valueFrom(#40135)在
extraContainers和extraInitContainers中启用模板化 (#38507)为 pod-template-file 添加 safe-to-evict 注解 (#37352)
支持 KubernetesExecutor 的
workers.command参数 (#39132)为 Jobs 添加
priorityClassName(#39133)为 pod-template-file 添加 Kerberos sidecar (#38815)
为附加容器添加模板化字段支持 (#38510)
Bug 修复¶
将
workers.safeToEvict默认值设置为 False (#40229)
仅文档变更¶
文档说明
extraContainers和extraInitContainers支持模板化 (#40033)修复 HorizontalPodAutoscaling 文档中的拼写错误 (#39307)
修复文档中支持的 k8s 版本 (#39172)
修复
brokerUrlSecretName的 YAML 路径中的拼写错误 (#39115)
杂项¶
将 Airflow 默认版本设置为 2.9.2 (#40160)
将 Redis 镜像限制为 7.2 版本 (#38928)
使用 Kubernetes 1.29 资源构建 Helm values schema (#38460)
在资源文档中添加缺失的容器 (#38534)
将 StatsD Exporter 镜像升级到 0.26.1 (#38416)
移除对 K8S 1.25 的支持 (#38367)
Airflow Helm Chart 1.13.1 (2024-03-25)¶
重要变更¶
默认 Airflow 镜像更新至 2.8.3 (#38036)¶
Chart 使用的默认 Airflow 镜像现在是 2.8.3,此前版本为 2.8.2。
Bug 修复¶
不覆盖
.Values.airflowPodAnnotations(#37917)修复使用多个同名
multiNamespacereleases 时,集群范围 RBAC 命名冲突的问题 (#37197)
杂项¶
Chart: 将 Airflow 默认版本设置为 2.8.3 (#38036)
Airflow Helm Chart 1.13.0 (2024-03-05)¶
重要变更¶
默认 Airflow 镜像更新至 2.8.2 (#37704)¶
Chart 使用的默认 Airflow 镜像现在是 2.8.2,此前版本为 2.8.1。
新特性¶
支持数据库迁移对象和 pods 的特定标签 (#37490)
改进¶
Flower K8s Probe 配置 (#37528)
Bug 修复¶
移除 webserver service 中重复的 ports 键 (#37356)
向日志清理 sidecar 添加
AIRFLOW_HOME环境变量 (#37588)准备可重现软件包时跳过
.路径 (#37402)
杂项¶
将 Airflow 默认版本设置为 2.8.2 (#37704)
Airflow Helm Chart 1.12.0 (2024-02-11)¶
重要变更¶
helm chart 现在使用更新版本的 bitnami/postgresql 依赖项 (#34817)¶
bitnami/postgresql 子 chart 版本从 12.10.0 升级到 13.2.24。PostgreSQL 二进制文件版本从 11 升级到 16.1.0。
此更改要求现有的 bitnami/postgresql 子 chart 用户使用 pg_dumpall 或 pg_upgrade 手动进行主要版本升级。
温馨提示,建议在生产环境中 设置外部数据库。
默认 Airflow 镜像更新至 2.8.1 (#36907)¶
Chart 使用的默认 Airflow 镜像现在是 2.8.1,此前版本为 2.7.1。
默认 PgBouncer 和 PgBouncer Exporter 镜像已更新 (#36898)¶
PgBouncer 和 PgBouncer Exporter 镜像基于更新的软件/操作系统。
pgbouncer: 1.21.0 基于 alpine 3.14 (airflow-pgbouncer-2024.01.19-1.21.0)
pgbouncer-exporter: 0.16.0 基于 alpine 3.19 (apache/airflow:airflow-pgbouncer-exporter-2024.01.19-0.16.0)
默认 StatsD 镜像更新至 v0.26.0 (#37187)¶
Chart 使用的默认 StatsD 镜像现在是 v0.26.0,此前版本为 v0.22.8。
默认 Redis 镜像更新至 7-bookworm (#37187)¶
Chart 使用的默认 Redis 镜像现在是 7-bookworm,此前版本为 7-bullseye。
新特性¶
为 Airflow Workers 启用原生 HPA (#36174)
为 Airflow Kerberos 添加初始化容器 + sidecar 支持 (#35548)
支持将 MySQL 后端作为 KEDA trigger (#36167)
改进¶
改进 PriorityClass 以提高可调试性 (#36365)
在 DAG 处理器日志清理 sidecar 中添加
securityContexts(#34499)在 DAG 处理器 wait-for-migrations 容器中添加对
securityContexts的支持 (#35593)添加 PVC
storageClassName的模板化支持 (#35581)为 worker 添加
volumeClaimTemplate(#34986)添加对 Redis pods
priorityClassName的支持 (#34879)DAGs 卷的可配置挂载路径 (#35083)
添加对自定义
emptyDir配置的支持 (#34837)新增启用/禁用 scheduler 和 webserver 的功能 (#36991)
Bug 修复¶
修复 Airflow 配置中的 StatsD host (#35679)
使用
airflowHome的值设置AIRFLOW_HOME环境变量 (#34839)更安全的 worker pod 注解 (#35309)
正确设置 worker
safeToEvict(#35130)修复使用
useStandardNaming时的 Redis broker URL (#34825)当
usePgbouncer为 false 时,修复 KEDA 连接中的元数据 DB 和端口 (#34741)修复使用
useStandardNaming时的 PgBouncer 连接 (#34787)
仅文档变更¶
添加关于扩展 Airflow Helm chart 的文档 (#36331)
为 Elasticsearch 连接方案添加注释 (#35588)
添加关于 Virtualenvs 可以避免自定义镜像的需求的说明 (#35306)
杂项¶
将 Airflow 默认版本设置为 2.8.1 (#36907)
支持 git-sync v4 (#34731)
将
bitnami/postgresql子 chart 升级到13.2.24(#36156)将 git sync 容器缩进更改为 4 (#35824)
移除对 K8S 1.24 的支持 (#35214)
使用更新版本重建
pgbouncer和pgbouncer-exporter镜像 (#36898)更新
statsd和redischart 镜像 (#37187)
Airflow Helm Chart 1.11.0 (2023-10-02)¶
重大变更¶
支持 helm chart 资源上的命名自定义,某些资源在升级期间可能会被重命名 (#31066)¶
这是一个新的可选开关 useStandardNaming,为了向后兼容,利用了标准命名约定,它允许在所有资源中充分使用 fullnameOverride 和 nameOverride。
升级到 1.11.0 或更高版本时,以下资源将使用默认的 useStandardNaming=false 进行重命名。
ConfigMap
{release}-airflow-config重命名为{release}-configSecret
{release}-airflow-metadata重命名为{release}-metadataSecret
{release}-airflow-result-backend重命名为{release}-result-backendIngress
{release}-airflow-ingress重命名为{release}-ingress
对于现有安装,您的所有资源将使用新名称重新创建,Helm 将删除之前的资源。
这不会删除 StatefulSet/Deployment 使用的现有日志 PVC,但会使用全新的 PVC 重新创建它们。如果您确实想保留日志历史记录,则需要在部署后手动将这些卷的数据复制到新卷中。此过程可能因您使用的存储后端/类而异。如果您不介意从新的日志/redis 卷开始,您可以直接删除旧的 PVC,例如
kubectl delete pvc -n airflow logs-gta-triggerer-0
kubectl delete pvc -n airflow logs-gta-worker-0
kubectl delete pvc -n airflow redis-db-gta-redis-0
如果您在升级后不更改 useStandardNaming 或 fullnameOverride,您可以照常进行,不会出现意外行为。
bitnami/postgresql 子 chart 更新到 12.10.0 (#33747)¶
Chart 中使用的 PostgreSQL 子 chart 现在是 12.10.0,之前是 12.1.9。
默认 git-sync 镜像更新到 3.6.9 (#33748)¶
Chart 中使用的默认 git-sync 镜像现在是 3.6.9,之前是 3.6.3。
默认 Airflow 镜像更新到 2.7.1 (#34186)¶
Chart 中使用的默认 Airflow 镜像现在是 2.7.1,之前是 2.6.2。
新增特性¶
添加对 POD 模板中 scheduler 名称的支持 (#33843)
支持 KEDA 对 triggerer 进行扩缩容 (#32302)
添加对容器生命周期 hook 的支持 (#32349, #34677)
支持 helm chart 资源上的命名自定义 (#31066)
为 scheduler 和 webserver 添加
startupProbe(#33107)允许使用
automountServiceAccountToken禁用 token 挂载 (#32808)添加对定义自定义优先级类别的支持 (#31615)
添加对
runtimeClassName的支持 (#31868)添加对 workers KEDA trigger 中自定义查询的支持 (#32308)
改进¶
为清理 job 添加
containerSecurityContext(#34351)为 PGBouncer metrics exporter 添加现有 secret 支持 (#32724)
允许在 webserver ingress 主机名中使用模板 (#33142)
允许在 flower ingress 主机名中使用模板 (#33363)
为 StatsD 和 webserver 添加 configmap 注解 (#33340)
为 PgBouncer 添加 pod security context (#32662)
添加一个选项,当启用 PgBouncer 时,在 KEDA 中使用直接数据库连接 (#32608)
允许在 cleanup.schedule 中使用模板 (#32570)
为 dag processor 的
waitformigration容器的extraVolumeMounts添加模板支持 (#32100)能够将额外容器注入到 PgBouncer 中 (#33686)
允许将自定义环境变量添加到 PgBouncer 容器中 (#33438)
添加对 StatsD 容器中环境变量的支持 (#33175)
Bug 修复¶
在数据库迁移 job 中添加
airflow db migrate命令 (#34178)将
workers.terminationGracePeriodSeconds传递到 KubeExecutor pod 模板中 (#33514)CeleryExecutor 命名空间取决于 Airflow 版本 (#32753)
修复 dag processor 未包含 webserver config 卷的问题 (#32644)
Dag processor liveness probe 包含
--local和--job-type参数 (#32426)根据默认值修改 flower_url_prefix (#33134)
文档变更¶
添加更明确的生产环境“嵌入式 postgres”排除说明 (#33034)
更新 git-sync 描述 (#32181)
其他¶
默认 Airflow 版本设为 2.7.1 (#34186)
将 PostgreSQL 子 chart 更新到 12.10.0 (#33747)
将 git-sync 更新到 3.6.9 (#33748)
删除从 helm values 加载环境变量的不必要循环 (#33506)
在 ingress 模板文件中将
common.tplvalues.render替换为tpl(#33384)移除对 K8S 1.23 的支持 (#32899)
修复 chart 命名模板中的注释 (#32681)
删除 workers KEDA 配置部分 chart values 中过时的注释 (#32300)
删除模板文件中不必要的
or函数 (#34415)
Airflow Helm Chart 1.10.0 (2023-06-26)¶
重大变更¶
默认 Airflow 镜像更新到 2.6.2 (#31979)¶
Chart 中使用的默认 Airflow 镜像现在是 2.6.2,之前是 2.5.3。
新增特性¶
添加对容器 security context 的支持 (#31043)
改进¶
验证
executor和config.core.executor是否匹配 (#30693)支持 PodDisruptionBudget 的
minAvailable属性 (#30603)为 dag processor 的
waitForMigrations添加volumeMounts(#30990)为额外卷添加模板支持 (#30773)
Bug 修复¶
修复 webserver probe 的超时和周期设置 (#30609)
为 workers 添加缺失的
waitForMigrations(#31625)为 K8S worker pod 模板添加缺失的
priorityClassName(#31328)为 dag processor 添加 log groomer sidecar (#30726)
不要将全局 security context 传播到 statsd 和 redis (#31865)
其他¶
默认 Airflow 版本设为 2.6.2 (#31979)
为 chart license header 使用模板注释 (#30569)
对齐 chart 模板中的
apiVersion和kind顺序 (#31850)清理 Kubernetes < 1.23 的支持 (#31847)
Airflow Helm Chart 1.9.0 (2023-04-14)¶
重大变更¶
默认 PgBouncer 和 PgBouncer Exporter 镜像已更新 (#29919)¶
PgBouncer 和 PgBouncer Exporter 镜像是基于更新的软件/操作系统。它们也是多平台的 AMD/ARM 镜像。
pgbouncer: 基于 alpine 3.14 的 1.16.1 版本 (airflow-pgbouncer-2023.02.24-1.16.1)
pgbouncer-exporter: 基于 alpine 3.17 的 0.14.0 版本 (apache/airflow:airflow-pgbouncer-exporter-2023.02.21-0.14.0)
默认 Airflow 镜像更新到 2.5.3 (#30411)¶
Chart 中使用的默认 Airflow 镜像现在是 2.5.3,之前是 2.5.1。
新增特性¶
为 Airflow webserver 和 scheduler 添加对
hostAliases的支持 (#30051)为 StatsD Deployment 和 cleanup CronJob 添加注解支持 (#30126)
为日志 PVC 添加注解支持 (#29270)
为额外 ConfigMap 和 Secrets 添加注解支持 (#30303)
为 PgBouncer 添加 pod 注解支持 (#30168)
为
migrateDatabaseJob和createUserJob添加对ttlSecondsAfterFinished的支持 (#29314)添加对使用 Docker 镜像 SHA 摘要的支持 (#30214)
改进¶
在 Helm Chart 中为额外卷添加模板支持 (#29357)
使 PgBouncer Exporter 的 Liveness/Readiness Probe 超时可配置 (#29752)
启用独立的 trigger 日志记录 (#29482)
Bug 修复¶
将
config.kubernetes_executor添加到 values 中 (#29818)阻止镜像配置中的额外属性 (#30217)
如果 KEDA 启用,则移除 replicas (#29838)
启用时将
kerberos.keytab挂载到 worker (#29526)修复为 dag 持久化 PVC 添加注解的问题 (#29622)
修复
bitnami/postgresql的默认用户名和密码问题 (#29478)在 pod 模板文件中添加全局卷 (#29295)
为 triggerer service 添加 log groomer sidecar (#29392)
当使用
postgresql.nameOverride时,Helm 部署失败 (#29214)
文档变更¶
添加 gitSync 可选环境变量描述 (#29378)
添加 webserver NodePort 示例 (#29460)
在 Helm chart 安装说明中包含 Rancher (#28416)
更改 RSA SSH 主机密钥以反映 Github 的更新 (#30286)
其他¶
将 Airflow 版本更新到 2.5.3 (#30411)
在 chart 中切换到新版本的 PgBouncer 和 PgBouncer Exporter (#29919)
重新格式化 chart 模板 (#29917)
重新格式化 chart 模板 第2部分 (#29941)
重新格式化 chart 模板 第3部分 (#30312)
替换废弃的 k8s 注册表引用 (#29938)
修复
airflow_dags_mount格式问题 (#29296)修复
webserver.service.ports格式问题 (#29297)
Airflow Helm Chart 1.8.0 (2023-02-06)¶
重大变更¶
bitnami/postgresql 子 chart 更新到 12.1.9 (#29071)¶
安装的 postgresql 版本仍为 11。
如果您使用内置 postgres 数据库升级现有 helm release,您需要删除 release 并重新全新安装,或者手动删除这 2 个对象
kubectl delete secret {RELEASE_NAME}-postgresql
kubectl delete statefulset {RELEASE_NAME}-postgresql
温馨提示,建议在生产环境中 设置外部数据库。
此版本的 chart 使用不同的变量名来设置 postgres 数据库中的用户名和密码。
postgresql.auth.enablePostgresUser用于确定是否创建“postgres”管理员账户。postgresql.auth.postgresPassword设置“postgres”用户的密码。postgresql.auth.username和postrgesql.auth.password用于在需要时为非管理员账户设置凭据。上一版本 chart 中使用的
postgresql.postgresqlUsername和postgresql.postresqlPassword已不再使用。
如果用户更改 Postgres 配置,则需要在其 values 文件中进行这些更改。
此前子 chart 版本为 10.5.3。
默认 dags.gitSync.wait 减少到 5 秒 (#27625)¶
dags.gitSync.wait 的默认值已从 60 秒减少到 5 秒,以降低 DAGs 在 Airflow 组件之间变得不一致的可能性。但是,这将增加到远程 git 仓库的流量。
默认 Airflow 镜像更新到 2.5.1 (#29074)¶
Chart 中使用的默认 Airflow 镜像现在是 2.5.1,之前是 2.4.1。
默认 git-sync 镜像更新到 3.6.3 (#27848)¶
Chart 中使用的默认 git-sync 镜像现在是 3.6.3,之前是 3.4.0。
默认 redis 镜像更新到 7-bullseye (#27443)¶
Chart 中使用的默认 redis 镜像现在是 7-bullseye,之前是 6-bullseye。
新增特性¶
在 deployment 上添加注解 (#28688)
为 chart 添加全局 volume 和 volumeMounts (#27781)
改进¶
添加对
webserverConfigConfigMapName的支持 (#27419)增强 chart 以允许覆盖 statsd exporter 的命令行参数 (#28041)
在 Services 中添加对 NodePort 的支持 (#26945)
添加 worker log-groomer-sidecar 启用选项 (#27178)
向 Pod 模板文件添加 HostAliases (#27544)
允许 PgBouncer replicas 可配置 (#27439)
Bug 修复¶
创建 scheduler service 为 LocalKubernetesExecutor 提供任务日志 (#28828)
修复 NOTES.txt 显示正确 URL 的问题 (#28264)
为 LocalKubernetesExecutor 添加 worker service account (#28813)
移除对 1.19 api 的检查 (#28461)
将 airflow_local_settings 添加到所有 airflow 容器 (#27779)
使 job 模板中的自定义环境变量可选 (#27148)
减少默认 gitSync 等待时间 (#27625)
也为 sidecars 添加
extraVolumeMounts(#27420)修复 PostgreSQL 子 chart 升级后的 PgBouncer 问题 (#29207)
文档变更¶
增强生产指南,增加一些 Argo 特定的指南 (#29078)
添加关于 Pod 模板镜像的文档说明 (#29032)
更新生产指南的数据库部分 (#28610)
修复 LoadBalancer 代码片段 (#28014)
修复 gitSync 示例代码 (#28083)
更正通过 ssh 克隆仓库的示例 (#27671)
其他¶
将 Airflow 版本更新到 2.5.1 (#29074)
将 git-sync 更新到 3.6.3 (#27848)
将
bitnami/postgresql子 chart 升级到 12.1.9 (#29071)将 redis 更新到 7 (#27443)
替换 helm chart 图标 (#27704)
Airflow Helm Chart 1.7.0 (2022-10-14)¶
重大变更¶
默认 Airflow 镜像更新到 2.4.1 (#26485)¶
Chart 中使用的默认 Airflow 镜像现在是 2.4.1,之前是 2.3.2。
新增特性¶
使清理 job 历史记录可配置 (#26838)
为特定 Airflow 组件添加标签 (#25031)
在 Helm chart values 中添加 StatsD
overrideMappings(#26598)为 StatsD deployment 模板添加
podAnnotations(#25732)容器特定的额外环境变量 (#24784)
为额外 Secrets 和 ConfigMaps 添加自定义标签 (#25283)
为所有 deployment 添加
revisionHistoryLimit(#25059)为 Redis StatefulSet 添加
podAnnotations(#23708)部署独立的 Dag Processor (#23711)
为 webserver probe 添加可配置 scheme (#22815)
为 Helm chart 添加 KEDA HPA 配置支持 (#24220)
改进¶
为 Airflow scheduler deployment 添加 ‘executor’ 标签 (#25684)
在 Helm chart values 中添加默认
flower_url_prefix(#26415)为 Celery workers 添加 liveness probe (#25561)
当
result_backend未设置时,为 celery result backend 使用sql_alchemy_conn(#24496)
Bug 修复¶
修复 pod 模板
imagePullPolicy问题 (#26423)如果启用了 dag 持久化,则不对
sshKeySecret声明卷 (#22913)将 worker 注解传递到生成的 pod 模板中 (#24647)
修复
jobs check命令的 semver 比较数字问题 (#24480)在 Airflow 2.5+ 中为 liveness probe 使用
--local标志 (#24999)
文档变更¶
改进关于禁用 helm hook 的文档 (#26747)
从 git repo 值中移除
ssh://前缀 (#26632)修复
defaultAirflowRepository注释 (#26428)将 DAGs 烘焙到 Docker 镜像中 (#26401)
当使用相同的 DAG tag 时重新加载 pod (#24576)
对
result_backend、dag processor 和helm uninstall的少量澄清 (#24929)为 Release Notes 中的 GitHub PRs 添加超链接 (#24532)
Terraform 不应使用 Helm hook 启动 job (#26604)
Flux 不应使用 Helm hook 启动 job (#24288)
提供关于如何从私有仓库拉取 Airflow 镜像的详细信息 (#24394)
Helm logo 不再是链接 (#23977)
文档说明 chart 中对 LocalKubernetesExecutor 的支持 (#23876)
更新生产指南 (#23836)
其他¶
默认 Airflow 版本设为 2.4.1 (#26485)
将 Bitnami chart 作为 vendored 依赖项包含进来 (#24395)
移除对 Kubernetes 1.20 的支持 (#25871)
Airflow Helm Chart 1.6.0 (2022-05-20)¶
重大变更¶
默认 Airflow 镜像更新到 2.3.0 (#23386)¶
Chart 中使用的默认 Airflow 镜像现在是 2.3.0,之前是 2.2.4。
ingress.enabled 已废弃¶
现在,不再使用一个标志来控制 webserver 和 flower 的 ingress 资源,而是提供了单独的标志来分别控制它们:ingress.web.enabled 和 ingress.flower.enabled。ingress.enabled 已废弃,但仍会继续同时控制两者。
Flower 默认禁用¶
使用 CeleryExecutor 时,Flower 默认不再启用。如果您想部署它,请在 values 文件中将 flower.enabled 设置为 true。
新增特性¶
支持在
volumeClaimTemplates上使用annotations(#23433)为 Helm Chart 添加对
topologySpreadConstraints的支持 (#22712)Helm 支持 LocalKubernetesExecutor (#22388)
为 Helm chart 中 Redis 添加
securityContext配置 (#22182)允许在 Helm DAG PVC 上使用
annotations(#22261)启用 DAGs 卷挂载的可选
subPath(#22323)在 PgBouncer Helm 配置中添加了在
auth_file中覆盖auth_type的支持 (#21999)为 Flower 添加
extraVolumeMounts(#22414)添加 webserver
PodDisruptionBudget(#21735)
改进¶
确保迁移 job 的消息尽早显示 (#23479)
允许 migration job 和 init container 为可选 (#22195)
在 Airflow 2 中使用 jobs check command 进行 liveness probe 检查 (#22143)
文档变更¶
在 Helm 生产文档中添加
resultBackendSecretName警告 (#23307)
其他¶
将默认 Airflow 版本更新到
2.3.0(#23386)将数据库配置移动到新部分 (#22284)
Chart 中默认禁用 flower (#23737)
Airflow Helm Chart 1.5.0, (2022-03-07)¶
重大变更¶
默认 Airflow 镜像更新到 2.2.4¶
Chart 中使用的默认 Airflow 镜像现在是 2.2.4,之前是 2.2.3。
移除 config.api¶
此部分配置了 Airflow API 的身份验证后端,但使用的值与 Airflow 默认设置相同,因此无需再次声明。
新增特性¶
在 jobs 中添加对自定义命令和参数的支持 (#20864)
支持
priorityClassName(#20794)向 Flower deployment 添加
envFrom(#21401)为清理 pod 添加注解 (#21484)
改进¶
加速 scheduler 和 triggerer 的 liveness probe (#20833, #21108)
将 git-sync 更新到 v3.4.0 (#21309)
移除默认 auth backend 设置 (#21640)
Bug 修复¶
修复 elasticsearch URL 在用户名/密码为空时的问题 (#21222)
在 wait-for-airflow-migrations 容器中挂载
airflow.cfg(#20609)授予 triggerer ServiceAccount pod 日志读取权限 (#21111)
文档变更¶
简化配置 Airflow 的 chart 文档 (#21747)
添加关于时间同步所需的额外信息 (#21685)
修复额外容器文档 (#20787)
杂项¶
使用
2.2.4作为默认 Airflow 版本 (#21745)将 Redis 镜像更改为 bullseye (#21875)
Airflow Helm Chart 1.4.0 (2022-01-10)¶
重大变更¶
默认 Airflow 镜像更新至 2.2.3¶
Chart 中使用的默认 Airflow 镜像现已更新至 2.2.3,此前是 2.2.1。
ingress.web.hosts 和 ingress.flower.hosts 参数数据类型已更改,且 ingress.web.tls 和 ingress.flower.tls 已移动¶
ingress.web.hosts 和 ingress.flower.hosts 的类型已从字符串数组更改为对象数组。ingress.web.tls 和 ingress.flower.tls 现在可以在 ingress.web.hosts 和 ingress.flower.hosts 中分别按主机指定。
旧的参数名称将继续可用,但在未来的版本中将移除对其的支持,因此请更新您的 values 文件。
修复了 nodeSelector、affinity 和 tolerations 参数的优先级¶
nodeSelector、affinity 和 tolerations 参数在所有组件上的优先级已修复。现在,组件特定的参数(例如 webserver.affinity)优先于全局参数(例如 affinity)。
默认 KubernetesExecutor worker affinity 已移除¶
此前,为 KubernetesExecutor worker 添加了默认 affinity,以便将 worker 分散到不同节点。此默认 affinity 不再设置,因为一般来说,没有理由将任务特定的 worker 分散到不同节点。
webserver 和 flower NetworkPolicy 默认端口的变更¶
webserver.networkPolicy.ingress.ports 和 flower.networkPolicy.ingress.ports 的默认值已从使用命名端口改为使用数字端口,以避免 OpenShift 的问题。
增加 scheduler 和 triggerer 的默认 livenessProbe timeoutSeconds¶
scheduler 和 triggerer 的默认 livenessProbe 超时时间已从 10 秒增加到 20 秒。
新特性¶
为 extra secrets 参数添加
type(#20599)支持 elasticsearch 连接
scheme(#20564)允许单独禁用内置 secret 变量 (#18974)
添加对
securityContext的支持 (#18249)为 job 添加额外的容器、卷和卷挂载 (#18808)
允许 ingress 多个主机名使用不同的 secret (#18542)
PgBouncer 额外的卷、卷挂载和
sslmode(#19749)允许指定 kerberos keytab (#19054)
允许禁用 Helm hook (#18776, #20018)
添加
migration-wait-timeout(#20069)
改进¶
增加默认
livenessProbe超时 (#20698)对 values.yaml 中的 k8s 对象采用严格 schema (#19181)
移除不必要的
pod_template_file默认值 (#19690)对于 Airflow>=2,使用内置的
check-migrations命令 (#19676)
错误修复¶
修复
affinity、nodeSelector和tolerations的优先级 (#20641)修复 chart elasticsearch 默认端口从 80 到 9200 (#20616)
修复 webserver 和 flower UI 的网络策略问题 (#20199)
使用本地定义进行 k8s schema 验证 (#20544)
为 ingress/PVC 添加自定义标签 (#20535)
修复 extra secrets/configmaps 标签 (#20464)
修复更新时 flower 重启的问题 (#20316)
正确引用命名空间名称 (#20266)
仅文档变更¶
在 chart INSTALL 中添加
helm dependency update步骤 (#20702)重写涵盖 envvar secrets 的章节 (#20566)
添加“自定义 Worker”页面 (#20331)
在生产指南中包含 Datadog 示例 (#17996)
更新生产 Helm 指南数据库章节,使用 k8s secret (#19892)
修复
multiNamespaceMode文档,使其也涵盖 KPO (#19879)澄清 Helm 在加载默认连接时的行为 (#19708)
杂项¶
使用
2.2.3作为默认 Airflow 版本 (#20450)为文档和截图添加 ArtifactHUB 注释 (#20558)
添加 kubernetes 1.21 支持 (#19557)
Airflow Helm Chart 1.3.0 (2021-11-08)¶
重大变更¶
默认 Airflow 镜像更新至 2.2.1¶
Chart 中使用的默认 Airflow 镜像现已更新至 2.2.1 (即 Python 3.7),此前是 2.1.4 (即 Python 3.6)。
triggerer 组件需要 Python 3.7。如果您需要 Python 3.6 和 Airflow 2.2.0 或更高版本,请使用基于 3.6 的镜像,并在您的 values 中设置 triggerer.enabled=False。
使 airflow-run-airflow-migrations job 的资源可配置¶
现在可以通过 migrateDatabaseJob.resources 值来设置迁移 job 的资源请求和限制。
新特性¶
Chart: 为
cleanup和createuserjob 添加资源 (#19263)Chart: 为 cleanup pod 创建的 job 添加标签 (#19225)
添加迁移 job 资源 (#19175)
允许为所有组件添加自定义 pod 注释 (#18481)
Chart: 使 PgBouncer cmd/args 可配置 (#18910)
Chart: 默认使用 python 3.7;支持禁用 triggerer (#18920)
改进¶
Chart: 增加默认 liveness probe 超时 (#19003)
Chart: 在 triggerer 中挂载 DAG (#18753)
错误修复¶
允许通过 Airflow UI 的 Clear > Run 创建 worker pod (#18272)
允许 Airflow 标准镜像使用官方 Helm chart 在 OpenShift 中运行 #18136 (#18147)
仅文档变更¶
Chart: 修复
extraEnvFrom示例 (#19144)Chart 文档: 更新 webserver secret key 参考配置 (#18595)
修复源码安装指南中的 helm chart 链接 (#18588)
杂项¶
Chart: 更新默认 Airflow 版本至
2.2.1(#19326)现代化 dockerfile 构建 (#19327)
Chart: 使用严格 k8s schema 进行模板验证 (#19379)
Airflow Helm Chart 1.2.0 (2021-09-28)¶
重大变更¶
ingress.web.host 和 ingress.flower.host 参数已重命名且数据类型已更改¶
ingress.web.host 和 ingress.flower.host 参数已分别重命名为 ingress.web.hosts 和 ingress.flower.hosts。它们的类型已从字符串更改为字符串数组。
旧的参数名称将继续可用,但在未来的版本中将移除对其的支持,因此请更新您的 values 文件。
默认 Airflow 版本更新至 2.1.4¶
Chart 安装的默认 Airflow 版本现已更新至 2.1.4,此前是 2.1.2。
移除 ingress.flower.precedingPaths 和 ingress.flower.succeedingPaths 参数¶
ingress.flower.precedingPaths 和 ingress.flower.succeedingPaths 参数已被移除,因为它们此前对渲染的 YAML 输出没有影响。
Ingress 上默认 path 的变更¶
随着对 stable Kubernetes Ingress API 的支持,默认路径已从未设置更改为 /。对于大多数 Ingress controller,这不应改变生成的 Ingress 资源的行为。
新特性¶
将 Triggerer 添加到 Helm Chart (#17743)
Chart: 在未设置 webserver secret key 时发出警告 (#18306)
为
migrateDatabaseJob添加extraContainers(#18379)job 模板上的标签 (#18403)
Chart: 允许使用默认镜像运行和等待 DB 迁移 (#18218)
Chart: 使 cleanup cronjob cmd/args 可配置 (#17970)
Chart: 可配置的 log groomer 保留天数 (#17764)
Chart: 在 webserver 和 flower service 中添加
loadBalancerSourceRanges(#17666)Chart: 支持 k8s worker 中的
extraContainers(#17562)
改进¶
切换到最新版本的 PGBouncer-Exporter (#18429)
Chart: 能够通过多个主机名访问 http k8s (#18257)
Chart: 在可用时使用 stable API 版本 (#17211)
Chart: 允许
podTemplate被模板化 (#17560)
错误修复¶
Chart: 修复在 Triggerer 上应用
labels的问题 (#18299)修复 celery worker 的温和关机 (#18068)
Chart: 修复 Triggerer 的一些小问题 (#18105)
Chart: 修复 webserver secret key 更新 (#18079)
Chart: 修复使用
uid0运行的问题 (#17688)Chart: 为 log reader RoleBinding 使用 ServiceAccount 模板 (#17645)
Chart: 修复 elasticsearch-secret 模板端口默认函数 (#17428)
KEDA 任务计数查询应忽略 k8s 队列 (#17433)
仅文档变更¶
Chart 文档: 删除添加连接文档中的多余空格 (#18424)
改进所有组件的从源码安装页面 (#18251)
Chart 文档: 使用 code-block 格式化
loadBalancerSourceRanges(#17763)文档: 修复 ssh 相关警告消息中的一个损坏链接 (#17294)
Chart: 添加在升级前更新 Helm Repo 的说明 (#17282)
Chart 文档: 改进关于 logs 现有 PVC 权限的说明 (#17177)
杂项¶
Chart: 更新默认 Airflow 版本至
2.1.4(#18354)
Airflow Helm Chart 1.1.0 (2021-07-26)¶
重大变更¶
在将 chart 升级到最新版本之前,运行 helm repo update。
默认 Airflow 版本更新至 2.1.2¶
Chart 安装的默认 Airflow 版本现已更新至 2.1.2,此前是 2.0.2。
不再支持 Helm 2¶
此 chart 已放弃对 Helm 2 的支持,因为它已被弃用且自 2020 年 11 月起不再接收安全更新。
webserver.extraNetworkPolicies 和 flower.extraNetworkPolicies 参数已重命名¶
webserver.extraNetworkPolicies 和 flower.extraNetworkPolicies 已分别重命名为 webserver.networkPolicy.ingress.from 和 flower.networkPolicy.ingress.from。它们的值和行为相同。
旧的参数名称将继续可用,但在未来的版本中将移除对其的支持,因此请更新您的 values 文件。
移除 dags.gitSync.root、dags.gitSync.dest 和 dags.gitSync.excludeWebserver 参数¶
dags.gitSync.root 和 dags.gitSync.dest 参数并未为 chart 用户提供任何有用的行为,因此已被移除。如果您的 values 文件中设置了这些参数,可以安全地将其移除。
dags.gitSync.excludeWebserver 参数被错误地包含在 chart 的 values.schema.json 中。如果您的 values 文件中设置了此参数,可以安全地将其移除。
nodeSelector、affinity 和 tolerations 在 migrateDatabaseJob 和 createUserJob job 上¶
migrateDatabaseJob 和 createUserJob job 此前错误地使用了 webserver 的 nodeSelector、affinity 和 tolerations(如果设置)。现在每个 job 都可以单独配置。
新特性¶
Chart: 允许
CeleryExecutor使用krb5.conf(#16822)Chart: 重构 webserver 和 flower NetworkPolicy (#16619)
Chart: 将 worker 的节点分配设置应用于 Pod Template File (#16663)
Chart: 支持覆盖 webserver 和 flower service 端口 (#16572)
Chart: 支持 flower 中的
extraContainers和extraVolumes(#16515)Chart: 允许在 helm chart 中配置 pod 资源 (#16425)
Chart: 支持 job 级别的注释;修复 job 调度配置 (#16331)
feat: Helm chart 将
minReplicaCount添加到 KEDA 的worker-kedaautoscaler.yaml(#16262)Chart: 添加对自定义 command 和 args 的支持 (#16153)
Chart: 为
pgbouncer添加额外的 ini 配置 (#16120)Chart: 为 scheduler/webserver/workers 添加
extraInitContainers(#16098)git-sync sidecar 的资源可配置 (#16080)
Chart: 模板化
airflowLocalSettings和webserver.webserverConfig(#16074)支持 scheduler 上的
strategy/updateStrategy(#16069)Chart: 为 job 添加 airflow 和 extra 注释 (#16058)
Flower 和 Webserver 的
loadBalancerIP和annotations(#15972)
改进¶
Chart: 将 Postgres subchart 更新至 10.5.3 (#17041)
Chart: 更新默认 Airflow 版本至
2.1.2(#17013)更新 Helm Chart 的默认镜像至
2.1.1(#16785)Chart: 使用
KubernetesExecutor并采用默认日志时发出警告 (#16784)放弃对 Helm 2 的支持 (#16575)
Chart: scheduler、webserver 和 worker 的
podAntiAffinity(#16315)Chart: 更新默认 Airflow 版本至
2.1.0(#16273)Chart: 仅在需要时在 webserver 中挂载 DAG (#16229)
Chart: 移除
git-sync的root和dest参数 (#15955)Chart: 添加关于缺少
knownHosts的警告 (#15950)
错误修复¶
Chart: 为 Webserver 的 flask secret key 创建一个随机 secret (#17142)
Chart: 修复 cleanup ServiceAccount 上的标签 (#16722)
Chart: 修复 Worker Deployment 上覆盖节点分配设置的问题 (#16670)
Chart: 始终部署一个
gitsyncinit container (#16339)Chart: 修复从
KubernetesExecutor更新到CeleryExecutor的问题 (#16242)Chart: 为 Kubernetes worker pod 添加标签 (#16203)
Chart: 允许
webserver.base_url被模板化 (#16126)Chart: 修复
PgBouncerexporter sidecar (#16099)从 chart 的
values.schema.json中移除dags.gitSync.excludeWebserver(#16070)Chart: 修复在未启用 Elasticsearch 时创建 Elasticsearch secret 的问题 (#16015)
处理 Helm Chart 密码中的特殊字符 (#16004)
修复在未启用 flower 时创建 flower ServiceAccount 的问题 (#16011)
Chart:
KubernetesExecutor的gitsync清理 (#15925)使用
gitsync时,以只读模式挂载 DAG (#15953)
仅文档变更¶
Chart 文档: 注意现有 PVC 的 uid 写入权限 (#17170)
Chart 文档: 添加
multiNamespaceMode的单行描述 (#17147)Chart: 更新 Helm chart 的描述,包含“官方”字样 (#17040)
Chart: 改进
podTemplate的注释和示例 (#16859)Chart: 添加更清晰的设置
pod_template_file.yaml的文档 (#16632)修复
scheduler.livenessprobe.periodSeconds的描述 (#16486)Chart 文档: 修复
extrasecrets示例 (#16305)改进
README.md文件的小细节 (#16244)
杂项¶
从我们的工具链中移除 pylint (#16682)
更新链接以匹配 pre-commit 中的内容 (#16408)
Chart: 更新
Chart.yaml中的appVersion至 2.1.0 (#16337)将 Airflow 仓库的主分支重命名为
main(#16149)更新 Chart 版本至
1.1.0-rc1(#16124)