数据库迁移参考¶
这是运行 airflow db migrate
时执行的所有数据库迁移的列表。
警告
此处列出这些迁移详情,主要是为了让用户了解在特定 Airflow 版本之间进行迁移时,何时以及会执行哪些类型的迁移。其目的是希望那些“了解数据库”的用户能够对迁移进行分析,并得出迁移对其 Airflow 数据库影响的结论。这些用户可能还想查看数据库 ERD 模式文档,以了解 Airflow 内部数据库的结构是怎样的。但是,您应该注意,该结构是内部的,不应直接访问数据库来检索或修改任何数据 - 您应该改用REST API 来执行此操作。
修订 ID |
前一个修订 ID |
Airflow 版本 |
描述 |
---|---|---|---|
|
|
|
修改 TI 表,为每次尝试使用唯一的 UUID 作为 ID/主键。 |
|
|
|
在 |
|
|
|
在 `dag_run` 表中,将 `run_type` 从 ‘dataset_triggered’ 重命名为 ‘asset_triggered’。 |
|
|
|
添加新的 otel span 字段。 |
|
|
|
在 DagPriorityParsingRequest 中支持 bundles。 |
|
|
|
使用 ti_id 作为 TaskReschedule 的外键 (FK)。 |
|
|
|
删除 `dag` 表中的 `default_view` 列。 |
|
|
|
使用 TI.id 作为 TaskInstanceNote 的主键。 |
|
|
|
为 TI 和 TIH 添加 try_id。 |
|
|
|
移除 `external_trigger` 字段。 |
|
|
|
为 DagRun 添加 run_after 字段。 |
|
|
|
为 `task_instance` 添加新字段 `scheduled_dttm`。 |
|
|
|
添加相对文件位置列。 |
|
|
|
从 `dagrun` 表中移除 pickled 数据。 |
|
|
|
添加资产参考模型。 |
|
|
|
移除 `processor_subdir`。 |
|
|
|
添加截止日期警报表。 |
|
|
|
将 `task_instance` 表中的 `trigger_timeout` 列更新为 UTC 时区。 |
|
|
|
添加 DagBundleModel。 |
|
|
|
从 `xcom` 表中移除 pickled 数据。 |
|
|
|
添加资产和触发器之间的引用。 |
|
|
|
添加 DAG 版本控制。 |
|
|
|
删除 DAG pickling。 |
|
|
|
直接为 TI 添加 `last_heartbeat_at`。 |
|
|
|
删除 `task_fail` 表。 |
|
|
|
移除 `scheduler_lock` 列。 |
|
|
|
为 |
|
|
|
将 dataset 重命名为 asset。 |
|
|
|
为 BackfillDagRun 添加 `exception_reason` 和 `logical_date`。 |
|
|
|
调整 AssetAliasModel 以匹配 AIP-76 后的 AssetModel。 |
|
|
|
添加 AssetActive 以跟踪孤立状态,而不是使用标志。 |
|
|
|
为 dag run model 添加 backfill 字段。 |
|
|
|
为 DatasetModel 添加 `name` 和 `group` 字段。 |
|
|
|
将 `dag_run_note.user_id` 和 `task_instance_note.user_id` 列的数据类型更新为 String。 |
|
|
|
移除冗余索引。 |
|
|
|
添加 backfill 相关的表。 |
|
|
|
将 `execution_date` 重命名为 `logical_date`。 |
|
|
|
为 DagRun 添加 `triggered_by` 字段。 |
|
|
|
将 DagModel 中的 `schedule_interval` 重命名为 `timetable_summary`。 |
|
|
|
移除 SubDAG 相关列:从 DAG 表中移除 |
|
|
|
删除 ab_user.id 外键。 |
|
|
|
重命名 `dag_schedule_dataset_alias_reference` 表的约束名称。 |
|
|
|
添加 `dag_schedule_dataset_alias_reference` 表。 |
|
|
|
添加 `dataset_alias_dataset` 关联表。 |
|
|
|
为审计日志添加 `try_number`。 |
|
|
|
添加 `dataset_alias_dataset_event`。 |
|
|
|
添加 `dataset_alias`。 |
|
|
|
添加 `task_instance_history`。 |
|
|
|
添加 DagPriorityParsingRequest 表。 |
|
|
|
向数据库添加新的 executor 字段。 |
|
|
|
在引用表中的 dag_id 列上添加索引。 |
|
|
|
修复 ORM 和迁移文件之间的不一致。 |
|
|
|
移除 `dag_run` 表中 `last_scheduling_decision` 上的 |
|
|
|
更新 trigger kwargs 的类型并加密。 |
|
|
|
为 DAG 和 Task Instance 添加显示名称。 |
|
|
|
针对 MySQL,将 `xcom` 表中的 `value` 列类型更改为 `longblob`。 |
|
|
|
向 `dag_model` 表添加 `max_consecutive_failed_dag_runs` 列。 |
|
|
|
在 DagModel 中添加 `dataset_expression`。 |
|
|
|
向(审计)日志表添加 `run_id`,并增加事件名称的长度。 |
|
|
|
为 TaskInstance 添加 `rendered_map_index`。 |
|
|
|
删除未使用的 TI 索引。 |
|
|
|
为 ImportError 添加 `processor_subdir`。 |
|
|
|
将连接的登录/密码字段设置为 TEXT 类型。 |
|
|
|
向(审计)日志表添加 `owner_display_name`。 |
|
|
|
为 `dagrun` 添加新字段 ‘`clear_number`’。 |
|
|
|
向 pool 表添加 `include_deferred` 列。 |
|
|
|
添加 `custom_operator_name` 列。 |
|
|
|
向 `task_instance` 表添加索引。 |