• 主页
• 核心概念

核心概念

您可以在此处找到有关 Apache Airflow® 每个核心概念及其使用方法的详细文档，以及高级别的架构概览。

架构

• 架构概览
  • Airflow 组件
  • 部署 Airflow 组件
  • 架构图
  • 工作负载
  • 控制流
  • 用户界面

工作负载

• DAG
  • 声明 DAG
  • 加载 DAG
  • 运行 DAG
  • DAG 分配
  • 默认参数
  • DAG 装饰器
  • 控制流
  • 动态 DAG
  • DAG 可视化
  • DAG & 任务文档
  • 打包 DAG
  • .airflowignore
  • DAG 依赖
  • DAG 暂停、停用和删除
  • DAG 自动暂停 (实验性)
• DAG 运行
  • DAG 运行状态
  • 重新运行 DAG
  • 外部触发器
  • 注意事项
• 任务
  • 关系
  • 任务实例
  • 超时
  • SLA
  • 特殊异常
  • 任务实例心跳超时
  • 执行器配置
• 操作符
  • Jinja 模板
  • 保留参数关键字
• 传感器
• TaskFlow
  • 上下文
  • 日志记录
  • 传递任意对象作为参数
  • 传感器和 TaskFlow API
  • 历史记录
• 执行器
  • 执行器类型
  • 并发使用多个执行器
  • 编写自己的执行器
• 认证管理器
  • 可用的认证管理器
  • 为什么需要可插拔的认证管理器？
  • 编写自己的认证管理器
  • 后续步骤
• 对象存储
  • 云对象存储不是真正的文件系统
  • 基本使用
  • 配置
  • 路径 API
  • 扩展
  • 复制和移动
  • 外部集成
• 回填
  • 数据再处理控制
  • 并发控制
  • 运行顺序
  • 空运行
  • 示例

通信

• XComs
  • 对象存储 XCom 后端
  • 自定义 XCom 后端
  • 在容器中验证自定义 XCom 后端的使用
• 变量
• 参数
  • DAG 级别参数
  • 任务级别参数
  • 在任务中引用参数
  • JSON Schema 验证
  • 使用参数提供触发器 UI 表单
  • 禁用运行时参数修改

调试

• 调试 Airflow DAG

上一页 下一页

此条目有帮助吗？