• 首页
• 核心概念

↑↓ 导航 ⏎ 选择 Esc 关闭

核心概念

这里您可以找到关于 Apache Airflow® 各核心概念的详细文档以及如何使用它们，同时还有一个高级的 架构概览。

架构

• 架构概述
  • Airflow 组件
  • 部署 Airflow 组件
  • 架构图
  • 工作负载
  • 控制流
  • 用户界面

工作负载

• Dags
  • 声明 Dag
  • 加载 Dag
  • 运行 Dag
  • Dag 分配
  • 默认参数
  • Dag 装饰器
  • 控制流
  • 动态 Dag
  • Dag 可视化
  • Dag 与任务文档
  • 打包 Dag
  • .airflowignore
  • Dag 依赖
  • Dag 暂停、停用和删除
  • Dag 自动暂停（实验性）
  • 截止日期警报
  • 测试 Dag
• Dag 运行
  • Dag 运行状态
  • 重新运行 Dag
  • 用户界面
  • CLI
  • 外部触发器
  • 需要记住的要点
• 任务
  • 关系
  • 任务实例
  • 超时
  • SLA（服务水平协议）
  • 特殊异常
  • 任务实例心跳超时
  • 执行器配置
• 算子 (Operators)
  • Jinja 模板
  • 保留 params 关键字
  • 前置和后置执行方法
  • pre-/post-execute 与 setup/teardown 的区别
• 传感器 (Sensors)
  • BaseSensorOperator 参数
  • 常用传感器
• TaskFlow
  • Context
  • 日志记录
  • 将任意对象作为参数传递
  • 传感器与 TaskFlow API
  • 历史
• 执行器
  • 执行器类型
  • 并发使用多个执行器
  • 编写自定义执行器
• 认证管理器
  • 可用的认证管理器
  • 为什么使用可插拔的认证管理器？
  • 编写自己的认证管理器
  • Dag 及其子组件授权
  • 后续步骤
• 多团队
  • 何时使用多团队模式
  • 核心概念
  • 启用多团队模式
  • 创建和管理团队
  • 配置团队资源
  • 基于团队的执行器配置
  • Dag 包与团队关联
  • 调度工作原理
  • 架构
  • 重要注意事项
• 对象存储
  • 云对象存储不是实际文件系统
  • 基本使用
  • 配置
  • 路径 API
  • 扩展
  • 复制和移动
  • 外部集成
• 回填
  • 对数据重新处理的控制
  • 并发控制
  • 运行顺序
  • 干运行
  • 示例
• 消息队列

通信

• XComs
  • 对象存储 XCom 后端
  • 自定义 XCom 后端
  • 在容器中验证自定义 XCom 后端的使用
• 变量
• 参数
  • Dag 级别参数
  • 任务级别参数
  • 在任务中引用参数
  • JSON 架构验证
  • 使用参数提供触发 UI 表单
  • 禁用运行时参数修改

调试

• 调试 Airflow Dag
• 在命令行调试 Airflow Dag

上一页 下一页

此条目是否有帮助？