连接 & 钩子

Airflow 通常用于将数据拉入和推送到其他系统,因此它有一个首要的连接概念,用于存储用于与外部系统通信的凭据。

连接本质上是一组参数 - 例如用户名、密码和主机名 - 以及它连接到的系统类型以及称为 conn_id 的唯一名称。

它们可以通过 UI 或 CLI 进行管理;有关创建、编辑和管理连接的更多信息,请参阅 管理连接。有可自定义的连接存储和后端选项。

您可以直接从自己的代码中使用连接,可以通过钩子使用它们,也可以从 模板 中使用它们。

echo {{ conn.<conn_id>.host }}

钩子

钩子是外部平台的高级接口,可让您快速轻松地与它们通信,而无需编写低级代码来访问它们的 API 或使用特殊的库。它们通常也是构建操作符的基本模块。

它们与连接集成以收集凭据,并且许多都有默认的 conn_id;例如,如果您不传入 conn_id,则 PostgresHook 会自动查找 conn_idpostgres_default 的连接。

您可以在我们的 API 文档中查看 Airflow 钩子的完整列表

自定义连接

Airflow 允许定义自定义连接类型。这是在 Provider 包 中详细描述的内容 - 提供程序使您能够定义自己的连接。连接自定义可以由任何提供程序完成,但社区管理的许多提供程序也定义了自定义连接类型。由 Apache Airflow 社区 托管的提供程序 提供的所有提供程序的完整列表可以在 连接 中找到。

此条目是否有帮助?