Apache Kafka 连接¶
Apache Kafka 连接类型通过 confluent-kafka
Python 包配置与 Apache Kafka 的连接。
默认连接 ID¶
Kafka 钩子和操作器默认使用 kafka_default
,此连接非常简单,除了最简单的测试之外,不应假设它有用。
配置连接¶
连接配置为提供给 extra
字段的 json 可序列化字符串。 Confluent Kafka python 库 中描述了完整的参数列表。
如果您要从 Airflow UI 定义 Airflow 连接,则 extra
字段将被重命名为 配置字典
。
大多数操作器和钩子将检查至少 bootstrap.servers
键是否存在并且已设置为有效值。