Apache Kafka 连接¶
Apache Kafka 连接类型通过 confluent-kafka
Python 包配置与 Apache Kafka 的连接。
默认连接 ID¶
Kafka hooks 和 operators 默认使用 kafka_default
,此连接非常基础,不应假定其对于最简单的测试之外的用途有用。
配置连接¶
连接配置为一个提供给 extra
字段的 JSON 可序列化字符串。error_cb
参数可以通过提供函数路径来指定回调函数,例如 \"module.callback_func\"
。参数的完整列表在 Confluent Kafka Python 库 中描述。
如果您通过 Airflow UI 定义 Airflow 连接,extra
字段将被重命名为 Config Dict
。
大多数 operators 和 hooks 会检查 bootstrap.servers
键至少存在且其值有效。