airflow.providers.apache.kafka.operators.produce

模块内容

类

ProduceToTopicOperator

一个将消息生产到 Kafka 主题的操作符。

函数

acked(err, msg)

属性

local_logger

airflow.providers.apache.kafka.operators.produce.local_logger[源代码]
airflow.providers.apache.kafka.operators.produce.acked(err, msg)[源代码]
class airflow.providers.apache.kafka.operators.produce.ProduceToTopicOperator(topic, producer_function, kafka_config_id='kafka_default', producer_function_args=None, producer_function_kwargs=None, delivery_callback=None, synchronous=True, poll_timeout=0, **kwargs)[源代码]

基类: airflow.models.BaseOperator

一个将消息生产到 Kafka 主题的操作符。

注册一个生产者到 Kafka 主题，并将消息发布到日志。

参数

  • kafka_config_id (str) – 要使用的连接对象，默认为 “kafka_default”

  • topic (str) – 生产者应该生产到的主题，默认为 None

  • producer_function (str | Callable[Ellipsis, Any]) – 生成键/值对作为生产消息的函数，默认为 None

  • producer_function_args (collections.abc.Sequence[Any] | None) – 要应用于生产者可调用对象的附加参数，默认为 None

  • producer_function_kwargs (dict[Any, Any] | None) – 要应用于生产者可调用对象的附加关键字参数，默认为 None

  • delivery_callback (str | None) – 在消息传递（或失败）后应用的callback，默认为 None

  • synchronous (bool) – 如果写入 Kafka 应该是完全同步的，默认为 True

  • poll_timeout (float) – 在生产到 Kafka 后调用 poll 时应应用的延迟时间，默认为 0

引发

AirflowException – _description_

另请参阅

有关如何使用此操作符的更多信息，请查看指南: ProduceToTopicOperator

template_fields = ('topic', 'producer_function_args', 'producer_function_kwargs', 'kafka_config_id')[源代码]
execute(context)[源代码]

在创建操作符时派生。

Context 与渲染 Jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

此条目是否有帮助？