airflow.providers.apache.kafka.operators.produce¶

属性¶

local_logger

类¶

ProduceToTopicOperator

一个向 Kafka 主题生产消息的 operator。

函数¶

acked(err, msg)

模块内容¶

airflow.providers.apache.kafka.operators.produce.local_logger[source]¶

airflow.providers.apache.kafka.operators.produce.acked(err, msg)[source]¶

class airflow.providers.apache.kafka.operators.produce.ProduceToTopicOperator(topic, producer_function, kafka_config_id='kafka_default', producer_function_args=None, producer_function_kwargs=None, delivery_callback=None, synchronous=True, poll_timeout=0, **kwargs)[source]¶

基类: airflow.models.BaseOperator

一个向 Kafka 主题生产消息的 operator。

注册一个 producer 到 Kafka 主题并向日志发布消息。

参数::

kafka_config_id (str) – 要使用的连接对象，默认为“kafka_default”
topic (str) – producer 应该生产消息到的主题，默认为 None
producer_function (str | Callable[Ellipsis, Any]) – 生成键/值对作为生产消息的函数，默认为 None
producer_function_args (collections.abc.Sequence[Any] | None) – 应用于 producer callable 的附加参数，默认为 None
producer_function_kwargs (dict[Any, Any] | None) – 应用于 producer callable 的附加关键字参数，默认为 None
delivery_callback (str | None) – 在消息传递（或失败）后应用的 callback 函数，默认为 None
synchronous (bool) – 写入 Kafka 是否应完全同步，默认为 True
poll_timeout (float) – 在向 Kafka 生产消息后调用 poll 时应应用的延迟时长，默认为 0

引发::

AirflowException – _描述_

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南: ProduceToTopicOperator

template_fields = ('topic', 'producer_function_args', 'producer_function_kwargs', 'kafka_config_id')[source]¶

kafka_config_id = 'kafka_default'[source]¶

topic[source]¶

producer_function[source]¶

producer_function_args = ()[source]¶

producer_function_kwargs[source]¶

delivery_callback[source]¶

synchronous = True[source]¶

poll_timeout = 0[source]¶

execute(context)[source]¶

创建 operator 时派生。

Context 是渲染 jinja 模板时使用的相同字典。

有关更多 context 信息，请参阅 get_template_context。