airflow.providers.apache.kafka.operators.produce

属性

local_logger

ProduceToTopicOperator

一个向 Kafka 主题生产消息的 operator。

函数

acked(err, msg)

模块内容

airflow.providers.apache.kafka.operators.produce.local_logger[source]
airflow.providers.apache.kafka.operators.produce.acked(err, msg)[source]
class airflow.providers.apache.kafka.operators.produce.ProduceToTopicOperator(topic, producer_function, kafka_config_id='kafka_default', producer_function_args=None, producer_function_kwargs=None, delivery_callback=None, synchronous=True, poll_timeout=0, **kwargs)[source]

基类: airflow.models.BaseOperator

一个向 Kafka 主题生产消息的 operator。

注册一个 producer 到 Kafka 主题并向日志发布消息。

参数::
  • kafka_config_id (str) – 要使用的连接对象,默认为“kafka_default”

  • topic (str) – producer 应该生产消息到的主题,默认为 None

  • producer_function (str | Callable[Ellipsis, Any]) – 生成键/值对作为生产消息的函数,默认为 None

  • producer_function_args (collections.abc.Sequence[Any] | None) – 应用于 producer callable 的附加参数,默认为 None

  • producer_function_kwargs (dict[Any, Any] | None) – 应用于 producer callable 的附加关键字参数,默认为 None

  • delivery_callback (str | None) – 在消息传递(或失败)后应用的 callback 函数,默认为 None

  • synchronous (bool) – 写入 Kafka 是否应完全同步,默认为 True

  • poll_timeout (float) – 在向 Kafka 生产消息后调用 poll 时应应用的延迟时长,默认为 0

引发::

AirflowException – _描述_

另请参阅

有关如何使用此 operator 的更多信息,请参阅指南: ProduceToTopicOperator

template_fields = ('topic', 'producer_function_args', 'producer_function_kwargs', 'kafka_config_id')[source]
kafka_config_id = 'kafka_default'[source]
topic[source]
producer_function[source]
producer_function_args = ()[source]
producer_function_kwargs[source]
delivery_callback[source]
synchronous = True[source]
poll_timeout = 0[source]
execute(context)[source]

创建 operator 时派生。

Context 是渲染 jinja 模板时使用的相同字典。

有关更多 context 信息,请参阅 get_template_context。

此条目有帮助吗?