`airflow.providers.celery.executors.celery_executor`¶

CeleryExecutor。

另请参阅

有关 CeleryExecutor 工作原理的更多信息，请查看指南： Celery 执行器

模块内容¶

类¶

CeleryExecutor

建议在 Airflow 的生产环境中使用 CeleryExecutor。

函数¶

__getattr__(name)

属性¶

`log`
`CELERY_SEND_ERR_MSG_HEADER`
`TaskInstanceInCelery`
`ARG_BROKER_API`
`ARG_FLOWER_HOSTNAME`
`ARG_FLOWER_PORT`
`ARG_FLOWER_CONF`
`ARG_FLOWER_URL_PREFIX`
`ARG_FLOWER_BASIC_AUTH`
`ARG_AUTOSCALE`
`ARG_QUEUES`
`ARG_CONCURRENCY`
`ARG_CELERY_HOSTNAME`
`ARG_UMASK`
`ARG_WITHOUT_MINGLE`
`ARG_WITHOUT_GOSSIP`
`CELERY_CLI_COMMAND_PATH`
`CELERY_COMMANDS`

airflow.providers.celery.executors.celery_executor.log[源代码]¶

airflow.providers.celery.executors.celery_executor.CELERY_SEND_ERR_MSG_HEADER = '发送 Celery 任务时发生错误'[源代码]¶

airflow.providers.celery.executors.celery_executor.TaskInstanceInCelery[源代码]¶

airflow.providers.celery.executors.celery_executor.__getattr__(name)[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_BROKER_API[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_FLOWER_HOSTNAME[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_FLOWER_PORT[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_FLOWER_CONF[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_FLOWER_URL_PREFIX[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_FLOWER_BASIC_AUTH[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_AUTOSCALE[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_QUEUES[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_CONCURRENCY[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_CELERY_HOSTNAME[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_UMASK[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_WITHOUT_MINGLE[源代码]¶

airflow.providers.celery.executors.celery_executor.ARG_WITHOUT_GOSSIP[源代码]¶

airflow.providers.celery.executors.celery_executor.CELERY_CLI_COMMAND_PATH[源代码]¶

airflow.providers.celery.executors.celery_executor.CELERY_COMMANDS = ()[源代码]¶

class airflow.providers.celery.executors.celery_executor.CeleryExecutor[源代码]¶

基类： airflow.executors.base_executor.BaseExecutor

建议在 Airflow 的生产环境中使用 CeleryExecutor。

它允许将任务实例的执行分发到多个工作节点。

Celery 是一个简单、灵活且可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。

supports_ad_hoc_ti_run: bool = True[源代码]¶

supports_sentry: bool = True[源代码]¶

start()[源代码]¶

执行器可能需要启动一些操作。

sync()[源代码]¶

同步操作会由心跳方法定期调用。

执行器应重写此方法以执行状态收集。

debug_dump()[源代码]¶

调试转储；由调度器响应 SIGUSR2 信号调用。

update_all_task_states()[源代码]¶

更新任务的状态。

change_state(key, state, info=None, remove_running=True)[源代码]¶

更改任务的状态。

参数

key (airflow.models.taskinstancekey.TaskInstanceKey) – 任务实例的唯一键
state (airflow.utils.state.TaskInstanceState) – 要为任务设置的状态。
info – 任务实例的执行器信息
remove_running – 是否从运行集合中删除 TI 键

update_task_state(key, state, info)[源代码]¶

更新单个任务的状态。

end(synchronous=False)[源代码]¶

同步等待先前提交的作业完成。

terminate()[源代码]¶: 当守护程序收到 SIGTERM 信号时调用。

try_adopt_task_instances(tis)[源代码]¶

尝试采用已被 SchedulerJob 终止而放弃的正在运行的任务实例。

任何未被采用的任务实例都将由调度器清除（然后变得有资格重新调度）

返回: 任何无法采用的 TaskInstance
返回类型: collections.abc.Sequence[airflow.models.taskinstance.TaskInstance]

cleanup_stuck_queued_tasks(tis)[源代码]¶

从执行器中删除卡在排队状态的任务并使其失败。

此方法已弃用。请改用 cleanup_tasks_stuck_in_queued。

revoke_task(*, ti)[源代码]¶

尝试从执行器中删除任务。

它应尝试确保任务不再在工作节点上运行，并确保将其从内部数据结构中清除。

它不应更改 airflow 中任务的状态，或向事件缓冲区添加任何事件。

它不应引发任何错误。

参数: ti (airflow.models.taskinstance.TaskInstance) – 要删除的任务实例

static get_cli_commands()[源代码]¶

向 Airflow CLI 提供要包含的 CLI 命令。

重写此方法以通过 Airflow CLI 公开命令来管理此执行器。这可以是用于设置/拆卸执行器、检查状态等的命令。请确保为这些命令选择唯一的名称，以避免冲突。

airflow.providers.celery.executors.celery_executor¶

模块内容¶

类¶

函数¶

属性¶

`airflow.providers.celery.executors.celery_executor`¶