`airflow.operators.bash`¶

模块内容¶

类¶

BashOperator

执行 Bash 脚本、命令或一组命令。

class airflow.operators.bash.BashOperator(*, bash_command, env=None, append_env=False, output_encoding='utf-8', skip_exit_code=None, skip_on_exit_code=99, cwd=None, output_processor=lambda result: ..., **kwargs)[源代码]¶

基类: airflow.models.baseoperator.BaseOperator

执行 Bash 脚本、命令或一组命令。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：BashOperator

如果 BaseOperator.do_xcom_push 为 True，则当 bash 命令完成时，写入 stdout 的最后一行也将被推送到 XCom

参数

bash_command (str | airflow.utils.types.ArgNotSet) – 要执行的命令、命令集或对 Bash 脚本的引用（必须是 '.sh' 或 '.bash'）。(已模板化)
env (dict[str, str] | None) – 如果 env 不为 None，则它必须是一个字典，用于定义新进程的环境变量；这些变量将代替继承当前进程环境（这是默认行为）。（已模板化）
append_env (bool) – 如果为 False（默认），则使用 env 参数中传递的环境变量，并且不继承当前进程环境。如果为 True，则继承当前进程传递的环境变量，然后用户传递的环境变量将更新现有的继承的环境变量，或者将新变量附加到其中
output_encoding (str) – Bash 命令的输出编码
skip_on_exit_code (int | Container[int] | None) – 如果任务以此退出代码退出，则将任务保持在 skipped 状态（默认值：99）。如果设置为 None，则任何非零退出代码都将被视为失败。
cwd (str | None) – 执行命令的工作目录（已模板化）。如果为 None（默认），则该命令在临时目录中运行。要使用当前 DAG 文件夹作为工作目录，您可以设置模板 {{ dag_run.dag.folder }}。当 bash_command 是 '.sh' 或 '.bash' 文件时，Airflow 必须具有对工作目录的写入权限。脚本将被渲染（Jinja 模板）到此目录中的新临时文件中。
output_processor (Callable[[str], Any]) – 用于进一步处理 bash 脚本输出的函数（默认为 lambda output: output）。

Airflow 将评估 Bash 命令的退出代码。一般来说，非零退出代码将导致任务失败，而零将导致任务成功。退出代码 99 (或在 skip_on_exit_code 中设置的另一个代码) 将抛出 airflow.exceptions.AirflowSkipException，这将使任务处于 skipped 状态。您可以通过设置 skip_on_exit_code=None 来将所有非零退出代码视为失败。

退出代码	行为
0	成功
skip_on_exit_code (默认值：99)	引发 `airflow.exceptions.AirflowSkipException`
否则	引发 `airflow.exceptions.AirflowException`

注意

除非整个 shell 以非零退出代码退出，否则 Airflow 将无法识别非零退出代码。如果非零退出来自子命令，则可能会出现此问题。解决此问题的最简单方法是在命令前加上 set -e;

bash_command = "set -e; python3 script.py '{{ next_execution_date }}'"

注意

要简单地执行 .sh 或 .bash 脚本（没有任何 Jinja 模板），请在脚本名称 bash_command 参数后添加一个空格 – 例如 bash_command="my_script.sh "。这是因为 Airflow 会尝试加载此文件并在其以 .sh 或 .bash 结尾时将其作为 Jinja 模板进行处理。

如果您的脚本中有 Jinja 模板，请不要放置任何空格。并将脚本的目录添加到 DAG 的 template_searchpath 中。如果您指定了 cwd，则 Airflow 必须具有对该目录的写入权限。脚本将被渲染（Jinja 模板）到此目录中的新临时文件中。

警告

在使用“用户”输入或在 bash_command 中使用 Jinja 模板时，应格外小心，因为此 bash 操作符不会对命令执行任何转义或清理。

这主要适用于使用“dag_run”配置，因为可以通过 Web UI 中的用户提交配置。大多数默认模板变量没有风险。

例如，不要这样做

bash_task = BashOperator(
    task_id="bash_task",
    bash_command='echo "Here is the message: \'{{ dag_run.conf["message"] if dag_run else "" }}\'"',
)

相反，您应该通过 env kwarg 传递此信息，并在 bash_command 中使用双引号，如下所示

bash_task = BashOperator(
    task_id="bash_task",
    bash_command="echo \"here is the message: '$message'\"",
    env={"message": '{{ dag_run.conf["message"] if dag_run else "" }}'},
)

在版本 2.10.0 中新增: output_processor 参数。

template_fields: Sequence[str] = ('bash_command', 'env', 'cwd')[源代码]¶

template_fields_renderers[源代码]¶

template_ext: Sequence[str] = ('.sh', '.bash')[源代码]¶

ui_color = '#f0ede4'[源代码]¶

subprocess_hook()[源代码]¶: 返回用于运行 bash 命令的 hook。

get_env(context)[源代码]¶

构建将为 bash 命令公开的环境变量集。

execute(context)[源代码]¶

在创建 operator 时派生。

Context 是在渲染 jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

on_kill()[源代码]¶

当任务实例被终止时，重写此方法以清理子进程。

在 operator 中使用 threading、subprocess 或 multiprocessing 模块的任何操作都需要清理，否则会留下僵尸进程。

airflow.operators.bash¶

模块内容¶

类¶

`airflow.operators.bash`¶