airflow.providers.alibaba.cloud.log.oss_task_handler

模块内容

类

OSSTaskHandler

OSSTaskHandler 是一个 Python 日志处理器，用于处理和读取任务实例日志。
class airflow.providers.alibaba.cloud.log.oss_task_handler.OSSTaskHandler(base_log_folder, oss_log_folder, **kwargs)[source]

基类: airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

OSSTaskHandler 是一个 Python 日志处理器，用于处理和读取任务实例日志。

扩展 airflow FileTaskHandler，并上传到 OSS 远程存储并从中读取。

hook()[source]
set_context(ti)[source]

设置处理程序的上下文。

close()[source]

关闭并将本地日志文件上传到远程存储 OSS。

oss_log_exists(remote_log_location)[source]

检查 remote_log_location 是否存在于远程存储中。

参数

remote_log_location – 日志在远程存储中的位置

返回

如果位置存在则返回 True，否则返回 False

oss_read(remote_log_location, return_error=False)[source]

返回 remote_log_location 的日志，如果未找到日志或发生错误，则返回 ''。

参数

  • remote_log_location – 日志在远程存储中的位置

  • return_error – 如果为 True，则在发生错误时返回字符串错误消息。否则，发生错误时返回 ''。

oss_write(log, remote_log_location, append=True)[source]

将日志写入 remote_log_location 并返回 True; 失败时静默并返回 False。

参数

  • log – 要写入 remote_log_location 的日志

  • remote_log_location – 日志在远程存储中的位置

  • append – 如果为 False，则覆盖任何现有的日志文件。如果为 True，则将新日志附加到任何现有日志。

返回

是否成功将日志写入远程位置。

返回类型

bool

此条目是否有帮助？