`airflow.providers.microsoft.azure.transfers.local_to_adls`¶

模块内容¶

类¶

LocalFilesystemToADLSOperator

将文件上传到 Azure Data Lake。

class airflow.providers.microsoft.azure.transfers.local_to_adls.LocalFilesystemToADLSOperator(*, local_path, remote_path, overwrite=True, nthreads=64, buffersize=4194304, blocksize=4194304, extra_upload_options=None, azure_data_lake_conn_id='azure_data_lake_default', **kwargs)[源代码]¶

基类： airflow.models.BaseOperator

将文件上传到 Azure Data Lake。

另请参阅

有关如何使用此运算符的更多信息，请查看指南： LocalFilesystemToADLSOperator

参数

local_path (str) – 本地路径。可以是单个文件、目录（在这种情况下，递归上传）或 glob 模式。不支持使用 ** 的递归 glob 模式
remote_path (str) – 要上传到的远程路径；如果多个文件，这是要写入的目录根目录
nthreads (int) – 要使用的线程数。如果为 None，则使用核心数。
overwrite (bool) – 是否强制覆盖现有文件/目录。如果为 False 并且远程路径是目录，则无论是否会覆盖任何文件，都会退出。如果为 True，则实际仅覆盖匹配的文件名
buffersize (int) – int [2**22] 内部缓冲区字节数。此块不能大于一个块，也不能小于一个块
blocksize (int) – int [2**22] 一个块的字节数。在每个块中，我们为每个 API 调用写入一个较小的块。此块不能大于一个块
extra_upload_options (dict[str, Any] | None) – 要添加到钩子上传方法的额外上传选项
azure_data_lake_conn_id (str) – 对 Azure Data Lake 连接的引用

template_fields: collections.abc.Sequence[str] = ('local_path', 'remote_path')[源代码]¶

ui_color = '#e4f0e8'[源代码]¶

execute(context)[源代码]¶

在创建运算符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

airflow.providers.microsoft.azure.transfers.local_to_adls¶

模块内容¶

类¶

`airflow.providers.microsoft.azure.transfers.local_to_adls`¶