airflow.providers.microsoft.azure.transfers.local_to_adls

LocalFilesystemToADLSOperator

上传文件到 Azure Data Lake。

模块内容

class airflow.providers.microsoft.azure.transfers.local_to_adls.LocalFilesystemToADLSOperator(*, local_path, remote_path, overwrite=True, nthreads=64, buffersize=4194304, blocksize=4194304, extra_upload_options=None, azure_data_lake_conn_id='azure_data_lake_default', **kwargs)[source]

Bases: airflow.models.BaseOperator

上传文件到 Azure Data Lake。

另请参阅

有关如何使用此 operator 的更多信息,请参阅此指南: LocalFilesystemToADLSOperator

参数:
  • local_path (str) – 本地路径。可以是单个文件、目录(此时递归上传)或 glob 模式。不支持使用 ** 的递归 glob 模式

  • remote_path (str) – 远程上传路径;如果上传多个文件,这是要写入的根目录

  • nthreads (int) – 使用的线程数。如果为 None,则使用核心数。

  • overwrite (bool) – 是否强制覆盖现有文件/目录。如果为 False 且远程路径是目录,则无论是否有文件会被覆盖,都会退出。如果为 True,则仅实际覆盖同名文件

  • buffersize (int) – int [2**22] 内部缓冲区的字节数。此块不能大于一个块(chunk),且不能小于一个块(block)

  • blocksize (int) – int [2**22] 每个块的字节数。在每个块(chunk)内,我们为每个 API 调用写入一个更小的块(block)。此块(block)不能大于一个块(chunk)

  • extra_upload_options (dict[str, Any] | None) – 添加到 hook 上传方法的额外上传选项

  • azure_data_lake_conn_id (str) – Azure Data Lake 连接的引用

template_fields: collections.abc.Sequence[str] = ('local_path', 'remote_path')[source]
ui_color = '#e4f0e8'[source]
local_path[source]
remote_path[source]
overwrite = True[source]
nthreads = 64[source]
buffersize = 4194304[source]
blocksize = 4194304[source]
extra_upload_options = None[source]
azure_data_lake_conn_id = 'azure_data_lake_default'[source]
execute(context)[source]

创建 operator 时派生(实现)此方法。

Context 是与渲染 jinja 模板时使用的字典相同的字典。

有关更多 context 信息,请参阅 get_template_context。

此条目有帮助吗?