将数据从本地文件系统上传到 Azure Data Lake¶

Azure Data Lake (ADL) 使存储任何大小、形状和速度的数据变得容易。本页介绍如何将数据从本地文件系统上传到 ADL。

先决条件任务¶

要使用这些操作符，您必须做几件事：

使用 AZURE PORTAL 或 AZURE CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[azure]'
详细信息请参阅安装 Airflow®
设置连接.

LocalFilesystemToADLSOperator¶

LocalFilesystemToADLSOperator 允许您将数据从本地文件系统上传到 ADL。

以下是使用此操作符将文件上传到 ADL 的示例。

tests/system/microsoft/azure/example_local_to_adls.py

    upload_file = LocalFilesystemToADLSOperator(
        task_id="upload_task",
        local_path=LOCAL_FILE_PATH,
        remote_path=REMOTE_FILE_PATH,
    )

参考¶

更多信息，请参阅：

Azure Data Lake Storage 文档