将数据从本地文件系统上传到 Azure Data Lake¶

Azure Data Lake (ADL) 可以轻松存储任何大小、形状和速度的数据。此页面展示了如何将数据从本地文件系统上传到 ADL。

先决条件任务¶

要使用这些操作符，您必须完成以下几件事

使用 AZURE PORTAL 或 AZURE CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[azure]'
详细信息请参阅 Airflow® 的安装
设置连接.

LocalFilesystemToADLSOperator¶

LocalFilesystemToADLSOperator 允许您将数据从本地文件系统上传到 ADL。

下面是使用此操作符将文件上传到 ADL 的示例。

tests/system/microsoft/azure/example_local_to_adls.py[源代码]

    upload_file = LocalFilesystemToADLSOperator(
        task_id="upload_task",
        local_path=LOCAL_FILE_PATH,
        remote_path=REMOTE_FILE_PATH,
    )

参考¶

更多信息，请参阅

Azure Data Lake Storage 文档