从本地文件系统上传数据到 Google Cloud Storage¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。本页展示了如何将数据从本地文件系统上传到 GCS。

前置任务¶

要使用这些操作符，您必须执行以下几项操作

使用 Cloud Console 选择或创建 Cloud Platform 项目。

为您的项目启用计费，具体请参阅 Google Cloud 文档中的说明。

启用 API，具体请参阅 Cloud Console 文档中的说明。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
详细信息请参阅安装。
设置 Google Cloud 连接.

LocalFilesystemToGCSOperator¶

LocalFilesystemToGCSOperator 允许您将数据从本地文件系统上传到 GCS。

使用此操作符时，您可以选择性地压缩上传的数据。该操作符还支持选择性地以多个分块上传数据。

以下是使用此操作符将文件上传到 GCS 的示例。

tests/system/google/cloud/gcs/example_gcs_upload_download.py

    upload_file = LocalFilesystemToGCSOperator(
        task_id="upload_file",
        src=UPLOAD_FILE_PATH,
        dst=FILE_NAME,
        bucket=BUCKET_NAME,
    )

参考资料¶

更多信息请参阅

Google Cloud Storage 文档