Google 云端硬盘到 Google Cloud Storage 传输操作符¶

Google 有两项服务用于存储数据。Google Cloud Storage 用于存储来自各种应用程序的大量数据。Google 云端硬盘用于存储日常使用的数据，包括文档和照片。Google Cloud Storage 与 Google Cloud 服务具有强大的集成。Google 云端硬盘具有内置机制，可方便团队协作，例如文档编辑器、文件共享机制。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 Cloud Console 选择或创建 Cloud Platform 项目。

为您的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud Console 文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关详细信息，请参阅安装。
设置 Google Cloud 连接.

操作符¶

在 Google Storage 和 Google 云端硬盘之间传输文件，使用 GoogleDriveToGCSOperator 操作符。

复制单个文件¶

以下操作符将单个文件从共享的 Google 云端硬盘文件夹复制到 Google Cloud Storage 存储桶。

请注意，您可以通过将共享云端硬盘的 ID 传递给 folder_id 和 drive_id 参数，从共享云端硬盘的根文件夹传输文件。

tests/system/google/cloud/gcs/example_gdrive_to_gcs.py[源代码]

upload_gdrive_to_gcs = GoogleDriveToGCSOperator(
    task_id="upload_gdrive_object_to_gcs",
    gcp_conn_id=CONNECTION_ID,
    folder_id=FOLDER_ID,
    file_name=DRIVE_FILE_NAME,
    bucket_name=BUCKET_NAME,
    object_name=OBJECT,
)

您可以将 Jinja 模板与 bucket_name、 object_name、 folder_id、 file_name、 drive_id、 impersonation_chain 参数一起使用，这允许您动态确定值。

参考¶

有关更多信息，请查看