airflow.providers.google.cloud.transfers.local_to_gcs¶
此模块包含将本地文件上传到 GCS 的操作符。
模块内容¶
类¶
将一个或多个文件上传到 Google Cloud Storage；可以选择压缩文件以上传；可以选择将数据分块上传。 |
- class airflow.providers.google.cloud.transfers.local_to_gcs.LocalFilesystemToGCSOperator(*, src, dst, bucket, gcp_conn_id='google_cloud_default', mime_type='application/octet-stream', gzip=False, chunk_size=None, impersonation_chain=None, **kwargs)[源码]¶
基类：
airflow.models.BaseOperator将一个或多个文件上传到 Google Cloud Storage；可以选择压缩文件以上传；可以选择将数据分块上传。
另请参阅
有关如何使用此操作符的更多信息，请查看指南： LocalFilesystemToGCSOperator
- 参数
src (str | list[str]) – 本地文件的路径，或本地文件列表。路径可以是绝对路径（例如 /path/to/file.ext）或相对路径（例如 ../../foo//.csv）。（可使用 Jinja 模板）
dst (str) – GCS 上指定存储桶内的目标路径（例如 /path/to/file.ext）。如果正在上传多个文件，请指定带有尾部反斜杠的对象前缀（例如 /path/to/directory/）（可使用 Jinja 模板）
bucket (str) – 要上传到的存储桶。（可使用 Jinja 模板）
gcp_conn_id (str) – (可选) 用于连接到 Google Cloud 的连接 ID。
mime_type (str) – MIME 类型字符串
gzip (bool) – 允许将文件压缩并作为 gzip 上传
chunk_size (int | None) – Blob 块大小，以字节为单位。这必须是 262144 字节（256 KiB）的倍数
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的链接帐户列表，该帐户将在请求中被模拟。 如果设置为字符串，则该帐户必须授予原始帐户 Service Account Token Creator IAM 角色。 如果设置为序列，则列表中的身份必须将 Service Account Token Creator IAM 角色授予直接先前的身份，列表中的第一个帐户将此角色授予原始帐户（可使用 Jinja 模板）。
- template_fields: collections.abc.Sequence[str] = ('src', 'dst', 'bucket', 'impersonation_chain')[源码]¶