airflow.providers.google.cloud.transfers.local_to_gcs¶

此模块包含用于将本地文件上传到 GCS 的操作符。

类¶

LocalFilesystemToGCSOperator

将一个文件或文件列表上传到 Google Cloud Storage；可选地可以压缩文件进行上传；可选地可以分多个块上传数据。

模块内容¶

class airflow.providers.google.cloud.transfers.local_to_gcs.LocalFilesystemToGCSOperator(*, src, dst, bucket, gcp_conn_id='google_cloud_default', mime_type='application/octet-stream', gzip=False, chunk_size=None, impersonation_chain=None, **kwargs)[source]¶

基类： airflow.models.BaseOperator

将一个文件或文件列表上传到 Google Cloud Storage；可选地可以压缩文件进行上传；可选地可以分多个块上传数据。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：LocalFilesystemToGCSOperator

参数：

src (str | list[str]) – 本地文件路径，或本地文件列表。路径可以是绝对路径（例如 /path/to/file.ext）或相对路径（例如 ../../foo/*/*.csv）。(模板化)
dst (str) – 在 GCS 指定存储桶中的目标路径（例如 /path/to/file.ext）。如果上传多个文件，请指定带有斜杠结尾的对象前缀（例如 /path/to/directory/）。(模板化)
bucket (str) – 要上传到的存储桶。(模板化)
gcp_conn_id (str) – (可选) 用于连接 Google Cloud 的连接 ID。
mime_type (str) – MIME 类型字符串
gzip (bool) – 允许将文件压缩后以 gzip 格式上传
chunk_size (int | None) – Blob 的块大小，单位为字节。这必须是 262144 字节（256 KiB）的倍数。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号的 access_token 所需的账号链式列表，该账号将在请求中被模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号。(模板化)。