airflow.providers.google.cloud.transfers.gcs_to_local¶

类¶

GCSToLocalFilesystemOperator

从 Google Cloud Storage 下载文件。

模块内容¶

class airflow.providers.google.cloud.transfers.gcs_to_local.GCSToLocalFilesystemOperator(*, bucket, object_name, filename=None, store_to_xcom_key=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, file_encoding='utf-8', **kwargs)[源代码]¶

基类: airflow.models.BaseOperator

从 Google Cloud Storage 下载文件。

如果提供了 filename，它会将文件写入指定位置；或者，可以将 store_to_xcom_key 参数设置为 True 以将文件内容推送到 xcom。当文件大小超出 xcom 的最大大小时，建议写入文件。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：GCSToLocalFilesystemOperator

参数：

bucket (str) – 对象所在的 Google Cloud Storage 存储桶。不得包含 'gs://' 前缀。（可模板化）
object_name (str) – 要在 Google cloud storage 存储桶中下载的对象的名称。（可模板化）
filename (str | None) – 文件应下载到的本地文件系统（操作符执行的位置）上的文件路径，包括文件名。（可模板化）如果未传递 filename，则下载的数据不会存储在本地文件系统上。
store_to_xcom_key (str | None) – 如果设置此参数，操作符会将下载的文件内容推送到 XCom，其键在此参数中设置。如果未设置，则下载的数据不会推送到 XCom。（可模板化）
gcp_conn_id (str) – (可选) 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用于使用短期凭据模拟的可选服务帐号，或获取列表中最后一个帐号的 access_token 所需的链接帐号列表，该帐号将在请求中被模拟。如果设置为字符串，则此帐号必须授予源帐号 Service Account Token Creator IAM 角色。如果设置为序列，则列表中各身份必须授予直接前置身份 Service Account Token Creator IAM 角色，其中列表中的第一个帐号将此角色授予源帐号。（可模板化）。
file_encoding (str) – 用于将 file_bytes 解码为适合存储到 XCom 的可序列化字符串的可选编码。（可模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'object_name', 'filename', 'store_to_xcom_key', 'impersonation_chain', 'file_encoding')[源代码]¶

ui_color = '#f0eee4'[源代码]¶

bucket[源代码]¶

filename = None[源代码]¶

object_name[源代码]¶

store_to_xcom_key = None[源代码]¶

gcp_conn_id = 'google_cloud_default'[源代码]¶

impersonation_chain = None[源代码]¶

file_encoding = 'utf-8'[源代码]¶

execute(context)[源代码]¶

在创建操作符时派生。

Context 与用于渲染 jinja 模板的字典相同。

有关更多 context，请参阅 get_template_context。

get_openlineage_facets_on_start()[源代码]¶