airflow.providers.presto.transfers.gcs_to_presto¶
此模块包含 Google Cloud Storage 到 Presto 的操作符。
模块内容¶
类¶
将 CSV 文件从 Google Cloud Storage 加载到 Presto 表中。 |
- class airflow.providers.presto.transfers.gcs_to_presto.GCSToPrestoOperator(*, source_bucket, source_object, presto_table, presto_conn_id='presto_default', gcp_conn_id='google_cloud_default', schema_fields=None, schema_object=None, impersonation_chain=None, **kwargs)[源代码]¶
基类:
airflow.models.BaseOperator将 CSV 文件从 Google Cloud Storage 加载到 Presto 表中。
假设：1. CSV 文件不应有标题 2. 已经创建了具有所需列的 Presto 表 3. （可选）可以提供带有标题或标题列表的单独 JSON 文件
- 参数
source_bucket (str) – 包含 CSV 文件的源 GCS 存储桶
source_object (str) – CSV 文件，包括路径
presto_table (str) – 要上传数据的 Presto 表
presto_conn_id (str) – 目标 Presto 连接
gcp_conn_id (str) – （可选）用于连接到 Google Cloud 并与 Google Cloud Storage 服务交互的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该列表将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前面的标识，其中列表中的第一个帐户将此角色授予原始帐户。
- template_fields: collections.abc.Sequence[str] = ('source_bucket', 'source_object', 'presto_table')[源代码]¶