airflow.providers.amazon.aws.transfers.s3_to_redshift¶
模块内容¶
类¶
执行 COPY 命令以将文件从 S3 加载到 Redshift。 |
属性¶
- airflow.providers.amazon.aws.transfers.s3_to_redshift.AVAILABLE_METHODS = ['APPEND', 'REPLACE', 'UPSERT'][源代码]¶
- class airflow.providers.amazon.aws.transfers.s3_to_redshift.S3ToRedshiftOperator(*, table, s3_bucket, s3_key, schema=None, redshift_conn_id='redshift_default', aws_conn_id='aws_default', verify=None, column_list=None, copy_options=None, autocommit=False, method='APPEND', upsert_keys=None, redshift_data_api_kwargs=None, **kwargs)[源代码]¶
基类：
airflow.models.BaseOperator执行 COPY 命令以将文件从 S3 加载到 Redshift。
另请参阅
有关如何使用此操作符的更多信息，请查看指南： Amazon S3 到 Amazon Redshift 传输操作符
- 参数
table (str) – Redshift 数据库中特定表的引用
s3_bucket (str) – 特定 S3 存储桶的引用
s3_key (str) – 从 S3 中选择单个或多个对象的前缀键
schema (str | None) – Redshift 数据库中特定模式的引用。复制到临时表时请勿提供
redshift_conn_id (str) – 特定 Redshift 数据库或 Redshift Data API 连接的引用
aws_conn_id (str | None) – 特定 S3 连接的引用。如果 AWS 连接的
extras中包含 ‘aws_iam_role’，则操作符将使用带有令牌的 AWS STS 凭证 https://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-authorization.html#copy-credentialsverify (bool | str | None) –
是否验证 S3 连接的 SSL 证书。默认情况下，SSL 证书会被验证。你可以提供以下值
False：不验证 SSL 证书。仍然会使用 SSL（除非 use_ssl 为 False），但不会验证 SSL 证书。
path/to/cert/bundle.pem：要使用的 CA 证书捆绑包的文件名。如果你想使用与 botocore 使用的 CA 证书捆绑包不同的 CA 证书捆绑包，则可以指定此参数。
column_list (list[str] | None) – 将源数据字段加载到特定目标列的列名称列表 https://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-column-mapping.html#copy-column-list
copy_options (list | None) – COPY 选项列表的引用
method (str) – 执行时要执行的操作。可用值包括
APPEND、UPSERT和REPLACE。upsert_keys (list[str] | None) – 在 upsert 操作中用作键的字段列表
redshift_data_api_kwargs (dict | None) – 如果使用 Redshift Data API 而不是基于 SQL 的连接，则为钩子的
execute_query方法的参数字典。不能包含以下任何 kwargs：{'sql', 'parameters'}
- template_fields: collections.abc.Sequence[str] = ('s3_bucket', 's3_key', 'schema', 'table', 'column_list', 'copy_options', 'redshift_conn_id',...[源代码]¶
- template_ext: collections.abc.Sequence[str] = ()[源代码]¶