airflow.providers.teradata.transfers.s3_to_teradata¶

类¶

S3ToTeradataOperator

将 CSV、JSON 和 Parquet 格式数据从 Amazon S3 加载到 Teradata。

模块内容¶

class airflow.providers.teradata.transfers.s3_to_teradata.S3ToTeradataOperator(*, s3_source_key, public_bucket=False, teradata_table, aws_conn_id='aws_default', teradata_conn_id='teradata_default', teradata_authorization_name='', **kwargs)[source]¶

基类: airflow.models.BaseOperator

将 CSV、JSON 和 Parquet 格式数据从 Amazon S3 加载到 Teradata。

另请参阅

有关如何使用此操作符的更多信息，请参阅以下指南： S3ToTeradataOperator

参数:

s3_source_key (str) – 指定 S3 存储桶位置的 URI 格式。(模版化) URI 格式为 /s3/YOUR-BUCKET.s3.amazonaws.com/YOUR-BUCKET-NAME。请参阅 https://docs.teradata.com/search/documents?query=native+object+store&sort=last_update&virtual-field=title_only&content-lang=en-US
public_bucket (bool) – 指定所提供的 S3 存储桶是否为公共存储桶。如果存储桶是公共的，则意味着任何人都可以通过 URL 访问其中的对象而无需身份验证。如果存储桶是私有的且未提供身份验证，则操作符将抛出异常。
teradata_table (str) – 数据将被传输到的 Teradata 表名。(模版化)
aws_conn_id (str) – 用于 AWS 凭据的 Airflow AWS 连接。
teradata_conn_id (str) – 用于连接到 Teradata 的连接 ID。 Teradata connection。
teradata_authorization_name (str) – Teradata 授权数据库对象的名称，用于控制谁可以访问 S3 对象存储。请参阅 https://docs.teradata.com/r/Enterprise_IntelliFlex_VMware/Teradata-VantageTM-Native-Object-Store-Getting-Started-Guide-17.20/Setting-Up-Access/Controlling-Foreign-Table-Access-with-an-AUTHORIZATION-Object

请注意，s3_source_key 和 teradata_table 是模版化的，因此您可以在其中使用变量。

template_fields: collections.abc.Sequence[str] = ('s3_source_key', 'teradata_table')[source]¶

ui_color = '#e07c24'[source]¶

s3_source_key[source]¶

public_bucket = False[source]¶

teradata_table[source]¶

aws_conn_id = 'aws_default'[source]¶

teradata_conn_id = 'teradata_default'[source]¶

teradata_authorization_name = ''[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文信息，请参阅 get_template_context。