airflow.providers.amazon.aws.transfers.sql_to_s3¶

属性¶

FILE_OPTIONS_MAP

类¶

`FILE_FORMAT`	可能的文件格式。
`FileOptions`
`SqlToS3Operator`	将特定 SQL 查询的数据保存到 S3 中的文件。

模块内容¶

class airflow.providers.amazon.aws.transfers.sql_to_s3.FILE_FORMAT[source]¶

基类: enum.Enum

可能的文件格式。

CSV[source]¶

JSON[source]¶

PARQUET[source]¶

class airflow.providers.amazon.aws.transfers.sql_to_s3.FileOptions[source]¶

基类: tuple

mode[source]¶

suffix[source]¶

function[source]¶

airflow.providers.amazon.aws.transfers.sql_to_s3.FILE_OPTIONS_MAP[source]¶

class airflow.providers.amazon.aws.transfers.sql_to_s3.SqlToS3Operator(*, query, s3_bucket, s3_key, sql_conn_id, sql_hook_params=None, parameters=None, replace=False, aws_conn_id='aws_default', verify=None, file_format='csv', max_rows_per_file=0, pd_kwargs=None, groupby_kwargs=None, **kwargs)[source]¶

基类: airflow.models.BaseOperator

将特定 SQL 查询的数据保存到 S3 中的文件。

参见

有关如何使用此 operator 的更多信息，请参阅指南：MySQL 到 Amazon S3 传输 operator

参数:

query (str) – 要执行的 sql 查询。如果要执行文件，请放置其绝对路径，并以 .sql 扩展名结尾。（模板化）
s3_bucket (str) – 将存储数据的 bucket。（模板化）
s3_key (str) – 期望的文件键。包含文件名称。（模板化）
replace (bool) – 如果文件之前存在，是否替换 S3 中的文件
sql_conn_id (str) – 对特定数据库的引用。
sql_hook_params (dict | None) – 要传递给底层 hook 的额外配置参数。应与期望的 hook 构造函数参数匹配。
parameters (None | collections.abc.Mapping[str, Any] | list | tuple) – （可选）用于渲染 SQL 查询的参数。
aws_conn_id (str | None) – 对特定 S3 连接的引用
verify (bool | str | None) –
是否验证 S3 连接的 SSL 证书。默认情况下验证 SSL 证书。您可以提供以下值：
- False：不验证 SSL 证书。SSL 仍将被使用
  (除非 use_ssl 为 False)，但 SSL 证书将不被验证。
- path/to/cert/bundle.pem：要使用的 CA 证书包的文件名。
  如果您想使用与 botocore 使用的不同的 CA 证书包，可以指定此参数。
file_format (typing_extensions.Literal[csv, json, parquet]) – 目标文件格式，只接受字符串 ‘csv’、‘json’ 或 ‘parquet’。
max_rows_per_file (int) – （可选）用于设置目标文件行数限制的参数，如果源数据大于此限制，则会分派到多个文件中。如果指定了 groupby_kwargs 参数，此参数将被忽略。
pd_kwargs (dict | None) – 包含在 DataFrame .to_parquet()、.to_json() 或 .to_csv() 中的参数。
groupby_kwargs (dict | None) – 包含在 DataFrame groupby() 中的参数。