airflow.providers.mysql.transfers.s3_to_mysql

S3ToMySqlOperator

将文件从 S3 加载到 MySQL 表中。

模块内容

class airflow.providers.mysql.transfers.s3_to_mysql.S3ToMySqlOperator(*, s3_source_key, mysql_table, mysql_duplicate_key_handling='IGNORE', mysql_extra_options=None, aws_conn_id='aws_default', mysql_conn_id='mysql_default', mysql_local_infile=False, **kwargs)[source]

基类:airflow.models.BaseOperator

将文件从 S3 加载到 MySQL 表中。

参数:
  • s3_source_key (str) – 将要加载到 MySQL 中的文件路径 (S3 key)。

  • mysql_table (str) – 数据将被发送到的 MySQL 表。

  • mysql_duplicate_key_handling (str) –

    指定如何处理重复数据。您可以选择 IGNOREREPLACE

  • mysql_extra_options (str | None) – 指定如何精确加载数据的 MySQL 选项。

  • aws_conn_id (str | None) – 包含 S3 Bucket 凭据的 S3 连接。

  • mysql_conn_id (str) – 对 MySQL 连接 ID 的引用。

  • mysql_local_infile (bool) – 在 MySQLHook 上启用 local_infile 选项的标志。这会使用 LOAD DATA LOCAL INFILE 命令直接加载 MySQL。默认为 False。

template_fields: collections.abc.Sequence[str] = ('s3_source_key', 'mysql_table')[source]
template_ext: collections.abc.Sequence[str] = ()[source]
ui_color = '#f4a460'[source]
s3_source_key[source]
mysql_table[source]
mysql_duplicate_key_handling = 'IGNORE'[source]
mysql_extra_options = ''[source]
aws_conn_id = 'aws_default'[source]
mysql_conn_id = 'mysql_default'[source]
mysql_local_infile = False[source]
execute(context)[source]

执行从 S3 到 MySQL 的传输操作。

参数:

context (airflow.sdk.definitions.context.Context) – 执行时提供的上下文。

此条目有帮助吗?