airflow.providers.google.cloud.transfers.mysql_to_gcs¶

MySQL 到 GCS 操作符。

类¶

MySQLToGCSOperator

将数据从 MySQL 复制到 Google Cloud Storage，格式为 JSON、CSV 或 Parquet。

模块内容¶

class airflow.providers.google.cloud.transfers.mysql_to_gcs.MySQLToGCSOperator(*, mysql_conn_id='mysql_default', ensure_utc=False, **kwargs)[源码]¶

基类: airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

将数据从 MySQL 复制到 Google Cloud Storage，格式为 JSON、CSV 或 Parquet。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南: MySQLToGCSOperator

参数:

mysql_conn_id – 参考 mysql 连接 ID。
ensure_utc – 确保 TIMESTAMP 列导出为 UTC。如果设置为 False，则 TIMESTAMP 列将使用 MySQL 服务器的默认时区导出。

ui_color = '#a0e08c'[源码]¶

type_map[源码]¶

mysql_conn_id = 'mysql_default'[源码]¶

ensure_utc = False[源码]¶

property db_hook: airflow.providers.mysql.hooks.mysql.MySqlHook[源码]¶

query()[源码]¶: 查询 mysql 并返回结果游标。

field_to_bigquery(field)[源码]¶

将 DBAPI 字段转换为 BigQuery 模式格式。

convert_type(value, schema_type, **kwargs)[源码]¶

获取来自 MySQLdb 的值并将其转换为 JSON/Google Cloud Storage/BigQuery 安全的值。

Datetimes 转换为 str(value) (datetime.isoformat(’ ‘)) 字符串。
Times 转换为 str((datetime.min + value).time()) 字符串。
Decimals 转换为 floats。
如果给定的 schema_type 是 DATE，Dates 转换为 ISO 格式字符串，否则转换为 datetime.isoformat(’ ‘) 字符串。
如果给定的 schema_type 是 INTEGER，Binary 类型字段转换为 integer，否则使用 base64 编码。根据 BigQuery 文档，导入的 BYTES 数据必须是 base64 编码的: https://cloud.google.com/bigquery/data-types

参数:

value – MySQLdb 列值
schema_type (str) – BigQuery 数据类型

get_openlineage_facets_on_start()[源码]¶