`airflow.providers.google.cloud.transfers.postgres_to_gcs`¶

PostgreSQL 到 GCS 操作符。

模块内容¶

类¶

PostgresToGCSOperator

以 JSON、CSV 或 Parquet 格式将数据从 Postgres 复制到 Google Cloud Storage。

class airflow.providers.google.cloud.transfers.postgres_to_gcs.PostgresToGCSOperator(*, postgres_conn_id='postgres_default', use_server_side_cursor=False, cursor_itersize=2000, **kwargs)[源代码]¶

基类： airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

以 JSON、CSV 或 Parquet 格式将数据从 Postgres 复制到 Google Cloud Storage。

另请参阅

有关如何使用此操作符的更多信息，请查看指南： PostgresToGCSOperator

参数

postgres_conn_id – 对特定 Postgres Hook 的引用。
use_server_side_cursor – 如果应使用服务器端游标来查询 postgres。有关详细信息，请查看 https://www.psycopg.org/docs/usage.html#server-side-cursors
cursor_itersize – 在服务器端游标的情况下，一次获取多少条记录。

ui_color = '#a0e08c'[源代码]¶

type_map[源代码]¶

query()[源代码]¶: 查询 Postgres 并返回结果的游标。

field_to_bigquery(field)[源代码]¶

将 DBAPI 字段转换为 BigQuery 模式格式。

convert_type(value, schema_type, stringify_dict=True)[源代码]¶

获取 Postgres 的值并将其转换为对 JSON/Google Cloud Storage/BigQuery 安全的值。

时区感知 Datetime 将转换为 UTC 秒。未感知 Datetime、Date 和 Time 将转换为 ISO 格式的字符串。小数将转换为浮点数。

参数

value – Postgres 列值。
schema_type – BigQuery 数据类型。
stringify_dict – 指定是否将字典转换为字符串。

airflow.providers.google.cloud.transfers.postgres_to_gcs¶

模块内容¶

类¶

`airflow.providers.google.cloud.transfers.postgres_to_gcs`¶