airflow.operators.generic_transfer

模块内容

类

GenericTransfer

将数据从一个连接移动到另一个连接。
class airflow.operators.generic_transfer.GenericTransfer(*, sql, destination_table, source_conn_id, destination_conn_id, preoperator=None, insert_args=None, **kwargs)[源代码]

基类：airflow.models.BaseOperator

将数据从一个连接移动到另一个连接。

假设它们都在各自的钩子中提供了所需的方法。源钩子需要公开一个 get_records 方法，目标钩子需要公开一个 insert_rows 方法。

这适用于适合内存的小型数据集。

参数

  • sql (str) – 要针对源数据库执行的 SQL 查询。(已模板化)

  • destination_table (str) – 目标表。(已模板化)

  • source_conn_id (str) – 源连接

  • destination_conn_id (str) – 目标连接

  • preoperator (str | list[str] | None) – 在加载数据之前要执行的 sql 语句或语句列表。(已模板化)

  • insert_args (dict | None) – insert_rows 方法的额外参数。

template_fields: Sequence[str] = ('sql', 'destination_table', 'preoperator')[源代码]
template_ext: Sequence[str] = ('.sql', '.hql')[源代码]
template_fields_renderers[源代码]
ui_color = '#b0f07c'[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

此条目是否有帮助？