SQLExecuteQueryOperator 连接到 Snowflake

使用 SQLExecuteQueryOperatorSnowflake 数据库中执行 SQL 命令。

警告

之前,`SnowflakeOperator` 用于执行此类操作。但目前 `SnowflakeOperator` 已弃用,并将在提供程序的未来版本中移除。请尽快考虑切换到 `SQLExecuteQueryOperator`。

使用运算符

使用 conn_id 参数连接到您的 Snowflake 实例,连接元数据结构如下所示

Snowflake Airflow 连接元数据

参数

输入

登录名: string

Snowflake 用户名

密码: string

Snowflake 用户的密码

Schema: string

默认设置执行 SQL 操作的 schema

Extra: dictionary

warehouse, account, database, region, role, authenticator

SQLExecuteQueryOperator 连接到 Snowflake 的使用示例如下所示

tests/system/snowflake/example_snowflake.py

snowflake_op_sql_str = SQLExecuteQueryOperator(
    task_id="snowflake_op_sql_str", sql=CREATE_TABLE_SQL_STRING
)

snowflake_op_with_params = SQLExecuteQueryOperator(
    task_id="snowflake_op_with_params",
    sql=SQL_INSERT_STATEMENT,
    parameters={"id": 56},
)

snowflake_op_sql_list = SQLExecuteQueryOperator(task_id="snowflake_op_sql_list", sql=SQL_LIST)

snowflake_op_sql_multiple_stmts = SQLExecuteQueryOperator(
    task_id="snowflake_op_sql_multiple_stmts",
    sql=SQL_MULTIPLE_STMTS,
    split_statements=True,
)

snowflake_op_template_file = SQLExecuteQueryOperator(
    task_id="snowflake_op_template_file",
    sql="example_snowflake_snowflake_op_template_file.sql",
)

注意

可以传递给运算符的参数将优先于 Airflow 连接元数据中已给定的参数(例如 schemaroledatabase 等)。

SnowflakeSqlApiOperator

使用 SnowflakeSqlApiHookSnowflake 数据库中执行 SQL 命令。

您还可以通过将 deferrable 参数设置为 True 来以可推迟模式运行此运算符。这将确保任务从 Airflow worker slot 中推迟,并在触发器上进行任务状态轮询。

使用运算符

使用 snowflake_conn_id 参数连接到您的 Snowflake 实例,连接元数据结构如下所示

Snowflake Airflow 连接元数据

参数

输入

登录名: string

Snowflake 用户名。如果使用 OAuth 连接,这是 client_id

密码: string

Snowflake 用户的密码。如果使用 OAuth,这是 client_secret

Schema: string

默认设置执行 SQL 操作的 schema

Extra: dictionary

warehouse, account, database, region, role, authenticator, refresh_token。如果使用 OAuth,必须指定 refresh_token此处获取

SnowflakeSqlApiHook 的使用示例如下所示

tests/system/snowflake/example_snowflake.py

snowflake_sql_api_op_sql_multiple_stmt = SnowflakeSqlApiOperator(
    task_id="snowflake_op_sql_multiple_stmt",
    sql=SQL_MULTIPLE_STMTS,
    statement_count=len(SQL_LIST),
)

注意

可以传递给运算符的参数将优先于 Airflow 连接元数据中已给定的参数(例如 schemaroledatabase 等)。

此条目有帮助吗?