SQLExecuteQueryOperator 连接到 Snowflake¶

使用 SQLExecuteQueryOperator 在 Snowflake 数据库中执行 SQL 命令。

警告

之前，`SnowflakeOperator` 用于执行此类操作。但目前 `SnowflakeOperator` 已弃用，并将在提供程序的未来版本中移除。请尽快考虑切换到 `SQLExecuteQueryOperator`。

使用运算符¶

使用 conn_id 参数连接到您的 Snowflake 实例，连接元数据结构如下所示

Snowflake Airflow 连接元数据¶
参数	输入
登录名: string	Snowflake 用户名
密码: string	Snowflake 用户的密码
Schema: string	默认设置执行 SQL 操作的 schema
Extra: dictionary	`warehouse`, `account`, `database`, `region`, `role`, `authenticator`

SQLExecuteQueryOperator 连接到 Snowflake 的使用示例如下所示

tests/system/snowflake/example_snowflake.py

snowflake_op_sql_str = SQLExecuteQueryOperator(
    task_id="snowflake_op_sql_str", sql=CREATE_TABLE_SQL_STRING
)

snowflake_op_with_params = SQLExecuteQueryOperator(
    task_id="snowflake_op_with_params",
    sql=SQL_INSERT_STATEMENT,
    parameters={"id": 56},
)

snowflake_op_sql_list = SQLExecuteQueryOperator(task_id="snowflake_op_sql_list", sql=SQL_LIST)

snowflake_op_sql_multiple_stmts = SQLExecuteQueryOperator(
    task_id="snowflake_op_sql_multiple_stmts",
    sql=SQL_MULTIPLE_STMTS,
    split_statements=True,
)

snowflake_op_template_file = SQLExecuteQueryOperator(
    task_id="snowflake_op_template_file",
    sql="example_snowflake_snowflake_op_template_file.sql",
)

注意

可以传递给运算符的参数将优先于 Airflow 连接元数据中已给定的参数（例如 schema、role、database 等）。

SnowflakeSqlApiOperator¶

使用 SnowflakeSqlApiHook 在 Snowflake 数据库中执行 SQL 命令。

您还可以通过将 deferrable 参数设置为 True 来以可推迟模式运行此运算符。这将确保任务从 Airflow worker slot 中推迟，并在触发器上进行任务状态轮询。

使用运算符¶

使用 snowflake_conn_id 参数连接到您的 Snowflake 实例，连接元数据结构如下所示

Snowflake Airflow 连接元数据¶
参数	输入
登录名: string	Snowflake 用户名。如果使用 OAuth 连接，这是 `client_id`
密码: string	Snowflake 用户的密码。如果使用 OAuth，这是 `client_secret`
Schema: string	默认设置执行 SQL 操作的 schema
Extra: dictionary	`warehouse`, `account`, `database`, `region`, `role`, `authenticator`, `refresh_token`。如果使用 OAuth，必须指定 `refresh_token`（此处获取）

SnowflakeSqlApiHook 的使用示例如下所示

tests/system/snowflake/example_snowflake.py

snowflake_sql_api_op_sql_multiple_stmt = SnowflakeSqlApiOperator(
    task_id="snowflake_op_sql_multiple_stmt",
    sql=SQL_MULTIPLE_STMTS,
    statement_count=len(SQL_LIST),
)

注意

可以传递给运算符的参数将优先于 Airflow 连接元数据中已给定的参数（例如 schema、role、database 等）。