SnowparkOperator¶

使用 SnowparkOperator 在 Snowflake 数据库中运行 Snowpark Python 代码。

警告

Snowpark 暂不支持 Python 3.12。
当前，此 Operator 不支持 Snowpark pandas API，因为 Airflow 中使用的 pandas 版本存在冲突。请考虑与其他 Snowpark Decorator 或 Operator 一起使用 Snowpark pandas API。

提示

推荐使用 @task.snowpark Decorator 来运行 Snowpark Python 代码，而不是使用 SnowparkOperator。

先决条件任务¶

要使用此 Operator，您需要执行一些步骤

通过 pip 安装 Provider 包。
pip install 'apache-airflow-providers-snowflake'
有关详细信息，请参阅安装。
设置 Snowflake 连接.

使用 Operator¶

使用 snowflake_conn_id 参数指定要使用的连接。如果未指定，将使用 snowflake_default。

@task.snowpark 的使用示例如下

tests/system/snowflake/example_snowpark_operator.py

    def setup_data(session: Session):
        # The Snowpark session object is injected as an argument
        data = [
            (1, 0, 5, "Product 1", "prod-1", 1, 10),
            (2, 1, 5, "Product 1A", "prod-1-A", 1, 20),
            (3, 1, 5, "Product 1B", "prod-1-B", 1, 30),
            (4, 0, 10, "Product 2", "prod-2", 2, 40),
            (5, 4, 10, "Product 2A", "prod-2-A", 2, 50),
            (6, 4, 10, "Product 2B", "prod-2-B", 2, 60),
            (7, 0, 20, "Product 3", "prod-3", 3, 70),
            (8, 7, 20, "Product 3A", "prod-3-A", 3, 80),
            (9, 7, 20, "Product 3B", "prod-3-B", 3, 90),
            (10, 0, 50, "Product 4", "prod-4", 4, 100),
            (11, 10, 50, "Product 4A", "prod-4-A", 4, 100),
            (12, 10, 50, "Product 4B", "prod-4-B", 4, 100),
        ]
        columns = ["id", "parent_id", "category_id", "name", "serial_number", "key", "3rd"]
        df = session.create_dataframe(data, schema=columns)
        table_name = "sample_product_data"
        df.write.save_as_table(table_name, mode="overwrite")
        return table_name

    setup_data_operator = SnowparkOperator(
        task_id="setup_data",
        python_callable=setup_data,
        dag=dag,
    )

    def check_num_rows(table_name: str):
        # Alternatively, retrieve the Snowpark session object using `get_active_session`
        from snowflake.snowpark.context import get_active_session

        session = get_active_session()
        df = session.table(table_name)
        assert df.count() == 12

    check_num_rows_operator = SnowparkOperator(
        task_id="check_num_rows",
        python_callable=check_num_rows,
        op_kwargs={"table_name": "{{ task_instance.xcom_pull(task_ids='setup_data') }}"},
        dag=dag,
    )

    setup_data_operator >> check_num_rows_operator

如示例所示，有两种方法在 Python 函数中使用 Snowpark session 对象

将 Snowpark session 对象作为名为 session 的关键字参数传递给函数。Snowpark session 将自动注入到函数中，使您可以像往常一样使用它。

使用 Snowpark 中的 get_active_session 函数在函数内部检索 Snowpark session 对象。

注意

可以传递给 Operator 的参数将优先于 Airflow 连接元数据中已有的参数（例如 schema、role、database 等）。