airflow.providers.snowflake.operators.snowpark

模块内容

SnowparkOperator

使用 Snowpark Python 代码执行 Python 函数。

class airflow.providers.snowflake.operators.snowpark.SnowparkOperator(*, snowflake_conn_id='snowflake_default', python_callable, op_args=None, op_kwargs=None, templates_dict=None, templates_exts=None, show_return_value_in_logs=True, warehouse=None, database=None, schema=None, role=None, authenticator=None, session_parameters=None, **kwargs)[source]

基类: airflow.providers.common.compat.standard.operators.PythonOperator

使用 Snowpark Python 代码执行 Python 函数。

另请参阅

有关如何使用此操作符的更多信息,请查看指南:SnowparkOperator

参数
  • snowflake_conn_id (str) – 引用 Snowflake 连接 ID

  • python_callable (Callable) – 对可调用对象的引用

  • op_args (collections.abc.Collection[Any] | None) – 将在调用你的可调用对象时解包的位置参数列表

  • op_kwargs (collections.abc.Mapping[str, Any] | None) – 一个关键字参数字典,将在你的函数中解包

  • templates_dict (dict[str, Any] | None) – 一个字典,其中的值是模板,这些模板将在 Airflow 引擎在 __init__execute 之间进行模板化,并在应用模板后在你的可调用对象的上下文中可用。(已模板化)

  • templates_exts (collections.abc.Sequence[str] | None) – 在处理模板化字段时要解析的文件扩展名列表,例如 ['.sql', '.hql']

  • show_return_value_in_logs (bool) – 一个布尔值,表示是否在日志中显示返回值。默认为 True,允许返回值日志输出。可以设置为 False,以防止在返回大量数据(例如将大量 XCom 传输到 TaskAPI)时输出返回值日志。

  • warehouse (str | None) – 仓库名称(将覆盖连接的额外 JSON 中定义的任何仓库)

  • database (str | None) – 数据库名称(将覆盖连接中定义的数据库)

  • schema (str | None) – schema 名称(将覆盖连接中定义的 schema)

  • role (str | None) – 角色名称(将覆盖连接的额外 JSON 中定义的任何角色)

  • authenticator (str | None) – Snowflake 的身份验证器。 ‘snowflake’ (默认) 使用内部 Snowflake 身份验证器 ‘externalbrowser’ 使用您的 Web 浏览器和 Okta、ADFS 或为您的帐户定义的任何其他 SAML 2.0 兼容的身份提供商 (IdP) 进行身份验证 ‘https://<您的_okta_帐户_名称>.okta.com’ 通过原生 Okta 进行身份验证。

  • session_parameters (dict | None) – 你可以在连接到 Snowflake 时设置会话级别的参数

execute_callable()[source]

使用给定的参数调用 python 可调用对象。

返回

调用的返回值。

此条目是否有帮助?