tests.system.databricks.example_databricks_sql
这是一个使用 DatabricksSqlOperator 和 DatabricksCopyIntoOperator 的示例 DAG。第一个任务创建表并插入值。第二个任务使用 DatabricksSqlOperator 选择数据。第三个任务选择数据,并将所选数据的输出存储到指定的文件路径和格式中。第四个任务运行 test.sql 文件中编写的 select SQL 语句。最后一个任务使用 DatabricksCopyIntoOperator 将从 file_location 传递的数据加载到 Delta 表中。
模块内容
-
tests.system.databricks.example_databricks_sql.ENV_ID[source]
-
tests.system.databricks.example_databricks_sql.DAG_ID = 'example_databricks_sql_operator'[source]
-
tests.system.databricks.example_databricks_sql.connection_id = 'my_connection'[source]
-
tests.system.databricks.example_databricks_sql.test_run[source]