展示如何使用 Dataplex 的示例 Airflow DAG。
模块内容
-
tests.system.google.cloud.dataplex.example_dataplex.ENV_ID[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.PROJECT_ID[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.DAG_ID = 'dataplex'[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.BUCKET_NAME[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.SPARK_FILE_NAME = 'spark_example_pi.py'[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.RESOURCE_DATA_BUCKET = 'airflow-system-tests-resources'[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.LAKE_ID[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.REGION = 'us-west1'[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.SERVICE_ACC[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.SPARK_FILE_FULL_PATH[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.DATAPLEX_TASK_ID[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.TRIGGER_SPEC_TYPE = 'ON_DEMAND'[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.EXAMPLE_TASK_BODY[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.EXAMPLE_LAKE_BODY[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.create_bucket[源代码]
-
tests.system.google.cloud.dataplex.example_dataplex.test_run[源代码]