带有 Hive 作业的 DataprocSubmitJobOperator 的 Airflow DAG 示例。
模块内容
-
tests.system.google.cloud.dataproc.example_dataproc_hive.ENV_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.DAG_ID = 'dataproc_hive'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.PROJECT_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.CLUSTER_NAME_BASE[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.CLUSTER_NAME_FULL[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.CLUSTER_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.REGION = 'europe-west1'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.CLUSTER_CONFIG[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.HIVE_JOB[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.create_cluster[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_hive.test_run[源代码]