用于 DataprocSubmitJobOperator 的示例 Airflow DAG,带有 hadoop 作业。
模块内容
-
tests.system.google.cloud.dataproc.example_dataproc_flink.ENV_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.DAG_ID = 'dataproc_flink'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.PROJECT_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.BUCKET_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.CLUSTER_NAME_BASE[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.CLUSTER_NAME_FULL[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.CLUSTER_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.REGION = 'europe-west1'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.OUTPUT_FOLDER = 'wordcount'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.OUTPUT_PATH[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.CLUSTER_CONFIG[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.FLINK_JOB[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.create_bucket[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_flink.test_run[源代码]