用于 DataprocSubmitJobOperator 的带有 hadoop 作业的示例 Airflow DAG。
模块内容
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.ENV_ID[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.DAG_ID = 'dataproc_hadoop'[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.PROJECT_ID[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.BUCKET_NAME[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.CLUSTER_NAME_BASE[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.CLUSTER_NAME_FULL[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.CLUSTER_NAME[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.REGION = 'europe-west1'[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.OUTPUT_FOLDER = 'wordcount'[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.OUTPUT_PATH[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.CLUSTER_CONFIG[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.HADOOP_JOB[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.create_bucket[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_hadoop.test_run[来源]