用于 DataprocSubmitJobOperator 的示例 Airflow DAG，使用 sparkr 作业。
模块内容
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.ENV_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.DAG_ID = 'dataproc_sparkr'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.PROJECT_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.BUCKET_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.RESOURCE_DATA_BUCKET = 'airflow-system-tests-resources'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.JOB_FILE = 'dataproc-sparkr-job.r'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.GCS_JOB_FILE[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_NAME_BASE[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_NAME_FULL[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.REGION = 'europe-west1'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_CONFIG[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.SPARKR_JOB[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.create_bucket[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_sparkr.test_run[源代码]