tests.system.google.cloud.dataproc.example_dataproc_sparkr¶

一个用于 DataprocSubmitJobOperator 和 sparkr 作业的示例 Airflow DAG。

属性¶

`ENV_ID`
`DAG_ID`
`PROJECT_ID`
`BUCKET_NAME`
`RESOURCE_DATA_BUCKET`
`JOB_FILE`
`GCS_JOB_FILE`
`CLUSTER_NAME_BASE`
`CLUSTER_NAME_FULL`
`CLUSTER_NAME`
`REGION`
`CLUSTER_CONFIG`
`SPARKR_JOB`
`create_bucket`
`test_run`

模块内容¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.ENV_ID[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.DAG_ID = 'dataproc_sparkr'[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.PROJECT_ID[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.BUCKET_NAME = 'bucket_dataproc_sparkr_Uninferable'[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.RESOURCE_DATA_BUCKET = 'airflow-system-tests-resources'[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.JOB_FILE = 'dataproc-sparkr-job.r'[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.GCS_JOB_FILE = 'gs://bucket_dataproc_sparkr_Uninferable/dataproc/dataproc-sparkr-job.r'[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_NAME_BASE = ''[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_NAME_FULL = ''[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_NAME = ''[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.REGION = 'europe-west1'[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.CLUSTER_CONFIG[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.SPARKR_JOB[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.create_bucket[源]¶

tests.system.google.cloud.dataproc.example_dataproc_sparkr.test_run[源]¶

此条目有帮助吗？