`tests.system.google.cloud.dataprep.example_dataprep`¶

展示如何使用 Google Dataprep 的示例 Airflow DAG。

此 DAG 依赖于以下操作系统环境变量

SYSTEM_TESTS_DATAPREP_TOKEN - Dataprep API 访问令牌。有关如何生成，请使用以下说明 https://docs.trifacta.com/display/DP/Manage+API+Access+Tokens#:~:text=Enable%20individual%20access-,Generate%20New%20Token,-Via%20UI。

模块内容¶

tests.system.google.cloud.dataprep.example_dataprep.ENV_ID[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.DAG_ID = 'dataprep'[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.CONNECTION_ID[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.DATAPREP_TOKEN[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.GCP_PROJECT_ID[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.GCS_BUCKET_NAME[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.GCS_BUCKET_PATH[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.DATASET_URI = 'gs://airflow-system-tests-resources/dataprep/dataset-00000.parquet'[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.DATASET_NAME[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.DATASET_WRANGLED_NAME[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.DATASET_WRANGLED_ID = "{{ task_instance.xcom_pull('create_wrangled_dataset')['id'] }}"[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.FLOW_ID = "{{ task_instance.xcom_pull('create_flow')['id'] }}"[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.FLOW_COPY_ID = "{{ task_instance.xcom_pull('copy_flow')['id'] }}"[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.RECIPE_NAME[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.WRITE_SETTINGS[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.log[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.create_bucket_task[源代码]¶

tests.system.google.cloud.dataprep.example_dataprep.test_run[源代码]¶

此条目是否有帮助？