Amazon SageMaker Unified Studio¶
Amazon SageMaker Unified Studio 是一种统一的开发体验,它汇集了 AWS 的数据、分析、人工智能 (AI) 和机器学习 (ML) 服务。它提供了一个从单个界面构建、部署、执行和监控端到端工作流程的地方。这有助于促进团队间的协作,并促进敏捷开发。
Airflow 提供了操作符,用于在 SageMaker Unified Studio 工作流程中编排 Notebook、Querybook 和可视化 ETL 作业。
先决条件任务¶
要使用这些操作符,您必须完成以下几项任务
按照 AWS 文档 中的说明,创建 SageMaker Unified Studio 域和项目。
在您的项目中: * 导航到“计算 > 工作流程环境”选项卡,然后单击“创建”以创建新的 MWAA 环境。 * 创建一个 Notebook、Querybook 或可视化 ETL 作业并将其保存到您的项目中。
操作符¶
创建 Amazon SageMaker Unified Studio 工作流程¶
要创建 Amazon SageMaker Unified Studio 工作流程来编排您的 Notebook、Querybook 和可视化 ETL 运行,您可以使用 SageMakerNotebookOperator
。
tests/system/amazon/aws/example_sagemaker_unified_studio.py
notebook_path = "test_notebook.ipynb" # This should be the path to your .ipynb, .sqlnb, or .vetl file in your project.
run_notebook = SageMakerNotebookOperator(
task_id="run-notebook",
input_config={"input_path": notebook_path, "input_params": {}},
output_config={"output_formats": ["NOTEBOOK"]}, # optional
compute={
"instance_type": "ml.m5.large",
"volume_size_in_gb": 30,
}, # optional
termination_condition={"max_runtime_in_seconds": 600}, # optional
tags={}, # optional
wait_for_completion=True, # optional
waiter_delay=5, # optional
deferrable=False, # optional
executor_config={ # optional
"overrides": {"containerOverrides": {"environment": mock_mwaa_environment_params}}
},
)