Amazon QuickSight¶
Amazon QuickSight 是一种快速的商业分析服务,用于构建可视化、执行临时分析并快速从数据中获取业务洞察。Amazon QuickSight 可以无缝发现 AWS 数据源,使组织能够扩展到数十万用户,并使用 Amazon QuickSight 超快、并行、内存中计算引擎 (SPICE) 提供快速响应的查询性能。
先决条件任务¶
要使用这些 Operator,您必须执行以下几项操作:
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'详细信息请参见 Airflow® 的安装
设置连接.
通用参数¶
- aws_conn_id
引用 Amazon Web Services 连接 ID。如果此参数设置为
None
,则使用默认的 boto3 行为,不进行连接查找。否则,使用连接中存储的凭据。默认值:aws_default
- region_name
AWS 区域名称。如果此参数设置为
None
或省略,则使用来自 Amazon Web Services 连接额外参数 中的 region_name。否则,使用指定的值而不是连接中的值。默认值:None
- verify
是否验证 SSL 证书。
False
- 不验证 SSL 证书。path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果您想使用与 botocore 使用的不同的 CA 证书包,则可以指定此参数。
如果此参数设置为
None
或省略,则使用来自 Amazon Web Services 连接额外参数 中的 verify。否则,使用指定的值而不是连接中的值。默认值:None
- botocore_config
提供的字典用于构造 botocore.config.Config。此配置可用于配置 避免节流异常、超时等。
示例,有关参数的更多详细信息,请参阅 botocore.config.Config¶{ "signature_version": "unsigned", "s3": { "us_east_1_regional_endpoint": True, }, "retries": { "mode": "standard", "max_attempts": 10, }, "connect_timeout": 300, "read_timeout": 300, "tcp_keepalive": True, }
如果此参数设置为
None
或省略,则使用来自 Amazon Web Services 连接额外参数 中的 config_kwargs。否则,使用指定的值而不是连接中的值。默认值:None
注意
指定一个空字典
{}
将覆盖 botocore.config.Config 的连接配置。
Operator¶
Amazon QuickSight 创建注入¶
QuickSightCreateIngestionOperator
为数据集创建并启动新的 SPICE 注入。该 Operator 还会刷新现有的 SPICE 数据集。
tests/system/amazon/aws/example_quicksight.py
create_ingestion = QuickSightCreateIngestionOperator(
task_id="create_ingestion",
data_set_id=dataset_id,
ingestion_id=ingestion_id,
)
Sensor¶
Amazon QuickSight 注入 Sensor¶
QuickSightSensor
等待 Amazon QuickSight 创建注入过程,直到其达到终止状态。
tests/system/amazon/aws/example_quicksight.py
await_job = QuickSightSensor(
task_id="await_job",
data_set_id=dataset_id,
ingestion_id=ingestion_id,
)