Amazon QuickSight¶

Amazon QuickSight 是一种快速的商业分析服务，用于构建可视化、执行临时分析并快速从数据中获取业务洞察。Amazon QuickSight 可以无缝发现 AWS 数据源，使组织能够扩展到数十万用户，并使用 Amazon QuickSight 超快、并行、内存中计算引擎 (SPICE) 提供快速响应的查询性能。

先决条件任务¶

要使用这些 Operator，您必须执行以下几项操作：

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参见 Airflow® 的安装
设置连接.

通用参数¶

aws_conn_id

引用 Amazon Web Services 连接 ID。如果此参数设置为 None，则使用默认的 boto3 行为，不进行连接查找。否则，使用连接中存储的凭据。默认值: aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则使用来自 Amazon Web Services 连接额外参数中的 region_name。否则，使用指定的值而不是连接中的值。默认值: None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果您想使用与 botocore 使用的不同的 CA 证书包，则可以指定此参数。

如果此参数设置为 None 或省略，则使用来自 Amazon Web Services 连接额外参数中的 verify。否则，使用指定的值而不是连接中的值。默认值: None

botocore_config

提供的字典用于构造 botocore.config.Config。此配置可用于配置避免节流异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则使用来自 Amazon Web Services 连接额外参数中的 config_kwargs。否则，使用指定的值而不是连接中的值。默认值: None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置。

Operator¶

Amazon QuickSight 创建注入¶

QuickSightCreateIngestionOperator 为数据集创建并启动新的 SPICE 注入。该 Operator 还会刷新现有的 SPICE 数据集。

tests/system/amazon/aws/example_quicksight.py

create_ingestion = QuickSightCreateIngestionOperator(
    task_id="create_ingestion",
    data_set_id=dataset_id,
    ingestion_id=ingestion_id,
)

Sensor¶

Amazon QuickSight 注入 Sensor¶

QuickSightSensor 等待 Amazon QuickSight 创建注入过程，直到其达到终止状态。

tests/system/amazon/aws/example_quicksight.py

await_job = QuickSightSensor(
    task_id="await_job",
    data_set_id=dataset_id,
    ingestion_id=ingestion_id,
)

参考¶

QuickSight 的 Boto3 库文档