airflow.providers.amazon.aws.transfers.hive_to_dynamodb¶

此模块包含用于将数据从 Hive 传输到 DynamoDB 的操作符。

类¶

HiveToDynamoDBOperator

将数据从 Hive 传输到 DynamoDB。

模块内容¶

类 airflow.providers.amazon.aws.transfers.hive_to_dynamodb.HiveToDynamoDBOperator(*, sql, table_name, table_keys, pre_process=None, pre_process_args=None, pre_process_kwargs=None, region_name=None, schema='default', hiveserver2_conn_id='hiveserver2_default', aws_conn_id='aws_default', **kwargs)[source]¶

基类: airflow.models.BaseOperator

将数据从 Hive 传输到 DynamoDB。

请注意，目前数据在推送到 DynamoDB 之前会加载到内存中，因此此操作符应仅用于数据量较小的情况。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：Apache Hive 到 Amazon DynamoDB 数据传输操作符

参数:

sql (str) – 要针对 Hive 数据库执行的 SQL 查询。(模板化)
table_name (str) – 目标 DynamoDB 表
table_keys (list) – 分区键和排序键
pre_process (Callable | None) – 实现源数据的预处理
pre_process_args (list | None) – pre_process 函数参数列表
pre_process_kwargs (list | None) – pre_process 函数参数字典
region_name (str | None) – AWS 区域名称 (示例: us-east-1)
schema (str) – Hive 数据库模式
hiveserver2_conn_id (str) – 参考 :ref: Hive Server2 thrift 服务连接 ID <howto/connection:hiveserver2>。
aws_conn_id (str | None) – AWS 连接