airflow.providers.amazon.aws.transfers.hive_to_dynamodb¶
此模块包含将数据从 Hive 移动到 DynamoDB 的操作符。
模块内容¶
类¶
将数据从 Hive 移动到 DynamoDB。 |
- class airflow.providers.amazon.aws.transfers.hive_to_dynamodb.HiveToDynamoDBOperator(*, sql, table_name, table_keys, pre_process=None, pre_process_args=None, pre_process_kwargs=None, region_name=None, schema='default', hiveserver2_conn_id='hiveserver2_default', aws_conn_id='aws_default', **kwargs)[源代码]¶
基类：
airflow.models.BaseOperator将数据从 Hive 移动到 DynamoDB。
请注意，目前数据在推送到 DynamoDB 之前会加载到内存中，因此此操作符应仅用于少量数据。
另请参阅
有关如何使用此操作符的更多信息，请查看指南：Apache Hive 到 Amazon DynamoDB 传输操作符
- 参数
sql (str) – 要针对 hive 数据库执行的 SQL 查询。(模板化)
table_name (str) – 目标 DynamoDB 表
table_keys (list) – 分区键和排序键
pre_process (Callable | None) – 实现源数据的预处理
pre_process_args (list | None) – pre_process 函数参数列表
pre_process_kwargs (list | None) – pre_process 函数参数字典
region_name (str | None) – aws 区域名称（示例：us-east-1）
schema (str) – hive 数据库模式
hiveserver2_conn_id (str) – 对 Hive Server2 thrift 服务连接 ID <howto/connection:hiveserver2> 的引用。
aws_conn_id (str | None) – aws 连接
- template_fields: collections.abc.Sequence[str] = ('sql',)[源代码]¶
- template_ext: collections.abc.Sequence[str] = ('.sql',)[源代码]¶