Apache Hive 到 Amazon DynamoDB¶

使用 HiveToDynamoDBOperator 传输操作符将现有的 Apache Hive 表的内容复制到现有的 Amazon DynamoDB 表。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请访问 Airflow® 的安装
设置连接.

操作符¶

Apache Hive 到 Amazon DynamoDB 传输操作符¶

此操作符将记录从 Apache Hive 表复制到 Amazon DynamoDB 表。用户必须指定一个 HQL 查询作为过滤条件。

要获取更多信息，请访问：HiveToDynamoDBOperator

使用示例

tests/system/amazon/aws/example_hive_to_dynamodb.py

backup_to_dynamodb = HiveToDynamoDBOperator(
    task_id="backup_to_dynamodb",
    hiveserver2_conn_id=hive_connection_id,
    sql=HIVE_SQL,
    table_name=dynamodb_table_name,
    table_keys=[DYNAMODB_TABLE_HASH_KEY],
)

Apache Hive 到 Amazon DynamoDB¶

先决条件任务¶

操作符¶

Apache Hive 到 Amazon DynamoDB 传输操作符¶

参考¶