Apache Hive 到 Amazon DynamoDB¶

使用 HiveToDynamoDBOperator 传输将现有 Apache Hive 表的内容复制到现有 Amazon DynamoDB 表中。

先决条件任务¶

要使用这些操作符，您必须执行以下几步

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow® 安装
设置连接.

操作符¶

Apache Hive 到 Amazon DynamoDB 传输操作符¶

此操作符将记录从 Apache Hive 表复制到 Amazon DynamoDB 表。用户必须指定一个 HQL 查询作为过滤条件。

更多信息请访问：HiveToDynamoDBOperator

使用示例

tests/system/amazon/aws/example_hive_to_dynamodb.py

backup_to_dynamodb = HiveToDynamoDBOperator(
    task_id="backup_to_dynamodb",
    hiveserver2_conn_id=hive_connection_id,
    sql=HIVE_SQL,
    table_name=dynamodb_table_name,
    table_keys=[DYNAMODB_TABLE_HASH_KEY],
)

Apache Hive 到 Amazon DynamoDB¶

先决条件任务¶

操作符¶

Apache Hive 到 Amazon DynamoDB 传输操作符¶

参考¶