除非你创建一个运行 Apache Hive 的 Amazon EMR 集群,并按照以下步骤 1-4(包括)将数据复制到其中,否则此 DAG 将无法工作: https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.Tutorial.html
模块内容
属性
-
tests.system.amazon.aws.example_hive_to_dynamodb.DAG_ID = 'example_hive_to_dynamodb'[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.HIVE_CONNECTION_ID_KEY = 'HIVE_CONNECTION_ID'[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.HIVE_HOSTNAME_KEY = 'HIVE_HOSTNAME'[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.sys_test_context_task[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.DYNAMODB_TABLE_HASH_KEY = 'feature_id'[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.HIVE_SQL = 'SELECT feature_id, feature_name, feature_class, state_alpha FROM hive_features'[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.create_dynamodb_table(table_name)[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.get_dynamodb_item_count(table_name)[源码]
DynamoDB 表有一个 ItemCount 值,但它仅每六小时更新一次。为了验证此 DAG 是否正常工作,我们将扫描该表并手动计数项目。
-
tests.system.amazon.aws.example_hive_to_dynamodb.delete_dynamodb_table(table_name)[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.configure_hive_connection(connection_id, hostname)[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.test_context[源码]
-
tests.system.amazon.aws.example_hive_to_dynamodb.test_run[源码]