Hive 分区

在Hive中，分区是指将表的数据按照特定的列进行划分和存储的一种方式。通过使用分区，可以提高查询性能和减少I/O开销，因为在查询时只需要访问特定分区中的数据。本文将介绍如何在Hive中使用分区。

阅读更多：Hive 教程

创建分区表

首先，我们需要创建一个分区表。下面我们以“sales”表为例，使用“dt”和“country”两个列作为分区：

CREATE TABLE sales (id INT, name STRING, amount DOUBLE)
PARTITIONED BY (dt STRING, country STRING);

这里的 PARTITIONED BY 用于指定分区列。在创建表时，只需要指定列的名称和数据类型，无需指定具体的分区值。

接下来，在向分区表中插入数据时，需要指定分区列的值。例如，向“20170101”日期的“美国”分区插入一条数据：

INSERT INTO sales PARTITION (dt='20170101', country='美国') VALUES (1, 'Tom', 99.99);

分区值以 PARTITION 关键字开头，后面跟随（列名=值）的形式。对于不同的分区值，不同的数据将存储在不同的目录中。

在查询分区表时，可以指定特定的分区值，以提高查询效率。例如，从“20170101日”的“美国”分区选择所有数据：

SELECT * FROM sales WHERE dt='20170101' AND country='美国';

上述查询只需要访问“20170101日”的“美国”分区中的数据，而不需要扫描整个表。

动态分区是一种在插入数据时自动创建分区并为分区列赋值的方式。在使用动态分区时，插入语句中不需要指定分区列的值，而是通过 INSERT OVERWRITE TABLE 将分区列作为查询结果提取出来。例如，以下查询将根据数据中的 dt 和 country 分区插入数据：

INSERT OVERWRITE TABLE sales PARTITION (dt, country) 
SELECT id, name, amount, dt, country FROM sales_data;

需要注意的是，动态分区需要在使用 SET hive.exec.dynamic.partition.mode=nonstrict 命令启用。动态分区的使用类似于普通分区，只是在插入语句中不需要指定具体分区列的值。

对于已经存在的分区表，可以使用 MSCK REPAIR TABLE 命令恢复元数据中丢失的分区。例如，使用以下命令将表“sales”中所有尚未添加到元数据中的分区添加到元数据中：

MSCK REPAIR TABLE sales;

另外，可以使用以下命令来查看分区表中的所有分区信息：

SHOW PARTITIONS sales;

本文介绍了如何在Hive中使用分区，包括创建分区表、插入分区数据、查询分区数据、动态分区和分区表维护。分区是一种优化查询性能的重要手段，合理使用分区可以提高查询效率和系统性能。