Hive 中如何使用 LOAD DATA 语句？

推荐答案

在 Hive 中，LOAD DATA 语句用于将数据从本地文件系统或 HDFS 加载到 Hive 表中。以下是 LOAD DATA 语句的基本语法：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)];

• LOCAL：如果指定了 LOCAL，则表示数据文件位于本地文件系统，否则数据文件位于 HDFS。
• filepath：数据文件的路径。
• OVERWRITE：如果指定了 OVERWRITE，则会覆盖目标表中的现有数据，否则数据会被追加到表中。
• tablename：目标表的名称。
• PARTITION：如果目标表是分区表，则需要指定分区列及其对应的值。

示例

1. 从本地文件系统加载数据到 Hive 表：

   LOAD DATA LOCAL INPATH '/path/to/local/file' INTO TABLE my_table;

2. 从 HDFS 加载数据到 Hive 表：

   LOAD DATA INPATH '/path/to/hdfs/file' INTO TABLE my_table;

3. 覆盖现有数据：

   LOAD DATA LOCAL INPATH '/path/to/local/file' OVERWRITE INTO TABLE my_table;

4. 加载数据到分区表：

   LOAD DATA LOCAL INPATH '/path/to/local/file' INTO TABLE my_partitioned_table PARTITION (year=2023, month=10);

本题详细解读

1. LOAD DATA 语句的作用

LOAD DATA 语句用于将数据从外部文件加载到 Hive 表中。它可以处理本地文件系统和 HDFS 上的文件。加载数据时，Hive 会将文件移动到表的存储位置（通常是 HDFS 上的某个目录），而不是复制文件。

2. LOCAL 关键字

• 如果指定了 LOCAL，Hive 会从本地文件系统加载数据。文件会被复制到 Hive 的临时目录，然后移动到表的存储位置。
• 如果没有指定 LOCAL，Hive 会从 HDFS 加载数据。文件会被直接移动到表的存储位置。

3. OVERWRITE 关键字

• 如果指定了 OVERWRITE，目标表中的现有数据会被新数据覆盖。
• 如果没有指定 OVERWRITE，新数据会被追加到目标表中。

4. 分区表

如果目标表是分区表，加载数据时需要指定分区列及其对应的值。Hive 会根据指定的分区信息将数据加载到相应的分区中。

5. 注意事项

• 加载数据时，Hive 不会对数据进行任何转换或处理。数据文件的内容必须与目标表的列结构匹配。
• 如果目标表是分区表，加载数据时必须指定分区信息，否则会导致错误。
• 加载数据后，文件会被移动到表的存储位置，因此原始文件将不再存在于原来的路径中。