Impala 中如何使用外部表？

推荐答案

在 Impala 中，使用外部表的步骤如下：

1. 创建外部表：

   CREATE EXTERNAL TABLE external_table_name (
       column1_name column1_type,
       column2_name column2_type,
       ...
   )
   STORED AS file_format
   LOCATION 'hdfs_path';

   • external_table_name：外部表的名称。
   • column1_name, column2_name, ...：表的列名。
   • column1_type, column2_type, ...：列的数据类型。
   • file_format：数据文件的格式，如 PARQUET, TEXTFILE, AVRO 等。
   • hdfs_path：数据文件在 HDFS 中的路径。

2. 查询外部表：

   SELECT * FROM external_table_name;

3. 删除外部表：

   DROP TABLE external_table_name;

   注意：删除外部表时，只会删除表的元数据，不会删除 HDFS 中的数据文件。

本题详细解读

1. 外部表的概念

外部表（External Table）是 Impala 中的一种表类型，它与存储在 HDFS 或其他存储系统中的数据文件关联。与内部表不同，外部表的数据文件不由 Impala 管理，删除外部表时，数据文件不会被删除。

2. 创建外部表

创建外部表时，需要指定表的列名、数据类型、数据文件格式以及数据文件在 HDFS 中的路径。Impala 支持多种文件格式，如 Parquet、TextFile、Avro 等。

3. 查询外部表

创建外部表后，可以像查询普通表一样查询外部表。Impala 会自动读取 HDFS 中的数据文件并返回查询结果。

4. 删除外部表

删除外部表时，Impala 只会删除表的元数据，而不会删除 HDFS 中的数据文件。这意味着数据文件仍然可以在其他系统中使用。

5. 使用场景

外部表适用于以下场景：

• 数据文件由其他系统生成或管理。
• 数据文件需要在多个系统之间共享。
• 不希望 Impala 管理数据文件的生命周期。

通过使用外部表，Impala 可以灵活地与外部数据源集成，同时保持数据的独立性和可重用性。