跳至主要內容
一些使用技巧

Set命令

可以在Hive命令行中使用set命令去临时设置一些参数的值，也就是hive-site.xml文件中那些参数的值。

但通过这种方式设置的参数值只对当前会话有效。

也可以在脚本文件~/.hiverc中配置set命令，使得某些命令仅对当前机器的当前用户有效（~/.hiverc文件需要自己创建）。

添码座原创大约 2 分钟大数据Hive大数据Hive
Hive高级函数

查看Hive内置函数的信息的方法。

# 查看所有内置函数
hive (default)> show functions;

# 查看指定函数的信息
hive (default)> desc function <FUNC_NAME>;

# 查看指定函数的详细信息
hive (default)> desc function extended <FUNC_NAME>;
添码座原创大约 7 分钟大数据Hive大数据Hive
Hive表和视图

内部表

这是Hive默认的表类型，也称为受控表，表数据默认存储在/user/hive/warehouse目录。

内部表加载的数据都会被移动到/user/hive/warehouse目录，而删除表时，表的元数据和数据都会被删除。

之前使用过的存储在Metastore中的表都是内部表。

添码座原创大约 13 分钟大数据Hive大数据HiveExternalPartitionView
操作库和表

数据库的常见操作

Hive针对库的操作比针对表的操作要少，但操作表之前得先建库。

> cd /home/work/hive-3.1.3
> ./bin/hive

# 查看数据库列表
hive (default)> show databases;

# 创建数据库
hive (default)> create database testdb;

# 在指定位置创建数据库
hive (default)> create database testlocal location '/home/work/volumes/hive/testlocal'

# 选择数据库
hive (default)> use testdb;

# 删除数据库（默认数据库是无法删除的）
hive (default)> drop database testdb;
添码座原创大约 7 分钟大数据Hive大数据Hive
在JDBC中查询

要想通过JDBC代码的方式执行SQL查询，需要先执行hiveserver2命令。

> cd /home/work/hive-3.1.3
> ./bin/hiveserver2
......
添码座原创大约 1 分钟大数据Hive大数据HiveJDBC
在命令行中查询

使用hive命令

执行下面的命令开启Hive客户端。

> cd /home/work/hive-3.1.3
> ./bin/hive

/usr/bin/which: no hbase in (/root/.local/bin:/root/bin:.:/home/work/hadoop-3.2.0/bin:/home/work/hadoop-3.2.0/sbin:/usr/local/java/jdk1.8.0_401/bin:/usr/share/Modules/bin:/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/work/hive-3.1.3/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/work/hadoop-3.2.0/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Hive Session ID = 86ca643b-ec64-4f1f-bd24-6405e64fe77a

Logging initialized using configuration in jar:file:/home/work/hive-3.1.3/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.Hive Session ID = d8f39576-5efc-49c7-9658-1cf0b3b3cdca

hive>
添码座原创大约 4 分钟大数据Hive大数据Hive
Hive数据仓库

Hive概述

  • Hive是一个建立在Hadoop之上的数据仓库，它提供了一系列的工具，可以实现对PB级数据的提取（Extract）、转化（Transform）和加载（Load），也就是ETL。

  • Hive定义了一个简单的类SQL查询语言，被称为HQL，可以通过它来实现和MapReduce同样的，甚至更强的功能。

  • Hive的数据存储是基于HDFS实现的，它没有专门的数据存储格式，所以只要HDFS支持的，它也都支持，例如TextFile、SequenceFile和MapFile等。

添码座原创大约 3 分钟大数据Hive大数据Hive