hive静态分区表，动态分区表详解，案例demo

数据文本，student.txt

1	zhansgan	12	man
2	lisi	13	man
3	xiaohong	16	woman

静态分区：将数据指定分配到某个分区下。
创建静态分区表案列

#创建表
create table student(
id string,
name string,
age string,
sex string
)
PARTITIONED BY(student_age string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 
#加载数据
load data local inpath '/root/student.txt' overwrite into table student0
PARTITION  (student_age='12');

静态分区表hdfs上文件存储形式如下：
在这里插入图片描述
动态分区：根据数据的某个或某几个字段的值将数据动态分到某个分区下
创建动态分区表案列一：多个分区字段时，全部实现动态分区插入数据

#开启动态分区
set hive.exec.dynamic.partition=true;
#设置为非严格模式 
set hive.exec.dynamic.partition.mode=nonstrict;
#创建元表，导数据到动态分区表用
create table student0(
id string,
name string,
age_partition string,
sex_partition  string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
#导入数据
load data local inpath '/root/student.txt' overwrite into table student0;


#创建动态分区表，分区字段sex_partition ,age_partition。
#注意：分区字段sex_partition ,age_partition， 
#必须在student0表中，但不能在student2表中，不然会导入数据失败。
create table student2(
id2 string,
name2 string,
age2 string,
sex2 string
)
PARTITIONED BY(sex_partition string,age_partition string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 

#从student0导入数据到student2
#注意：前四个字段是studet0中字段，后两个字段是分区字段
insert into table student2 PARTITION (sex_partition,age_partition)
select id,name,age_partition,sex_partition,sex_partition,age_partition from student0;

#查询数据
select * from student2 where sex_partition='man' and age_partition='12';

动态分区表hdfs上文件存储形式如下：
在这里插入图片描述 创建动态分区表案列二：多个分区字段时，实现半自动分区（部分字段静态分区，注意静态分区字段要在动态前面）

#从student0导入数据到student2
insert into table student2 PARTITION (sex_partition='man',age_partition)
select id,name,age_partition,sex_partition,age_partition from student0;

动态分区表hdfs上文件存储形式如下：
在这里插入图片描述

本文链接：https://blog.csdn.net/weixin_43614067/article/details/108637441

智能推荐

前端小练习：jQuery酷炫照片墙

jQuery酷炫照片墙效果展示： HTML代码： css代码： jQuery代码：方法解释 transform transform 属性向元素应用 2D 或 3D 转换。该属性允许我们对元素进行旋转、缩放、移动或倾斜。W3scool Math.random() 产生随机数。编程狮 translate 绘图函数编程狮 attr attr() 方法设置或返回被选元素的属性和值。编程狮 anima...

springMVC拦截器

一、 SpringMVC拦截器实现原理用户请求到DispatherServlet中，DispatherServlet调用HandlerMapping查找Handler，HandlerMapping返回一个拦截器链（HandlerExecutionChain），springmvc中的拦截器是通过HandlerMapping发起的。 &nbs...

Unity Json反序列化

Json反序列化结果：...

[机器学习-回归算法]Sklearn之线性回归实战

Sklearn之线性回归实战一，前言二，热身例子三，贸易公司的简单例子四，Sklearn 官网里的一个例子参考资料一，前言一元线性回归的理论片请看我这个链接二，热身例子预测直线 y=1x1+2x2+3y = 1x_1 + 2x_2 +3y=1x1+2x2+3 导入LinearRegression 从Sklearn.liear_model 包里拟合数据也可以说是训练检验正确...

Android 开发者，你真的懂 Context 吗？

Android Context 详解前言一、Context是什么二、Context结构 1、ContextImpl类介绍 2、ContextWrapper类介绍 3、ContextThemeWrapper 三、Context的数量四、Context注意事项五、如何正确回复以上面试题？前言 Context 相信所有的 Android 开发人员基本上每天都在接触，因为它太常见了。但是这并不...