您现在的位置是:首页 >技术交流 >spark saveAsTable insertInto format(“Hive“) 分区表 写入hive 姿势大全网站首页技术交流
spark saveAsTable insertInto format(“Hive“) 分区表 写入hive 姿势大全
简介spark saveAsTable insertInto format(“Hive“) 分区表 写入hive 姿势大全
1 非分区表 (无需考虑是否为静态分区)
-- 构造测试数据
hive sql:
use rljl;
create table ttt(c1 string,c2 int) stored as parquet;
truncate table ttt;
insert into ttt values ('sss',111); -- 插入一条测试数据
select * from ttt;
spark.sql("use rljl") // 切数据库
1.1 非分区表 insertInto + append (df 和 表)schema相同
Seq(("a",1),("b",2)).toDF("c1","c2").write.mode("append").insertInto("ttt")
hive> select * from ttt; -- 修改前
OK
sss 111
a 1
hive> select * from ttt; -- 修改后
OK
sss 111
a 1
b 2
1.2 非分区表 insertInto + append (df 和 表)schema不同
- 注意: df的列个数比table的列个数 多或者少 会报错: requires that the data to be inserted hav
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。