您现在的位置是：首页 >技术交流 >spark saveAsTable insertInto format(“Hive“) 分区表 写入hive 姿势大全网站首页技术交流

spark saveAsTable insertInto format(“Hive“) 分区表 写入hive 姿势大全

健忘主义-Thomas-6754 2024-06-17 10:47:05
简介spark saveAsTable insertInto format(“Hive“) 分区表 写入hive 姿势大全

1 非分区表 (无需考虑是否为静态分区)

-- 构造测试数据
hive sql:
    use rljl;
    create table ttt(c1 string,c2 int) stored as parquet;
    truncate table ttt;
    insert into ttt values ('sss',111);  --  插入一条测试数据
    select * from ttt;

spark.sql("use rljl") // 切数据库

1.1 非分区表 insertInto + append (df 和 表)schema相同

  Seq(("a",1),("b",2)).toDF("c1","c2").write.mode("append").insertInto("ttt")

  hive> select * from ttt; -- 修改前
  OK
  sss     111
  a       1

  hive> select * from ttt; -- 修改后
  OK
  sss     111
  a       1
  b       2

1.2 非分区表 insertInto + append (df 和 表)schema不同

  • 注意: df的列个数比table的列个数 多或者少 会报错: requires that the data to be inserted hav
风语者！平时喜欢研究各种技术，目前在从事后端开发工作，热爱生活、热爱工作。

站长推荐