您现在的位置是:首页 >学无止境 >hbase数据离线备份与导入网站首页学无止境

hbase数据离线备份与导入

懒惰の天真热 2024-06-17 10:22:23
简介hbase数据离线备份与导入

ps:将数据导出到hdfs,再导出到本地。然后导入到新集群的hdfs,在导入到新集群的hbase。

  1. 旧的集群导出数据到hdfs:./hbase org.apache.hadoop.hbase.mapreduce.Export testmove /move/testmove

  2. 旧的集群查看hdfs数据文件大小:hadoop fs -du -s -h /move/testmove

  3. 旧的集群将hdfs文件下载到本地:hadoop fs -get /move/testmove /home/hadoop/exporthdfsdata/

  4. 新的集群创建表:create ‘testmove’,‘cf’

  5. 新的集群创建hdfs目录:hdfs dfs -mkdir -p /move

  6. 新的集群导入文件到hdfs目录:hadoop fs -put /home/hadoop/exporthdfsdata/testmove/ /move/

  7. 新的集群查看导入数据文件大小,大小跟之前一致说明数据一致:hadoop fs -du -s -h /move/testmove

  8. 新的集群从hdfs导入hbase:./hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapred.job.queue.name=yarnuser1 testmove /move/testmove

    ps:默认是使用defaut队列,如果说需要使用其他队列,则需要设置 -Dmapred.job.queue.name=队列名称

  9. 进入hbase查看数据量,对的上则成功:count ‘表名’

    ps:由于是测试表。数据量不大,直接使用count查询,数据量大可以使用mr进行查询

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。