您现在的位置是:首页 >学无止境 >hbase数据离线备份与导入网站首页学无止境
hbase数据离线备份与导入
简介hbase数据离线备份与导入
ps:将数据导出到hdfs,再导出到本地。然后导入到新集群的hdfs,在导入到新集群的hbase。
-
旧的集群导出数据到hdfs:./hbase org.apache.hadoop.hbase.mapreduce.Export testmove /move/testmove
-
旧的集群查看hdfs数据文件大小:hadoop fs -du -s -h /move/testmove
-
旧的集群将hdfs文件下载到本地:hadoop fs -get /move/testmove /home/hadoop/exporthdfsdata/
-
新的集群创建表:create ‘testmove’,‘cf’
-
新的集群创建hdfs目录:hdfs dfs -mkdir -p /move
-
新的集群导入文件到hdfs目录:hadoop fs -put /home/hadoop/exporthdfsdata/testmove/ /move/
-
新的集群查看导入数据文件大小,大小跟之前一致说明数据一致:hadoop fs -du -s -h /move/testmove
-
新的集群从hdfs导入hbase:./hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapred.job.queue.name=yarnuser1 testmove /move/testmove
ps:默认是使用defaut队列,如果说需要使用其他队列,则需要设置 -Dmapred.job.queue.name=队列名称
-
进入hbase查看数据量,对的上则成功:count ‘表名’
ps:由于是测试表。数据量不大,直接使用count查询,数据量大可以使用mr进行查询
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。