您现在的位置是:首页 >学无止境 >【大数据之Hadoop】三十、HDFS故障排除网站首页学无止境
【大数据之Hadoop】三十、HDFS故障排除
使用3台服务器,恢复yarn快照。
1 NameNode故障处理
出现NameNode进程挂了并且存储的数据也丢失了,怎么恢复NameNode。
故障模拟:
(1)kill掉NameNode的进程:
kill -9 进程ID
(2)删除NameNode的数据:/opt/module/hadooop-3.3.1/data/dfs/name
rm -rf /opt/module/hadooop-3.3.1/data/dfs/name/*
故障恢复:
(1)拷贝SecondaryNameNode中的数据到NameNode存储目录下:
scp -r liaoyanxia@hadoop104:/opt/module/hadoop-3.3.1/data/dfs/namesecondary/* ./name/
(2)重启NameNode:
hdfs --daemon start namenode
(3)向集群上传一个文件,成功!
2 集群安全模式&磁盘修复
安全模式的状态:文件系统只能进行读操作,不能删除、修改等。
进入安全模式的场景:
(1)NameNode在加载镜像文件和编辑日志时(集群刚启动或者系统刚启动时会进入到安全模式)。
(2)NameNode在接收DataNode注册时。
退出安全模式的条件:
(1)dfs.namenode.safemode.min.datanodes:最小可用datanode数量,默认0
(2)dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比,默认0.999f。(只允许丢一个块)
(3)dfs.namenode.safemode.extension:稳定时间,默认值30000毫秒,即30秒。
基本语法:
集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。
(1)bin/hdfsdfsadmin -safemode get (功能描述:查看安全模式状态)
(2)bin/hdfsdfsadmin -safemode enter (功能描述:进入安全模式状态)
(3)bin/hdfsdfsadmin -safemode leave (功能描述:离开安全模式状态)
(4)bin/hdfsdfsadmin -safemode wait (功能描述:等待安全模式状态)
案例1:磁盘修复:当数据损坏进入安全模式时怎么处理:
(1)分别进入hadoop102、hadoop103、hadoop104的/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-…/current/finalized/subdir0/subdir0目录,统一删除某2个块信息(.meta后缀)。
删除之后集群没有任何反应的原因:
NameNode和DataNode的工作机制:在集群启动之后,由DataNode主动向NameNode汇报,等到6小时间隔再汇报一次,当把数据块损坏时,得至少过6小时NameNode才会知道DataNode有无汇报。
修复方法:重启集群。
(2)重启集群。
(3)观察http://hadoop102:9870/dfshealth.html#tab-overview
说明:安全模式已经打开,块的数量没有达到要求,且一直处于安全模式。
(4)离开安全模式:
hdfs dfsadmin -safemode get
hdfs dfsadmin -safemode leave
(5)安全模式关闭后,观察http://hadoop102:9870/dfshealth.html#tab-overview,发现丢失两个块。
此时可以对集群进行工作,但下次再启动集群时还是会进入到安全模式,任何关掉安全模式后还是会提示丢失块。
方法一:由专业人士修复丢失的块,在恢复块之前不能对集群有任何操作。
方法二:如果该块不重要,则可以在HDFS删除元数据。
(6)用方法二在HDFS删除上述目录下的元数据。
(7)重启集群,观察http://hadoop102:9870/dfshealth.html#tab-overview,集群已经正常。
案例2:模拟等待安全模式,只有在安全模式退出之后才能继续进行操作。
(1)查看当前模式:
hdfs dfsadmin -safemode get
(2)先进入安全模式:
bin/hdfs dfsadmin -safemode enter
(3)在/opt/module/hadoop-3.3.1路径上创建并执行脚本safemode.sh,执行完该脚本之后数据并没有上传到HDFS中。
vim safemode.sh
#!/bin/bash
hdfs dfsadmin -safemode wait
hdfs dfs -put /opt/module/hadoop-3.3.1/README.txt /
chmod 777 safemode.sh
./safemode.sh
(4)在另外一个窗口执行执行安全模式退出。
bin/hdfs dfsadmin -safemode leave
(5)观察原来的窗口显示安全模式退出。
Safe mode is OFF
(6)观察到HDFS集群上数据上传成功。
3 慢磁盘监控
指写入数据非常慢的磁盘。当机器运行时间长了,任务运行多,磁盘读写能力退化,严重时出现写入数据延时问题。
发现慢磁盘的办法:
在HDFS创建一个目录,正常需要不到1s的时间,若创建目录大于1min且不是每次都是,知识偶尔慢,就可能出现慢磁盘。
找出哪块是慢磁盘的方法:
1)心跳未联系时间
慢磁盘会影响DataNode和NameNode之间的心跳,正常心跳时间间隔是3s,超过3s则异常。
2)fio命令,测试磁盘读写性能
先下载fio:sudo yum install -y fio
(1)顺序读测试
sudo fio -filename=/home/liaoyanxia/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r
(2)顺序写测试
sudo fio -filename=/home/liaoyanxia/test.log -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w
(3)随机写测试
sudo fio -filename=/home/liaoyanxia/test.log -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw
(4)混合随机读写
sudo fio -filename=/home/liaoyanxia/test.log -direct=1 -iodeth 1 -thread -re=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop
4 小文件归档
小文件弊端:
因为每个文件按块存储,每个块都存储在NameNode中,大概占150Byte,所以对于100个1k的文件块和100个128m的文件块,所占的NameNode内存大小都为100*150Byte。大量小文件会占用很多NameNode内存。
解决:
HDFS存档文件或HAR文件,把文件存入HDFS块,在减少NameNode内存使用的同时,允许对文件进行透明的访问。(即HDFS存的文件对内还是一个一个独立文件,对NameNode而言却是一个整体,减少了NameNode的内存。
先开启集群:
myhadoop.sh start
归档文件:
把/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/output路径下。
hadoop archive -archiveName input.har -p /input /output
查看归档文件:
hadoop fs -ls /output/input.har
hadoop fs -ls har:///output/input.har 可以看到归档文件里的一个个文件
解归档文件:
hadoop fs -cp har:///output/input.har/* /