您现在的位置是:首页 >技术教程 >docker水位如何清理(容器水位清理详细分析)网站首页技术教程

docker水位如何清理(容器水位清理详细分析)

haixiangwang 2024-08-22 00:01:04
简介docker水位如何清理(容器水位清理详细分析)

docker水位过高,清理怕出问题?,不知道清理什么?怕删错了?进入实践

第一步准备测试数据

  • 创建 悬空的镜像(即REPOSITORY和TAG均为的镜像)
docker pull busybox:musl
docker tag busybox:musl busybox:stable
mkdir -p /tmp/busybox
cd /tmp/busybox
echo 'FROM busybox:stable' > /tmp/busybox/Dockerfile
echo 'RUN touch /tmp/test' >> /tmp/busybox/Dockerfile
docker build -t busybox:test /tmp/busybox
docker pull busybox:stable
docker build -t busybox:test /tmp/busybox
docker images -f "dangling=true"
  • 创建 正常的容器 并写入1G文件
docker run -d --rm --name busybox busybox:test /bin/sh -c "/bin/sleep 3600"
docker exec -it busybox /bin/sh -c 'dd if=/dev/zero of=./test.zip count=1024 bs=1M'
docker system df | grep Containers
  • 创建 已停止 的容器(即docker ps -a中STATUS为Exited的容器)
docker run -d --name busybox2 busybox:test /bin/sh -c "/bin/sleep 1"
docker ps -a | grep Exited
  • 创建 已暂停 的容器(即docker ps -a中STATUS为Paused的容器
docker run -d --rm --name busybox3 busybox:test /bin/sh -c "/bin/sleep 3600"
docker pause busybox3
docker ps -a | grep Paused
  • 创建 孤儿卷(即未被使用的卷)
docker volume create volume-test1
docker volume ls -f dangling=true

确认过程

1.docker info 确认 docker root 路径

  • docker info 查看 docker root 路径
docker info | grep Root

2.docker system df 分析资源使用

  • docker system df:查看所有镜像/容器/数据卷等资源使用的统计信息
docker system df

docker system df 列出了 docker 使用磁盘的 4 种类型:

类型描述
Images所有镜像占用的空间(包括拉取的镜像、本地构建的镜像)
Containers运行中的容器所占用的空间(没运行就不占空间)
Local Volumes本地数据卷的空间
Build Cache镜像构建过程产生的缓存数据
  • docker system df -v:查看所有镜像/容器/数据卷等资源使用的详细信息
docker system df -v

注:docker system df -v 看到的容器大小,有可能比实际的小很多。比如 df -v 看到某容器大小43G,但该容器对应的 overlay2/xxx/diff 和 merge 加一起却有82G。

docker inspect 分析 overlay2 使用

  • 查看指定容器(比如 busybox)的 overlay2 目录
docker inspect busybox | grep overlay2

docker volume 查看 volume 使用

  • 查看volume
docker volume ls

查看容器日志的大小

  • 查看docker所有容器日志(*-json.log)
find /var/lib/docker/containers/ -name *-json.log
  • 查看超过100MB的文件
find /var/lib/docker -type f -size +100M -print0 | xargs -0 du -h | sort -nr

查看 /var/lib/docker/overlay2

  • 查询 overlay2 占用磁盘空间较多(比如达到G或T以上)的目录
du -sh /var/lib/docker/overlay2/* | grep [GT] | sort -nr
  • 找到使用较多的 overlay2 子目录,结合 docker inspect 反向定位到哪个容器在用
docker ps -q | xargs docker inspect --format '{{.State.Pid}}, {{.Name}}, {{.GraphDriver.Data.WorkDir}}' | grep xxx
  • 进入容器(比如 busybox),找到占用磁盘较多的目录,清理就完了。
docker exec -it busybox /bin/sh -c 'du -sh /*'

在这里插入图片描述

手动清理环节

清理容器日志

  • 重置较大的容器日志(*-json.log)
1.find /var/lib/docker/containers/ -name *-json.log
2.# bash -c "echo > /var/lib/docker/containers/xxx-json.log"
  • 删除较大(超过100MB)的容器日志
find /var/lib/docker -type f -size +100M -print0 | xargs -0 du -h | sort -nr
# rm -f xxx

停止 container

  • 停止 已暂停 的容器(注:请确认已暂停的容器不在使用,否则后面会误删)
#docker stop $(docker ps -a | grep "Paused" | awk '{print $1 }')
  • 停止 特定|所有 的容器
docker stop $(docker ps -a | egrep "(mysql|zabbix)" | awk '{print $1}')
#docker stop $(docker ps -a -q)

删除 container

  • 删除 已停止 的容器
docker rm $(docker ps -a | grep "Exited" | awk '{print $1 }')

删除 特定|所有 的容器

# docker rm $(docker ps -a | egrep "(mysql|zabbix)" | awk '{print $1}')
# docker rm $(docker ps -a -q)

删除 images

  • 删除 悬空 的镜像(即REPOSITORY和TAG 均为的镜像)

注1:若REPOSITORY正常、TAG为,只是说明该镜像没有正常打标签,不可轻易删除。
注2:如果正在运行的容器使用了悬空镜像 ,那么删除此镜像就会报错:Error response from daemon: conflict: unable to delete 77bb919cd617 (cannot be forced) - image is being used by running container 48c2f4b4f4af。 若确认依赖的容器已不在使用,停掉此容器再次删除悬空镜像就不会报错了。

docker rmi $(docker images | grep "^<none>" | awk '{print $3}')
docker rmi $(docker images -qf dangling=true)
  • 删除 特定 的容器
docker rmi -f $(docker images | egrep "(mysql|zabbix|mariadb)" | awk '{print $3}')

删除 volume

  • 删除 孤儿卷(即无用的volume)
docker volume rm $(docker volume ls -qf dangling=true)
  • 清理volume
docker volume prune

删除 network

  • 删除网络,网络一般不占用磁盘空间,可以不用删除
# docker network rm $(docker network ls -q)

推荐 docker system prune

  • docker system prune:会删除已停止的容器、无用的网络、悬空镜像、悬空镜像的构建缓存
    注1:不会删除已暂停的容器、没有关联容器的镜像等
docker images -qf dangling=true  #.悬空的镜像
docker ps -a | grep Exited  #.已关闭的容器
docker system prune
  • docker system prune -a:清理的更加彻底,会删除没有容器使用的镜像
docker system prune -a

最佳实践

使用参数限制容器大小

  • 比如,在创建容器的时候使用参数 –storage-opt size=100G 来设定容器的硬盘大小为100G
docker pull nginx:latest
docker run -itd --name nginx1 -p 8001:80 nginx:latest /bin/bash
docker exec -it nginx1 /bin/bash -c 'df -Th | grep overlay'
docker run -itd --name nginx2 -p 8002:80 --memory=2G --storage-opt size=100G nginx:latest /bin/bash
docker exec -it nginx2 /bin/bash -c 'df -Th | grep overlay'

修改默认的docker路径

  • 修改docker默认存放镜像/容器/数据卷的路径,比如:/data/docker
mkdir -p /data/docker
systemctl stop docker
rsync -avz /var/lib/docker/ /data/docker
mv /var/lib/docker /var/lib/docker.bak
echo '{"data-root":"/data/docker"}' > /etc/docker/daemon.json
systemctl restart docker 
docker info | grep Root
#.执行 docker info 若返回 Docker Root Dir: /data/docker 则表示docker根目录修改成功

创建自动清理任务

  • 容器日志随时间推移会继续积累,可以创建一个定期清理的任务,脚本参考如下:clean_docker_log.sh
#!/bin/bash

logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in $logs
do
    cat /dev/null > $log
done
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。