Docker资源控制和镜像网站首页 技术杂谈

Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~1000000。周期100毫秒
而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。

docker run -itd --name test5 centos:7 /bin/bash

docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3ed82355f811 centos:7 "/bin/bash" 5 days ago Up 6 hours test5

cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/

cat cpu.cfs_quota_us
-1

cat cpu.cfs_period_us
100000

#cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。

#cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。如果设为50000，表示占用50000/100000=50%的CPU。

#进行CPU压力测试
docker exec -it 3ed82355f811 /bin/bash

vim /cpu.sh

#!/bin/bash
i=0
while true
do
let i++
done

chmod +x /cpu.sh
./cpu.sh

top #可以看到这个脚本占了很多的cpu资源

#设置50%的比例分配CPU使用时间上限
docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash

#可以重新创建一个容器并设置限额或者

cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh

top #可以看到cpu占用率接近50%，cgroups对cpu的控制起了效果

（2）设置CPU资源占用比（设置多个容器时才有效）
Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。

#创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos:7

分别进入容器，进行压力测试
yum install -y epel-release
yum install -y stress
stress -c 4 #产生四个进程，每个进程都反复不停的计算随机数的平方根

查看容器运行状态（动态更新）
docker stats
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
c3ee18e65852 c2 66.50% 5.5MiB / 976.3MiB 0.56% 20.4MB / 265kB 115MB / 14.2MB 4
bb02d3b345d8 c1 32.68% 2.625MiB / 976.3MiB 0.27% 20.4MB / 325kB 191MB / 12.7MB 4

（3）设置容器绑定指定的CPU

先分配虚拟机4个CPU核数
docker run -itd --name test7 --cpuset-cpus 1,3 centos:7 /bin/bash

进入容器，进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4

#退出容器，执行 top 命令再按 1 查看CPU使用情况。、

1.2.对内存使用的限制

-m(--memory=) 选项用于限制容器可以使用的最大内存
docker run -itd --name test8 -m 512m centos:7 /bin/bash

docker stats

限制可用的 swap 大小， --memory-swap
强调一下，--memory-swap 是必须要与 --memory 一起使用的。

正常情况下，--memory-swap 的值包含容器可用内存和可用 swap。
所以 -m 300m --memory-swap=1g 的含义为：容器可以使用 300M 的物理内存，并且可以使用 700M（1G - 300）的 swap。

如果 --memory-swap 设置为 0 或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同，则容器不能使用 swap。
如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的 swap 空间使用不受限制（宿主机有多少 swap 容器就可以使用多少）。

1.3.对磁盘IO配额控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash

--device-write-bps ：限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

--device-read-iops ：限制读某个设备的iops（次数）

--device-write-iops ：限制写入某个设备的iops（次数）

#创建容器，并限制写速度
docker run -it --name test10 --device-write-bps /dev/sda:1MB centos:7 /bin/bash

#通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct #添加oflag参数以规避掉文件系统cache
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 10.0025 s, 1.0 MB/s

清理docker占用的磁盘空间
docker system prune -a #可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络

第二章Docker 的数据管理

2.1.数据卷

数据卷是一个供容器使用的特殊目录，位于容器中。可将宿主机的目录挂载到数据卷上，对数据卷的修改操作立刻可见，并且更新数据不会影响镜像，从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于 Linux 下对目录进行的 mount 操作。

docker pull centos:7

#宿主机目录/var/www 挂载到容器中的/data1。
注意：宿主机本地目录的路径必须是使用绝对路径。如果路径不存在，Docker会自动创建相应的路径。

docker run -v /var/www:/data1 --name web1 -it centos:7 /bin/bash #-v 选项可以在容器内创建数据卷

ls
echo "this is web1" > /data1/abc.txt
exit

返回宿主机进行查看
cat /var/www/abc.txt

2.2.数据卷容器

如果需要在容器之间共享一些数据，最简单的方法就是使用数据卷容器。数据卷容器是一个普通的容器，专门提供数据卷给其他容器挂载使用。

#创建一个容器作为数据卷容器
docker run --name web2 -v /data1 -v /data2 -it centos:7 /bin/bash
echo "this is web2" > /data1/abc.txt
echo "THIS IS WEB2" > /data2/ABC.txt

#使用 --volumes-from 来挂载 web2 容器中的数据卷到新的容器
docker run -it --volumes-from web2 --name web3 centos:7 /bin/bash
cat /data1/abc.txt
cat /data2/ABC.txt

2.3.端口映射

在启动容器的时候，如果不指定对应的端口，在容器外是无法通过网络来访问容器内的服务。端口映射机制将容器内的服务提供给外部网络访问，实质上就是将宿主机的端口映射到容器中，使得外部网络访问宿主机的端口便可访问容器内的服务。

docker run -d --name test1 -P nginx #随机映射端口（从32768开始）

docker run -d --name test2 -p 43000:80 nginx #指定映射端口

docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9d3c04f57a68 nginx "/docker-entrypoint.…" 4 seconds ago Up 3 seconds 0.0.0.0:43000->80/tcp test2
b04895f870e5 nginx "/docker-entrypoint.…" 17 seconds ago Up 15 seconds 0.0.0.0:49170->80/tcp test1

浏览器访问：http://192.168.80.10:43000 、http://192.168.80.10:49170

2.4.容器互联（使用centos镜像）

容器互联是通过容器的名称在容器间建立一条专门的网络通信隧道。简单点说，就是会在源容器和接收容器之间建立一条隧道，接收容器可以看到源容器指定的信息。

#创建并运行源容器取名web110
docker run -itd -P --name web110 centos:7 /bin/bash

#创建并运行接收容器取名web1200，使用--link选项指定连接容器以实现容器互联
docker run -itd -P --name web1200 --link web110:web1200 centos:7 /bin/bash

#进web1200 容器， ping web110
docker exec -it web1200 bash
ping web110

第三章.Docker 镜像的创建

创建镜像有三种方法，分别为基于已有镜像创建、基于本地模板创建以及基于Dockerfile创建。

3.1.基于现有镜像创建

（1）首先启动一个镜像，在容器里做修改
docker create -it centos:7 /bin/bash

docker ps -a

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
000550eb36da centos:7 "/bin/bash" 3 seconds ago Created gracious_bassi

（2）然后将修改后的容器提交为新的镜像，需要使用该容器的 ID 号创建新镜像
docker commit -m "new" -a "centos" 000550eb36da centos:test
#常用选项：
-m 说明信息；
-a 作者信息；
-p 生成过程中停止容器的运行。

docker images

3.2.基于本地模板创建

通过导入操作系统模板文件可以生成镜像，模板可以从 OPENVZ 开源项目下载，下载地址为http://openvz.org/Download/template/precreated

wget http://download.openvz.org/template/precreated/debian-7.0-x86-minimal.tar.gz

#导入为镜像
cat debian-7.0-x86-minimal.tar.gz | docker import - debian:test

3.3.基于Dockerfile 创建

联合文件系统（UnionFS）
UnionFS(联合文件系统）：Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统，它支持对文件系统的修改作为一次提交来一层层的叠加，同时可以将不同目录挂载到同一个虚拟文件系统下。AUFS、OverlayFS 及 Devicemapper 都是一种 UnionFS。

Union文件系统是Docker镜像的基础。镜像可以通过分层来进行继承，基于基础镜像（没有父镜像），可以制作各种具体的应用镜像。

特性：一次同时加载多个文件系统，但从外面看起来，只能看到一个文件系统，联合加载会把各层文件系统叠加起来，这样最终的文件系统会包含所有底层的文件和目录。

我们下载的时候看到的一层层的就是联合文件系统。

为什么Docker里的centos的大小才200M？
因为对于精简的OS，rootfs可以很小，只需要包含最基本的命令、工具和程序库就可以了，因为底层直接用宿主机的kernel，自己只需要提供rootfs就可以了。由此可见对于不同的linux发行版，bootfs基本是一致的，rootfs会有差别，因此不同的发行版可以公用bootfs。

3.4.Dockerfile详解

Docker镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。镜像不包含任何动态数据，其内容在构建之后也不会被改变。

镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像，那么镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。

Dockerfile是一个文本文件，其内包含了一条条的指令(Instruction)，每一条指令构建一层，因此每一条指令的内容，就是描述该层应当如何构建。有了Dockerfile，当我们需要定制自己额外的需求时，只需在Dockerfile上添加或者修改指令，重新生成 image 即可，省去了敲命令的麻烦。

除了手动生成Docker镜像之外，可以使用Dockerfile自动生成镜像。Dockerfile是由多条的指令组成的文件，其中每条指令对应 Linux 中的一条命令，Docker 程序将读取Dockerfile 中的指令生成指定镜像。

Dockerfile结构大致分为四个部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。Dockerfile每行支持一条指令，每条指令可携带多个参数，支持使用以“#“号开头的注释。

Docker 镜像结构的分层
镜像不是一个单一的文件，而是有多层构成。容器其实是在镜像的最上面加了一层读写层，在运行容器里做的任何文件改动，都会写到这个读写层。如果删除了容器，也就删除了其最上面的读写层，文件改动也就丢失了。Docker使用存储驱动管理镜像每层内容及可读写层的容器层。

（1）Dockerfile 中的每个指令都会创建一个新的镜像层；
（2）镜像层将被缓存和复用；
（3）当Dockerfile 的指令修改了，复制的文件变化了，或者构建镜像时指定的变量不同了，对应的镜像层缓存就会失效；
（4）某一层的镜像缓存失效，它之后的镜像层缓存都会失效；
（5）镜像层是不可变的，如果在某一层中添加一个文件，然后在下一层中删除它，则镜像中依然会包含该文件，只是这个文件在 Docker 容器中不可见了。

图解

镜像加载原理
Docker的镜像实际上由一层一层的文件系统组成，这种层级的文件系统就是UnionFS。

bootfs主要包含bootloader和kernel，bootloader主要是引导加载kernel，Linux刚启动时会加载bootfs文件系统。

在Docker镜像的最底层是bootfs，这一层与我们典型的Linux/Unix系统是一样的，包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了，此时内存的使用权已由bootfs转交给内核，此时系统也会卸载bootfs。

rootfs，在bootfs之上。包含的就是典型Linux系统中的/dev,/proc,/bin,/etc等标准目录和文件。rootfs就是各种不同的操作系统发行版，比如Ubuntu,Centos等等。

我们可以理解成一开始内核里什么都没有，操作一个命令下载debian，这时就会在内核上面加了一层基础镜像；再安装一个emacs，会在基础镜像上叠加一层image；接着再安装一个apache，又会在images上面再叠加一层image。最后它们看起来就像一个文件系统即容器的rootfs。在Docker的体系里把这些rootfs叫做Docker的镜像。但是，此时的每一层rootfs都是read-only的，我们此时还不能对其进行操作。

当我们创建一个容器，也就是将Docker镜像进行实例化，系统会在一层或是多层read-only的rootfs之上分配一层空的read-write的rootfs。

bootfs基础镜像向上分层结构图

3.5.Dockerfile 操作常用的指令：

（1）FROM 镜像
指定新镜像所基于的基础镜像，第一条指令必须为FROM 指令，每创建一个镜像就需要一条 FROM 指令

（2）MAINTAINER 名字
说明新镜像的维护人信息

（3）RUN 命令
在所基于的镜像上执行命令，并提交到新的镜像中

（4）ENTRYPOINT ["要运行的程序", "参数 1", "参数 2"]
设定容器启动时第一个运行的命令及其参数。
可以通过使用命令docker run --entrypoint 来覆盖镜像中的ENTRYPOINT指令的内容。

（5）CMD ["要运行的程序", "参数1", "参数2"]
上面的是exec形式，shell形式：CMD 命令参数1 参数2
启动容器时默认执行的命令或者脚本，Dockerfile只能有一条CMD命令。如果指定多条命令，只执行最后一条命令。
如果在docker run时指定了命令或者镜像中有ENTRYPOINT，那么CMD就会被覆盖。
CMD 可以为 ENTRYPOINT 指令提供默认参数。

java -jar xxxxxxx.jar
docker run指定的命令———》entrypoint————》CMD 优先级

（6）EXPOSE 端口号
指定新镜像加载到 Docker 时要开启的端口

（7）ENV 环境变量变量值
设置一个环境变量的值，会被后面的 RUN 使用
linxu PATH=$PATH:/opt
ENV PATH $PATH:/opt

（8）ADD 源文件/目录目标文件/目录
将源文件复制到镜像中，源文件要与 Dockerfile 位于相同目录中，或者是一个 URL
有如下注意事项：
1、如果源路径是个文件，且目标路径是以 / 结尾，则docker会把目标路径当作一个目录，会把源文件拷贝到该目录下。
如果目标路径不存在，则会自动创建目标路径。

2、如果源路径是个文件，且目标路径是不以 / 结尾，则docker会把目标路径当作一个文件。
如果目标路径不存在，会以目标路径为名创建一个文件，内容同源文件；
如果目标文件是个存在的文件，会用源文件覆盖它，当然只是内容覆盖，文件名还是目标文件名。
如果目标文件实际是个存在的目录，则会源文件拷贝到该目录下。注意，这种情况下，最好显示的以 / 结尾，以避免混淆。

3、如果源路径是个目录，且目标路径不存在，则docker会自动以目标路径创建一个目录，把源路径目录下的文件拷贝进来。
如果目标路径是个已经存在的目录，则docker会把源路径目录下的文件拷贝到该目录下。

4、如果源文件是个归档文件（压缩文件），则docker会自动帮解压。
URL下载和解压特性不能一起使用。任何压缩文件通过URL拷贝，都不会自动解压。

ADD 源文件/目录和copy有什么区别

首先都有本地复制和目录到镜像的功能

add复制tar命令压缩包会自动解压

URIL 拉取目录来复制

copy 只能复制本地主机文件/目录到镜像中

（9）COPY 源文件/目录目标文件/目录
只复制本地主机上的文件/目录复制到目标地点，源文件/目录要与Dockerfile 在相同的目录中

（10）VOLUME [“目录”]
在容器中创建一个挂载点

（11）USER 用户名/UID
指定运行容器时的用户

（12）WORKDIR 路径
为后续的 RUN、CMD、ENTRYPOINT 指定工作目录

（13）ONBUILD 命令
指定所生成的镜像作为一个基础镜像时所要运行的命令。
当在一个Dockerfile文件中加上ONBUILD指令，该指令对利用该Dockerfile构建镜像（比如为A镜像）不会产生实质性影响。
但是当编写一个新的Dockerfile文件来基于A镜像构建一个镜像（比如为B镜像）时，这时构造A镜像的Dockerfile文件中的ONBUILD指令就生效了，在构建B镜像的过程中，首先会执行ONBUILD指令指定的指令，然后才会执行其它指令。

注：请各位自己在生产中如果有的是别的dockerfile 请自习阅读，否则后果自付

（14）HEALTHCHECK
健康检查

在编写 Dockerfile 时，有严格的格式需要遵循：

●第一行必须使用 FROM 指令指明所基于的镜像名称；
●之后使用 MAINTAINER 指令说明维护该镜像的用户信息；
●然后是镜像操作相关指令，如 RUN 指令。每运行一条指令，都会给基础镜像添加新的一层。
●最后使用 CMD 指令指定启动容器时要运行的命令操作。

3.6.Dockerfile 案例

#建立工作目录
mkdir /opt/apache
cd /opt/apache

vim Dockerfile

#基于的基础镜像
FROM centos:7

#维护镜像的用户信息
MAINTAINER this is apache image <hmj>

#镜像操作指令安装apache软件
RUN yum -y update
RUN yum -y install httpd

#开启 80 端口
EXPOSE 80

#复制网站首页文件
ADD index.html /var/www/html/index.html

方法一：
#将执行脚本复制到镜像中
ADD run.sh /run.sh
RUN chmod 755 /run.sh

#启动容器时执行脚本
CMD ["/run.sh"]

方法二：
ENTRYPOINT [ "/usr/sbin/apachectl" ]
CMD ["-D", "FOREGROUND"]

准备执行脚本
vim run.sh

#!/bin/bash
rm -rf /run/httpd/* #清理httpd的缓存
/usr/sbin/apachectl -D FOREGROUND #指定为前台运行

#因为Docker容器仅在它的1号进程（PID为1）运行时，会保持运行。如果1号进程退出了，Docker容器也就退出了。

准备网站页面
echo "this is test web" > index.html

//生成镜像
docker build -t httpd:centos . #注意别忘了末尾有"."

//新镜像运行容器
docker run -d -p 1216:80 httpd:centos

//测试
http://192.168.233.100:1216/

如果有网络报错提示

[Warning] IPv4 forwarding is disabled. Networking will not work.

解决方法：
vim /etc/sysctl.conf
net.ipv4.ip_forward=1

sysctl -p
systemctl restart network
systemctl restart docker

3.7.构建SSH镜像

cd /opt/sshd

vim Dockerfile

#第一行必须指明基于的基础镜像

FROM centos:7

#作者信息

MAINTAINER this is ssh image <cxk>

#镜像的操作指令
RUN yum -y update
RUN yum -y install openssh* net-tools lsof telnet passwd

RUN echo 'abc1234' |passwd --stdin root
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config

#不使用PAM认证

RUN sed -ri '/^session s+requireds+pam_loginuid.so/ s/^/#/' /etc/pam.d/sshd

#取消pam限制
RUN ssh-keygen -t rsa -A

生成密钥认证文件
RUN mkdir -p /root/.ssh && chown root.root /root && chmod 700 /root/.ssh

EXPOSE 22

CMD ["/usr/sbin/sshd" ，"-D"] #/usr/sbin/sshd -D 用于前台启动sshd服务

生成镜像
docker build -t systemd:centos .

docker search sshd

docker pull macropin/sshd

docker images

docker tag macropin/sshd:latest sshd:centos

docker images

docker run -d -P sshd:centos

docker ps -a|grep sshd

ssh localhost -p 32768 #知道密码就登录，之后能使用i服从fig，能在里面查看losf -i：22 我这里不知道就用exec登录

docker exec -it 42ccc772c295 /bin/bash

ifconfig

lsof -i:22

这里ssh镜像登录容器成功

3.8.systemctl镜像

cd /opt

mkdir systemctl

cd systemctl/

vim Dockerfile

FROM sshd:centos
MAINTAINER this is systemctl images <hahaha>
ENV container docker
RUN (cd /lib/systemd/system/sysinit.target.wants/; for i in *; do [ $i == systemd-tmpfiles-setup.service ] || rm -f $i; done);
rm -f /lib/systemd/system/multi-user.target.wants/*;
rm -f /etc/systemd/system/*.wants/*;
rm -f /lib/systemd/system/local-fs.target.wants/*;
rm -f /lib/systemd/system/sockets.target.wants/*udev*;
rm -f /lib/systemd/system/sockets.target.wants/*initctl*;
rm -f /lib/systemd/system/basic.target.wants/*;
rm -f /lib/systemd/system/anaconda.target.wants/*;
VOLUME [“/sys/fs/cgroup" ]

docker build -t systemd:centos .

启动容器，并挂载宿主机目录挂载到容器中，和进行初始化

docker run--privileged -d -P -v /sys/fs/cgroup:/sys/fs/cgroup:ro systemd:centos /sbin/init

--privileged: 使container内的root拥有真正的root权限。否则，container内的root只是外部的个普通用户权限

docker ps -a

进入容器
docker exec -it a0d624d2bfa9 bash

systemctl status sshd

方法二:
docker run --privileged -it -P -v /sys/fs/cgroup:/sys/fs/cgroup:ro systemd:centos sbin/init &

3.9.nginx镜像

cd /opt

mkdir nginx

cd nginx

tar xf nginx-1.20.2.tar.gz

vim Dockerfile

FROM centos:7
MAINTAINER this is nginx image <cnm>
RUN yum -y update
RUN yum -y install gcc gcc-c++ make zlib-devel pcre-devel
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.20.2.tar.gz /opt/
WORKDIR /opt/nginx-1.20.2
RUN ./configure
--prefix=/usr/local/nginx
--user=nginx
--group=nginx
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]