• Docker CPU资源限制
    • 一、压测工具
    • 二、CPU 测试
      • 2.1 CPU share constraint: -c or --cpu-shares
      • 2.2 CPU period constraint: --cpu-period & --cpu-quota
      • 2.3 Cpuset constraint: --cpuset-cpus、--cpuset-mems
        • --cpuset-cpus
        • --cpuset-mems
    • 三、源码解析

    Docker CPU资源限制

    一、压测工具

    使用 stress 测试。

    二、CPU 测试

    • Runtime constraints on resources
    • 目前 Docker 支持 CPU 资源限制选项
      • -c, --cpu-shares=0CPU shares (relative weight)-c 选项将会废弃，推荐使用 --cpu-shares
      • --cpu-period=0Limit the CPU CFS (Completely Fair Scheduler) period
      • --cpuset-cpus=""CPUs in which to allow execution (0-3, 0,1)
      • --cpuset-mems=""Memory nodes (MEMs) in which to allow execution (0-3, 0,1). Only effective on NUMA systems.
      • --cpu-quota=0Limit the CPU CFS (Completely Fair Scheduler) quota
    1. ➜  ~ docker help run | grep cpu
    2.   --cpu-shares                    CPU shares (relative weight)
    3.   --cpu-period                    Limit CPU CFS (Completely Fair Scheduler) period
    4.   --cpu-quota                     Limit CPU CFS (Completely Fair Scheduler) quota
    5.   --cpuset-cpus                   CPUs in which to allow execution (0-3, 0,1)
    6.   --cpuset-mems                   MEMs in which to allow execution (0-3, 0,1)

    2.1 CPU share constraint: -c or --cpu-shares

    默认所有的容器对于 CPU 的利用占比都是一样的，-c 或者 --cpu-shares 可以设置 CPU 利用率权重，默认为 1024，可以设置权重为 2 或者更高(单个 CPU 为 1024，两个为 2048，以此类推)。如果设置选项为 0，则系统会忽略该选项并且使用默认值 1024。通过以上设置，只会在 CPU 密集(繁忙)型运行进程时体现出来。当一个 container 空闲时，其它容器都是可以占用 CPU 的。cpu-shares 值为一个相对值，实际 CPU 利用率则取决于系统上运行容器的数量。

    假如一个 1core 的主机运行 3 个 container，其中一个 cpu-shares 设置为 1024，而其它 cpu-shares 被设置成 512。当 3 个容器中的进程尝试使用 100% CPU 的时候「尝试使用 100% CPU 很重要，此时才可以体现设置值」，则设置 1024 的容器会占用 50% 的 CPU 时间。如果又添加一个 cpu-shares 为 1024 的 container，那么两个设置为 1024 的容器 CPU 利用占比为 33%，而另外两个则为 16.5%。简单的算法就是，所有设置的值相加，每个容器的占比就是 CPU 的利用率，如果只有一个容器，那么此时它无论设置 512 或者 1024，CPU 利用率都将是 100%。当然，如果主机是 3core，运行 3 个容器，两个 cpu-shares 设置为 512，一个设置为 1024，则此时每个 container 都能占用其中一个 CPU 为 100%。

    测试主机「4core」当只有 1 个 container 时，可以使用任意的 CPU：

    1. ➜  ~ docker run -it --rm --cpu-shares 512 ubuntu-stress:latest /bin/bash
    2. root@4eb961147ba6:/# stress -c 4
    3. stress: info: [17] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd
    4. ➜  ~ docker stats 4eb961147ba6
    5. CONTAINER           CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O
    6. 4eb961147ba6        398.05%             741.4 kB / 8.297 GB   0.01%               4.88 kB / 648 B     0 B / 0 B

    测试两个 container，一个设置为 3072，一个设置 1024，CPU 占用如下：

    cpu test

    2.2 CPU period constraint: --cpu-period & --cpu-quota

    默认的 CPU CFS「Completely Fair Scheduler」period 是 100ms。我们可以通过 --cpu-period 值限制容器的 CPU 使用。一般 --cpu-period 配合 --cpu-quota 一起使用。

    设置 cpu-period 为 100ms，cpu-quota 为 200ms，表示最多可以使用 2 个 cpu，如下测试：

    1. ➜  ~ docker run -it --rm --cpu-period=100000 --cpu-quota=200000 ubuntu-stress:latest /bin/bash
    2. root@6b89f2bda5cd:/# stress -c 4    # stress 测试使用 4 个 cpu
    3. stress: info: [17] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd
    4. ➜  ~ docker stats 6b89f2bda5cd      # stats 显示当前容器 CPU 使用率不超过 200%
    5. CONTAINER           CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O
    6. 6b89f2bda5cd        200.68%             745.5 kB / 8.297 GB   0.01%               4.771 kB / 648 B    0 B / 0 B

    通过以上测试可以得知，--cpu-period 结合 --cpu-quota 配置是固定的，无论 CPU 是闲还是繁忙，如上配置，容器最多只能使用 2 个 CPU 到 100%。

    • CFS documentation on bandwidth limiting

    2.3 Cpuset constraint: --cpuset-cpus、--cpuset-mems

    --cpuset-cpus

    通过 --cpuset-cpus 可以绑定指定容器使用指定 CPU：

    设置测试容器只能使用 cpu1 和 cpu3，即最多使用 2 个 固定的 CPU 上：

    1. ➜  ~ docker run -it --rm --cpuset-cpus="1,3" ubuntu-stress:latest /bin/bash
    2. root@9f1fc0e11b6f:/# stress -c 4
    3. stress: info: [17] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd
    4. ➜  ~ docker stats 9f1fc0e11b6f
    5. CONTAINER           CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O
    6. 9f1fc0e11b6f        199.16%             856.1 kB / 8.297 GB   0.01%               4.664 kB / 648 B    0 B / 0 B
    7. ➜  ~ top    # 宿主机 CPU 使用情况
    8. top - 12:43:55 up  3:18,  3 users,  load average: 3.20, 2.54, 1.82
    9. Tasks: 211 total,   3 running, 207 sleeping,   1 stopped,   0 zombie
    10. %Cpu0  :  0.7 us,  0.3 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    11. %Cpu1  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    12. %Cpu2  :  0.7 us,  0.3 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    13. %Cpu3  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    14. ... ...

    以下表示容器可以利用 CPU1、CPU2 和 CPU3：

    1. ➜  ~ docker run -it --rm --cpuset-cpus="1-3" ubuntu-stress:latest /bin/bash

    --cpuset-mems

    --cpuset-mems 只应用于 NUMA 架构的 CPU 生效，关于这个选项这里不过多介绍。关于 NUMA 架构可以参考这篇文章 NUMA架构的CPU – 你真的用好了么？。

    三、源码解析

    • github.com/opencontainers/runc/libcontainer/cgroups/fs
      • cpu.go
      • cpuset.go
      • cpuacct.go

    libcontainer 只是根据设定值写 cgroup 文件，这部分没有什么逻辑性的解释。

    From:http://blog.opskumu.com/docker-cpu-limit.html