• 分析 ExitCode 定位 Pod 异常退出原因
    • 退出状态码的区间
    • 常见异常状态码
    • 状态码参考
    • Linux 标准中断信号
    • C/C++ 退出状态码

    分析 ExitCode 定位 Pod 异常退出原因

    使用 kubectl describe pod <pod name> 查看异常 pod 的状态:

    1. Containers:
    2. kubedns:
    3. Container ID: docker://5fb8adf9ee62afc6d3f6f3d9590041818750b392dff015d7091eaaf99cf1c945
    4. Image: ccr.ccs.tencentyun.com/library/kubedns-amd64:1.14.4
    5. Image ID: docker-pullable://ccr.ccs.tencentyun.com/library/kubedns-amd64@sha256:40790881bbe9ef4ae4ff7fe8b892498eecb7fe6dcc22661402f271e03f7de344
    6. Ports: 10053/UDP, 10053/TCP, 10055/TCP
    7. Host Ports: 0/UDP, 0/TCP, 0/TCP
    8. Args:
    9. --domain=cluster.local.
    10. --dns-port=10053
    11. --config-dir=/kube-dns-config
    12. --v=2
    13. State: Running
    14. Started: Tue, 27 Aug 2019 10:58:49 +0800
    15. Last State: Terminated
    16. Reason: Error
    17. Exit Code: 255
    18. Started: Tue, 27 Aug 2019 10:40:42 +0800
    19. Finished: Tue, 27 Aug 2019 10:58:27 +0800
    20. Ready: True
    21. Restart Count: 1

    在容器列表里看 Last State 字段,其中 ExitCode 即程序上次退出时的状态码,如果不为 0,表示异常退出,我们可以分析下原因。

    退出状态码的区间

    • 必须在 0-255 之间
    • 0 表示正常退出
    • 外界中断将程序退出的时候状态码区间在 129-255,(操作系统给程序发送中断信号,比如 kill -9SIGKILLctrl+cSIGINT)
    • 一般程序自身原因导致的异常退出状态区间在 1-128 (这只是一般约定,程序如果一定要用129-255的状态码也是可以的)

    假如写代码指定的退出状态码时不在 0-255 之间,例如: exit(-1),这时会自动做一个转换,最终呈现的状态码还是会在 0-255 之间。我们把状态码记为 code

    • 当指定的退出时状态码为负数,那么转换公式如下:
    1. 256 - (|code| % 256)
    • 当指定的退出时状态码为正数,那么转换公式如下:
    1. code % 256

    常见异常状态码

    • 137 (被 SIGKILL 中断信号杀死)

      • 此状态码一般是因为 pod 中容器内存达到了它的资源限制(resources.limits),一般是内存溢出(OOM),CPU达到限制只需要不分时间片给程序就可以。因为限制资源是通过 linux 的 cgroup 实现的,所以 cgroup 会将此容器强制杀掉,类似于 kill -9,此时在 describe pod 中可以看到 Reason 是 OOMKilled
      • 还可能是宿主机本身资源不够用了(OOM),内核会选取一些进程杀掉来释放内存
      • 不管是 cgroup 限制杀掉进程还是因为节点机器本身资源不够导致进程死掉,都可以从系统日志中找到记录:

        ubuntu 的系统日志在 /var/log/syslog,centos 的系统日志在 /var/log/messages,都可以用 journalctl -k 来查看系统日志

      • 也可能是 livenessProbe (存活检查) 失败,kubelet 杀死的 pod

      • 还可能是被恶意木马进程杀死
    • 1 和 255
      • 这种可能是一般错误,具体错误原因只能看容器日志,因为很多程序员写异常退出时习惯用 exit(1)exit(-1),-1 会根据转换规则转成 255

    状态码参考

    这里罗列了一些状态码的含义:Appendix E. Exit Codes With Special Meanings

    Linux 标准中断信号

    Linux 程序被外界中断时会发送中断信号,程序退出时的状态码就是中断信号值加上 128 得到的,比如 SIGKILL 的中断信号值为 9,那么程序退出状态码就为 9+128=137。以下是标准信号值参考:

    1. Signal Value Action Comment
    2. ──────────────────────────────────────────────────────────────────────
    3. SIGHUP 1 Term Hangup detected on controlling terminal
    4. or death of controlling process
    5. SIGINT 2 Term Interrupt from keyboard
    6. SIGQUIT 3 Core Quit from keyboard
    7. SIGILL 4 Core Illegal Instruction
    8. SIGABRT 6 Core Abort signal from abort(3)
    9. SIGFPE 8 Core Floating-point exception
    10. SIGKILL 9 Term Kill signal
    11. SIGSEGV 11 Core Invalid memory reference
    12. SIGPIPE 13 Term Broken pipe: write to pipe with no
    13. readers; see pipe(7)
    14. SIGALRM 14 Term Timer signal from alarm(2)
    15. SIGTERM 15 Term Termination signal
    16. SIGUSR1 30,10,16 Term User-defined signal 1
    17. SIGUSR2 31,12,17 Term User-defined signal 2
    18. SIGCHLD 20,17,18 Ign Child stopped or terminated
    19. SIGCONT 19,18,25 Cont Continue if stopped
    20. SIGSTOP 17,19,23 Stop Stop process
    21. SIGTSTP 18,20,24 Stop Stop typed at terminal
    22. SIGTTIN 21,21,26 Stop Terminal input for background process
    23. SIGTTOU 22,22,27 Stop Terminal output for background process

    C/C++ 退出状态码

    /usr/include/sysexits.h 试图将退出状态码标准化(仅限 C/C++):

    1. #define EX_OK 0 /* successful termination */
    2. #define EX__BASE 64 /* base value for error messages */
    3. #define EX_USAGE 64 /* command line usage error */
    4. #define EX_DATAERR 65 /* data format error */
    5. #define EX_NOINPUT 66 /* cannot open input */
    6. #define EX_NOUSER 67 /* addressee unknown */
    7. #define EX_NOHOST 68 /* host name unknown */
    8. #define EX_UNAVAILABLE 69 /* service unavailable */
    9. #define EX_SOFTWARE 70 /* internal software error */
    10. #define EX_OSERR 71 /* system error (e.g., can't fork) */
    11. #define EX_OSFILE 72 /* critical OS file missing */
    12. #define EX_CANTCREAT 73 /* can't create (user) output file */
    13. #define EX_IOERR 74 /* input/output error */
    14. #define EX_TEMPFAIL 75 /* temp failure; user is invited to retry */
    15. #define EX_PROTOCOL 76 /* remote error in protocol */
    16. #define EX_NOPERM 77 /* permission denied */
    17. #define EX_CONFIG 78 /* configuration error */
    18. #define EX__MAX 78 /* maximum listed value */