• 如何安装火焰图生成工具
    • 安装 SystemTap
    • 火焰图绘制

    如何安装火焰图生成工具

    安装 SystemTap

    SystemTap 是一个诊断 Linux 系统性能或功能问题的开源软件，为了诊断系统问题或性能，开发者或调试人员只需要写一些脚本，然后通过 SystemTap 提供的命令行接口就可以对正在运行的内核进行诊断调试。

    在 CentOS 上的安装方法

    首先需要安装当前内核版本对应的开发包和调试包（这一步非常重要并且最为繁琐）：

    1. # #Installaion:
    2. # rpm -ivh kernel-debuginfo-common-$(uname -r).rpm
    3. # rpm -ivh kernel-debuginfo-$(uname -r).rpm
    4. # rpm -ivh kernel-devel-$(uname -r).rpm

    这些 rpm 包可以在该网址中下载：
    http://debuginfo.centos.org

    安装 systemtap：

    1. # yum install systemtap
    2. # ...
    3. # 测试systemtap安装成功否：
    4. # stap -v -e 'probe vfs.read {printf("read performed\n"); exit()}'
    6. Pass 1: parsed user script and 103 library script(s) using 201628virt/29508res/3144shr/26860data kb, in 10usr/190sys/219real ms.
    7. Pass 2: analyzed script: 1 probe(s), 1 function(s), 3 embed(s), 0 global(s) using 296120virt/124876res/4120shr/121352data kb, in 660usr/1020sys/1889real ms.
    8. Pass 3: translated to C into "/tmp/stapffFP7E/stap_82c0f95e47d351a956e1587c4dd4cee1_1459_src.c" using 296120virt/125204res/4448shr/121352data kb, in 10usr/50sys/56real ms.
    9. Pass 4: compiled C into "stap_82c0f95e47d351a956e1587c4dd4cee1_1459.ko" in 620usr/620sys/1379real ms.
    10. Pass 5: starting run.
    11. read performed
    12. Pass 5: run completed in 20usr/30sys/354real ms.

    如果出现如上输出表示安装成功。

    在 Ubuntu 上的安装方法

    对于 Ubuntu 上的安装，参考 Ubuntu 官方维护的一个 wiki：
    https://wiki.ubuntu.com/Kernel/Systemtap

    一般来说，仅需引入 ddeb 源，然后 apt-get 就能解决了。

    由于 systemtap 需要依赖某些内核特性，对于 Ubuntu Gutsy (或更老的版本)，必须重新编译内核。
    编译的步骤参见 systemtap 的这篇 wiki：
    https://sourceware.org/systemtap/wiki/SystemtapOnUbuntu

    另外，由于 Ubuntu 16.04 官方库里的 systemtap 版本过旧（version 2.9），从 apt-get 安装的 systemtap 有些情况下并不能正确地运行。
    这时候需要从 systemtap 源码中编译出可用的 systemtap。
    编译的过程参考 systemtap 的这篇文档：
    https://sourceware.org/git/?p=systemtap.git;a=blob_plain;f=README;hb=HEAD

    大体上就这几步：

    1. # 下载依赖……
    2. sudo apt install elfutils
    3. sudo apt-get build-dep systemtap
    5. # 下载最新的版本
    6. wget/git ...
    8. # 构建，并祈祷能一次成功
    9. ./configure
    10. make all
    11. [sudo] make install

    火焰图绘制

    首先，需要下载 stapxx 工具包：Github地址。
    该工具包中包含用 perl 写的，会生成 stap 探测代码并运行的脚本。如果是要抓 Lua 级别的情况，请使用其中的 lj-lua-stacks.sxx。
    由于 lj-lua-stacks.sxx 输出的是文件绝对路径和行号，要想匹配具体的 Lua 代码，需要用 fix-lua-bt 进行转换。

    1. # ps -ef | grep nginx  （ps：得到类似这样的输出，其中15010即使worker进程的pid，后面需要用到）
    2. hippo    14857     1  0 Jul01 ?        00:00:00 nginx: master process /opt/openresty/nginx/sbin/nginx -p /home/hippo/skylar_server_code/nginx/main_server/ -c conf/nginx.conf
    3. hippo    15010 14857  0 Jul01 ?        00:00:12 nginx: worker process
    4. # ./samples/lj-lua-stacks.sxx --arg time=5 --skip-badvars -x 15010 > tmp.bt （-x 是要抓的进程的 pid， 探测结果输出到 tmp.bt）
    5. # ./fix-lua-bt tmp.bt > flame.bt  (处理 lj-lua-stacks.sxx 的输出，使其可读性更佳)

    其次，下载 Flame-Graphic 生成包：Github地址,该工具包中包含多个火焰图生成工具，其中，stackcollapse-stap.pl 才是为 SystemTap 抓取的栈信息的生成工具

    1. # stackcollapse-stap.pl flame.bt > flame.cbt
    2. # flamegraph.pl flame.cbt > flame.svg

    如果一切正常，那么会生成 flame.svg，这便是火焰图，用浏览器打开即可。

    ps：如果在执行 lj-lua-stacks.sxx 的时间周期内（上面的命令是 5 秒）, 抓取的 worker 没有任何业务在跑，那么生成的火焰图便没有业务内容。为了让生成的火焰图更有代表性，我们通常都会在抓取的同时进行压测。