Linux性能优化-03.CPU 使用率相关问题定位与排查

文章目录结构

  1. 查看系统CPU耗时统计及CPU使用率相关的指标
  2. 查看进程运行情况的统计信息
  3. 怎么查看 CPU 使用率
  4. 查看进程的 CPU 使用详情
  5. 定位占用CPU的指令或函数
    • perf top
    • perf record & perf report
    • pstree
  6. 总结

查看系统CPU耗时统计及CPU使用率相关的指标

Linux 通过 /proc 虚拟文件系统,向用户空间提供了系统内部状态的信息,而 /proc/stat提供的就是系统的 CPU 和任务统计信息。

1
2
3
4
[root@VM_0_2_centos ~]# cat /proc/stat|grep cpu
# user nice system idle iowait irq softirq steal guest guest_nice
cpu 6479615 2664 5212197 1282637574 2467144 0 102949 0 0 0
cpu0 6479615 2664 5212197 1282637574 2467144 0 102949 0 0 0

CPU 使用率相关的指标说明:

  • user(通常缩写为 us),代表用户态 CPU 时间。注意,它不包括下面的 nice 时间,但包括了 guest 时间。
  • nice(通常缩写为ni),代表低优先级用户态CPU时间,也就是进程的nice值被调整为1-19之间时的CPU时间。这里注意,nice可取值范围是-20到19,数值越大,优先级反而越低。
  • system(通常缩写为 sys),代表内核态 CPU 时间。
  • idle(通常缩写为 id),代表空闲时间。注意,它不包括等待 I/O 的时间(iowait)。
  • iowait(通常缩写为 wa),代表等待 I/O 的 CPU 时间。
  • irq(通常缩写为 hi),代表处理硬中断的 CPU 时间。
  • softirq(通常缩写为 si),代表处理软中断的 CPU 时间。
  • steal(通常缩写为 st),代表当系统运行在虚拟机中的时候,被其他虚拟机占用的CPU 时间。
  • guest(通常缩写为 guest),代表通过虚拟化运行其他操作系统的时间,也就是运行虚拟机的 CPU 时间。
  • guest_nice(通常缩写为 gnice),代表以低优先级运行虚拟机的时间。

这儿我们只查看cpu相关的信息。第一行是总的CPU统计信息;因为系统只有一个CPU,所以总的cpu和cpu0相同。

另外,查看系统从开机到现在的CPU空闲时间:

1
2
[root@VM_0_2_centos ~]# cat /proc/uptime
13003617.64 12860542.90

  • 第一个值代表从开机到现在的累积时间(单位为秒), 开机后运行13003617.64秒
  • 第二个值代表从开机到现在的CPU空闲时间(单位为秒),开机后空闲12860542.90秒

查看进程运行情况的统计信息

Linux也给每个进程提供了运行情况的统计信息,也就是 /proc/[pid]/stat

1
2
[root@VM_0_2_centos ~]# cat /proc/1568/stat
1568 (mysqld) S 1136 1136 1136 0 -1 1077944320 25601 0 46 0 7999 15370 0 0 20 0 21 0 1229442778 1189634048 108008 18446744073709551615 4194304 16473894 140736768446176 140736768444368 140082418581037 0 552967 4102 26345 18446744073709551615 0 0 17 0 0 0 37 0 0 18573592 20304184 35205120 140736768450145 140736768450344 140736768450344 140736768450535 0

由于列较多(52),我们选几个比较重要的看一下。

1
2
3
4
5
6
7
8
9
10
11
1. pid: 进程ID.
2. comm: task_struct结构体的进程名
3. state: 进程状态, 此处为S
4. ppid: 父进程ID (父进程是指通过fork方式,通过clone并非父进程)
14. utime: 该进程处于用户态的时间,单位jiffies, 此处等于7999
15. stime: 该进程处于内核态的时间,单位jiffies, 此处等于15370
18. priority: 进程优先级, 此次等于20.
19. nice: nice值,取值范围[19, -20],此处等于0
20. num_threads: 线程个数, 此处等于21
22. starttime:自系统启动后的进程创建时间,单位jiffies,此处等于1229442778
23. vsize:进程的虚拟内存大小,单位为bytes

  • 第10~17行主要是随着时间而改变的量;
    内核时间单位,sysconf(_SC_CLK_TCK)一般地定义为jiffies(一般地等于10ms)
    starttime: 此值单位为jiffies, 结合/proc/stat的btime,可知道每一个线程启动的时间点
    1
    1553830792 + 1229442778/100 = 1566125220, 转换成北京时间为 2019/8/18 18:47:00

CPU 使用率,就是除了空闲时间外的其他时间占总 CPU 时间的百分比:
CPU使用率计算

实际上,为了计算 CPU 使用率,性能工具一般都会取间隔一段时间(比如 3 秒)的两次值,作差后,再计算出这段时间内的平均 CPU 使用率,即:
性能工具中CPU使用率计算

怎么查看 CPU 使用率

  1. top 显示了系统总体的 CPU 和内存使用情况,以及各个进程的资源使用情况。
  2. ps 则只显示了每个进程的资源使用情况。
    对比一下 top 和 ps 这两个工具报告的 CPU 使用率,默认的结果很可能不一样,因为 top 默认使用 3 秒时间间隔,而 ps 使用的却是进程的整个生命周期。

top 的输出格式为:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 默认每 3 秒刷新一次
[root@VM_0_2_centos ~]# top
top - 08:53:11 up 150 days, 21:13, 1 user, load average: 0.02, 0.06, 0.05
Tasks: 70 total, 1 running, 69 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.7 us, 0.3 sy, 0.0 ni, 98.7 id, 0.3 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 1016380 total, 70960 free, 528236 used, 417184 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 321792 avail Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
31645 root 20 0 611200 13304 1900 S 0.3 1.3 261:14.48 barad_agent
1 root 20 0 41112 2852 1664 S 0.0 0.3 12:01.39 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.90 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 3:28.65 ksoftirqd/0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
7 root rt 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
8 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcu_bh
9 root 20 0 0 0 0 S 0.0 0.0 17:18.44 rcu_sched
10 root rt 0 0 0 0 S 0.0 0.0 1:09.15 watchdog/0

第三行 %Cpu 就是系统的 CPU 使用率,具体每一列的含义可以参考前面CPU 使用率相关的指标,只是把 CPU 时间变换成了 CPU 使用率。不过需要注意,top 默认显示的是所有 CPU 的平均值,按下数字1,就可以切换到每个CPU的使用率了

继续往下看,空白行之后是进程的实时信息,每个进程都有一个 %CPU 列,表示进程的CPU 使用率。它是用户态和内核态CPU使用率的总和,包括进程用户空间使用的 CPU、
通过系统调用执行的内核空间 CPU 、以及在就绪队列等待运行的 CPU。在虚拟化环境中,它还包括了运行虚拟机占用的 CPU。

查看进程的 CPU 使用详情

使用pidstat查看每个进程的CPU详细情况:

  • 用户态 CPU 使用率 (%usr);
  • 内核态 CPU 使用率(%system);
  • 运行虚拟机 CPU 使用率(%guest);
  • 等待 CPU 使用率(%wait);
  • 总的 CPU 使用率(%CPU)。
  • 最后的 Average 部分,还计算了 5 组数据的平均值。
1
2
3
4
5
6
7
# 每隔 1 秒输出一组数据,共输出 5 组
$ pidstat 1 5
15:56:02 UID PID %usr %system %guest %wait %CPU CPU Command
15:56:03 0 15006 0.00 0.99 0.00 0.00 0.99 1 dockerd
...
Average: UID PID %usr %system %guest %wait %CPU CPU Command
Average: 0 15006 0.00 0.99 0.00 0.00 0.99 - dockerd

定位占用CPU的指令或函数

  1. GDB(The GNU Project Debugger)
    GDB 在调试程序错误方面很强大,但是GDB 调试程序的过程会中断程序运行,这在线上环境往往是不允许的。

  2. perf
    perf是Linux2.6.31以后内置的性能分析工具。它以性能事件采样为基础,不仅可以分析系统的各种事件和内核性能,还可以用来分析指定应用程序的性能问题。

    1
    2
    # 安装
    yum install perf

perf top

类似于 top,它能够实时显示占用 CPU 时钟最多的函数或者指令,因此可以用来查找热点函数,使用界面如下所示:

1
2
3
4
5
6
7
$ perf top
Samples: 833 of event 'cpu-clock', Event count (approx.): 97742399
Overhead Shared Object Symbol
7.28% perf [.] 0x00000000001f78a4
4.72% [kernel] [k] vsnprintf
4.32% [kernel] [k] module_get_kallsym
3.65% [kernel] [k] _raw_spin_unlock_irqrestore

输出结果中,第一行包含三个数据,分别是采样数(Samples)、事件类型(event)和事件总数量(Event count)。比如这个例子中,perf 总共采集了833个CPU时钟事件,而总事件数则为 97742399。
再往下看是一个表格式样的数据,每一行包含四列,分别是:

1
2
3
4
- Overhead,是该符号的性能事件在所有采样中的比例,用百分比来表示。
- Shared,是该函数或指令所在的动态共享对象(Dynamic Shared Object),如内核、进程名、动态链接库名、内核模块名等。
- Object,是动态共享对象的类型。比如 [.] 表示用户空间的可执行程序、或者动态链接库,而 [k] 则表示内核空间。
- Symbol 是符号名,也就是函数名。当函数名未知时,用十六进制的地址来表示。

查看某个进程的调用关系:

1
2
# -g 开启调用关系分析,-p 指定进程号 21515
$ perf top -g -p 21515

perf record & perf report

这两个命令组合适用于排查短时进程,记录一段时间内不同指令或函数的CPU的占比

1
2
3
4
# 记录性能事件,等待大约 15 秒后按 Ctrl+C 退出
$ perf record -g
# 查看报告
$ perf report

execsnoop 就是一个专为短时进程设计的工具。它通过ftrace实时监控进程的exec()行为,并输出短时进程的基本信息,包括进程PID、父进程PID(PPID)、命令行参数。(centos下)
下载:

1
git clone --depth 1 https://github.com/brendangregg/perf-tools

1
2
3
4
5
6
7
8
# 按 Ctrl+C 结束
cd perf-tools
$ ./execsnoop
PID PPID ARGS
30394 30393
30396 30394 /usr/local/bin/stress -t 1 -d 1
30398 30393
30399 30398 /usr/local/bin/stress -t 1 -d 1

碰到常规问题无法解释的 CPU 使用率情况时,首先要想到有可能是短时应用导致的问题,比如有可能是下面这两种情况:

  1. 应用里直接调用了其他二进制程序,这些程序通常运行时间比较短,通过 top 等工具也不容易发现。
  2. 应用本身在不停地崩溃重启,而启动过程的资源初始化,很可能会占用相当多的CPU。
    对于这类进程,我们可以用 pstree 或者 execsnoop 找到它们的父进程,再从父进程所在的应用入手,排查问题的根源。

pstree

以树状形式显示所有进程之间的关系

1
2
3
$ pstree | grep stress
|-docker-containe-+-php-fpm-+-php-fpm---sh---stress
| |-3*[php-fpm---sh---stress---stress]

总结:

  1. 用户 CPU 和 Nice CPU 高,说明用户态进程占用了较多的 CPU,所以应该着重排查进程的性能问题。
  2. 系统 CPU 高,说明内核态占用了较多的 CPU,所以应该着重排查内核线程或者系统调用的性能问题。
  3. I/O 等待 CPU 高,说明等待 I/O 的时间比较长,所以应该着重排查系统存储是不是出现了 I/O 问题。
  4. 软中断和硬中断高,说明软中断或硬中断的处理程序占用了较多的 CPU,所以应该着重排查内核中的中断服务程序。
  5. 碰到常规问题无法解释的 CPU 使用率情况时,首先要想到有可能是短时应用导致的问题

注: 本系列文章都是学习极客时间《Linux性能优化实战》课程后的笔记