システムの状態を参照するツールはたくさんあって悩むところです。なにかおかしい？というのに気づいてから原因を分析するためには、過去のシステム状態を保存しておいて、ある時間帯に負荷が上がっていないかなど、いつでも参照できるようにしておくと便利です。 そのようなシステム状態の保存・参照に便利なツールとしてsysstatというのがあります。
sysstatは、sar, sadc, pidstat, iostatなど様々なツールから成り立っています。中心となるのはデータ収集ツールを直接キックしたり閲覧に使ったりするsarであったり、バックグラウンドで動いてデータを収集するsadcだったりします。
よくsarで負荷を見る、iostatで～、pidstatで～と言っているときは、sysstatのことです。
ちなみにdstatは、後発のツールでsysstatとは別物です。まぎらわしいですね。
インストール
$ sudo yum install sysstat
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: www.ftp.ne.jp
* epel: ftp.iij.ad.jp
* extras: www.ftp.ne.jp
* rpmforge: mirror.fairway.ne.jp
* updates: www.ftp.ne.jp
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package sysstat.x86_64 0:9.0.4-20.el6 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
========================================================================
Package Arch Version Repository Size
========================================================================
Installing:
sysstat x86_64 9.0.4-20.el6 base 225 k
Transaction Summary
========================================================================
Install 1 Package(s)
Total download size: 225 k
Installed size: 807 k
Is this ok [y/N]: y
Downloading Packages:
sysstat-9.0.4-20.el6.x86_64.rpm | 225 kB 00:00
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : sysstat-9.0.4-20.el6.x86_64 1/1
Verifying : sysstat-9.0.4-20.el6.x86_64 1/1
Installed:
sysstat.x86_64 0:9.0.4-20.el6
Complete!
sysstatをインストールすると以下に相当するcron設定が追加されます。（以下はCentOS 6.4の手元のVMの例です）
$ cat /etc/cron.d/sysstat
# Run system activity accounting tool every 10 minutes
*/10 * * * * root /usr/lib64/sa/sa1 1 1
# 0 * * * * root /usr/lib64/sa/sa1 600 6 &
# Generate a daily summary of process accounting at 23:53
53 23 * * * root /usr/lib64/sa/sa2 -A
この中で動いているのは、以下の2つのコマンドです。
sa1(8) collects and stores binary data in the system activity daily data file. It is a front end to sadc designed to be run from cron. sa2(8) writes a summarized daily activity report. It is a front end to sar designed to be run from cron.
sa1が、システム状態を取得、バイナリ形式で保存してくれるもので、cronから呼び出すためのsadcのフロントエンドということ。 sa2が、dailyのサマリーを作ってくれるもので、cronから呼び出すためのsarのフロントエンドということ。
上のcron設定の場合は、sa1が10分に一度システム状態を取得して/var/log/sa/saDD（DDの部分は日付）に状態を記録して、一日の終わりにsa2が集計結果を/var/log/sa/sarDDに記録します。
そして、
sar(1) collects, reports and saves system activity information (CPU, memory, disks, interrupts, network interfaces, TTY, kernel tables,etc.) sadc(8) is the system activity data collector, used as a backend for sar.
sarはデータを集め、レポートして、システム情報を保存する機能を持っており、その裏でデータを集める部分はsadcが担っているようです。 要するに、sysstatのキモは、sadcがシステム情報を収集・保存しておいて、sarがレポーティングや収集したシステム情報の閲覧に使われるようです。
chkconfig --listを見る限り、sysstatと呼ばれるプロセスが起動するように設定されます。
$ chkconfig --list sysstat
sysstat 0:off 1:on 2:on 3:on 4:on 5:on 6:off
$ service sysstat status
(まだ何も表示されない)
$ ps aux | egrep \(sysstat\|sar\|sadc\) | grep -v grep
(何も表示されない)
sar
ではsarの使い方に入ります。
何も指定せずにsarを実行するとログファイルから読み込んで以下のような表示をします。 もしもインストールした直後や、日付が変わった直後でログファイルが全くない場合は最初の1行だけの出力になります。
$ sar
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月30日 _x86_64_ (1 CPU)
00時00分01秒 CPU %user %nice %system %iowait %steal %idle
07時30分01秒 all 0.02 0.00 0.07 2.87 0.00 97.03
07時40分01秒 all 0.04 0.00 0.15 0.00 0.00 99.81
08時30分01秒 all 0.04 0.00 0.13 0.00 0.00 99.83
08時40分02秒 all 0.08 0.00 0.25 0.00 0.00 99.66
08時50分01秒 all 0.13 0.00 0.28 0.00 0.00 99.59
09時10分01秒 all 0.04 0.01 0.19 0.00 0.00 99.75
平均値: all 0.06 0.00 0.20 0.07 0.00 99.66
cronでは10分間隔で取得するように設定されているのですが、VMをちょいちょい落としているので一部が抜けています。
取得間隔と表示回数を指定することもできます。
$ sar 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
09時07分18秒 CPU %user %nice %system %iowait %steal %idle
09時07分19秒 all 0.00 0.00 3.96 0.00 0.00 96.04
09時07分20秒 all 1.01 0.00 2.02 0.00 0.00 96.97
09時07分21秒 all 0.00 0.00 3.00 0.00 0.00 97.00
09時07分22秒 all 0.00 0.00 3.03 0.00 0.00 96.97
09時07分23秒 all 0.00 0.00 3.00 0.00 0.00 97.00
平均値: all 0.20 0.00 3.01 0.00 0.00 96.79
CPU使用率の確認は-uオプションを使います。これは-uを指定しない場合と同じです。
$ sar -u 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
09時07分54秒 CPU %user %nice %system %iowait %steal %idle
09時07分55秒 all 0.00 0.00 4.00 0.00 0.00 96.00
09時07分56秒 all 0.00 0.00 2.02 0.00 0.00 97.98
09時07分57秒 all 0.00 0.00 3.03 0.00 0.00 96.97
09時07分58秒 all 0.00 0.00 3.00 0.00 0.00 97.00
09時07分59秒 all 0.99 0.00 2.97 0.00 0.00 96.04
平均値: all 0.20 0.00 3.01 0.00 0.00 96.79
メモリ状態を表示するには-mオプションかと思いきや、-rでした。
$ sar -r 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
20時41分50秒 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit
20時41分51秒 243192 773480 76.08 98608 328988 405180 13.15
20時41分52秒 243192 773480 76.08 98608 328988 405180 13.15
20時41分53秒 243192 773480 76.08 98608 328988 405180 13.15
20時41分54秒 243192 773480 76.08 98608 328988 405180 13.15
20時41分55秒 243192 773480 76.08 98608 328988 405180 13.15
平均値: 243192 773480 76.08 98608 328988 405180 13.15
ちなみに-mオプションは、CPUの電源状態の表示です。
$ sar -m 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
20時42分34秒 CPU MHz
20時42分35秒 all 2791.10
20時42分36秒 all 2791.10
20時42分37秒 all 2791.10
20時42分38秒 all 2791.10
20時42分39秒 all 2791.10
平均値: all 2791.10
ネットワークデバイス（NIC）の通信状態を確認するためには、"-n DEV"を追加します。
$ sar -n DEV 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
09時19分29秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
09時19分30秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時19分30秒 eth0 1.01 1.01 0.06 0.39 0.00 0.00 0.00
09時19分30秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
09時19分31秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時19分31秒 eth0 1.01 2.02 0.06 0.78 0.00 0.00 0.00
09時19分31秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
09時19分32秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時19分32秒 eth0 1.01 2.02 0.06 0.78 0.00 0.00 0.00
09時19分32秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
09時19分33秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時19分33秒 eth0 0.99 1.98 0.06 0.76 0.00 0.00 0.00
09時19分33秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
09時19分34秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時19分34秒 eth0 1.01 2.02 0.06 0.78 0.00 0.00 0.00
平均値: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
平均値: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
平均値: eth0 1.01 1.81 0.06 0.70 0.00 0.00 0.00
-n DEVのキーワード部分はDEV以外にも以下のようなものがつかえますので、いろいろ試してみると目的のものが見つかると思います。
DEV、EDEV、NFS、NFSD、SOCK、IP、EIP、ICMP、EICMP、TCP、ETCP、UDP、SOCK6、IP6、EIP6、ICMP6、EICMP6、 UDP6
ブロックデバイス（ハードディスク等）の動作については-dオプションを使用します。
$ sar -d 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
09時13分27秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
09時13分28秒 dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分28秒 dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分28秒 dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分28秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
09時13分29秒 dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分29秒 dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分29秒 dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分29秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
09時13分30秒 dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分30秒 dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分30秒 dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分30秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
09時13分31秒 dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分31秒 dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分31秒 dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分31秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
09時13分32秒 dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分32秒 dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09時13分32秒 dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
平均値: DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
平均値: dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
平均値: dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
平均値: dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
I/O送受信に関しては-bオプションを使用します。
$ sar -b 1 5
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月31日 _x86_64_ (1 CPU)
09時12分29秒 tps rtps wtps bread/s bwrtn/s
09時12分30秒 0.00 0.00 0.00 0.00 0.00
09時12分31秒 0.00 0.00 0.00 0.00 0.00
09時12分32秒 0.00 0.00 0.00 0.00 0.00
09時12分33秒 0.00 0.00 0.00 0.00 0.00
09時12分34秒 0.00 0.00 0.00 0.00 0.00
平均値: 0.00 0.00 0.00 0.00 0.00
最後に-Aオプションですが、-Aオプションをつけると、「sar -bBdqrRSuvwWy -I SUM -I XALL -n ALL -u ALL -P ALL」と同等になります。
$ sar -A
Linux 2.6.32-279.2.1.el6.x86_64 (c6) 2013年10月30日 _x86_64_ (1 CPU)
00時00分01秒 CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
07時30分01秒 all 0.02 0.00 0.07 2.87 0.00 0.00 0.00 0.00 97.03
07時30分01秒 0 0.02 0.00 0.07 2.87 0.00 0.00 0.00 0.00 97.03
07時40分01秒 all 0.04 0.00 0.07 0.00 0.00 0.00 0.09 0.00 99.81
07時40分01秒 0 0.04 0.00 0.07 0.00 0.00 0.00 0.09 0.00 99.81
(省略)
平均値: all 0.05 0.00 0.08 0.01 0.00 0.00 0.08 0.00 99.78
平均値: 0 0.05 0.00 0.08 0.01 0.00 0.00 0.08 0.00 99.78
00時00分01秒 proc/s cswch/s
07時30分01秒 0.12 37.54
07時40分01秒 0.00 37.00
08時30分01秒 0.12 38.21
08時40分02秒 0.08 46.24
(省略)
平均値: 0.04 37.72
00時00分01秒 pswpin/s pswpout/s
07時30分01秒 0.00 0.00
07時40分01秒 0.00 0.00
08時30分01秒 0.00 0.00
08時40分02秒 0.00 0.00
(省略)
平均値: 0.00 0.00
00時00分01秒 pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff
07時30分01秒 0.00 3.89 48.58 0.00 28.70 0.00 0.00 0.00 0.00
07時40分01秒 0.00 0.39 2.64 0.00 1.32 0.00 0.00 0.00 0.00
08時30分01秒 0.00 1.32 46.19 0.00 13.34 0.00 0.00 0.00 0.00
08時40分02秒 0.41 1.20 39.17 0.01 18.94 0.00 0.00 0.00 0.00
(省略)
平均値: 0.02 0.73 18.12 0.00 7.04 0.00 0.00 0.00 0.00
00時00分01秒 tps rtps wtps bread/s bwrtn/s
07時30分01秒 1.59 0.00 1.59 0.00 15.58
07時40分01秒 0.18 0.00 0.18 0.00 1.55
08時30分01秒 0.53 0.00 0.53 0.00 5.29
08時40分02秒 0.55 0.06 0.48 1.63 4.80
(省略)
平均値: 0.30 0.00 0.30 0.07 2.91
00時00分01秒 frmpg/s bufpg/s campg/s
07時30分01秒 12.24 0.00 0.02
07時40分01秒 -0.05 0.00 0.00
08時30分01秒 -2.34 0.00 0.01
08時40分02秒 -0.21 0.01 0.10
(省略)
平均値: -0.06 0.00 0.01
00時00分01秒 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit
07時30分01秒 255848 760824 74.83 98528 329184 387720 12.58
07時40分01秒 255724 760948 74.85 98528 329188 387720 12.58
08時30分01秒 250832 765840 75.33 98528 329200 396892 12.88
08時40分02秒 250336 766336 75.38 98544 329432 396892 12.88
(省略)
平均値: 250740 765932 75.34 98557 329573 393795 12.78
00時00分01秒 kbswpfree kbswpused %swpused kbswpcad %swpcad
07時30分01秒 2064376 0 0.00 0 0.00
07時40分01秒 2064376 0 0.00 0 0.00
08時30分01秒 2064376 0 0.00 0 0.00
08時40分02秒 2064376 0 0.00 0 0.00
(省略)
平均値: 2064376 0 0.00 0 0.00
00時00分01秒 dentunusd file-nr inode-nr pty-nr
07時30分01秒 54761 1280 21484 21
07時40分01秒 54761 1280 21484 21
08時30分01秒 54779 1376 21518 22
08時40分02秒 55138 1376 21596 22
(省略)
平均値: 55231 1407 21614 25
00時00分01秒 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
07時30分01秒 0 125 0.02 0.01 0.00
07時40分01秒 0 125 0.00 0.00 0.00
08時30分01秒 0 130 0.00 0.00 0.00
08時40分02秒 0 130 0.00 0.00 0.00
(省略)
平均値: 0 130 0.00 0.00 0.00
00時00分01秒 TTY rcvin/s xmtin/s framerr/s prtyerr/s brk/s ovrun/s
07時30分01秒 0 0.00 0.00 0.00 0.00 0.00 0.00
07時30分01秒 1 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 0 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 1 0.00 0.00 0.00 0.00 0.00 0.00
(省略)
平均値: 0 0.00 0.00 0.00 0.00 0.00 0.00
平均値: 1 0.00 0.00 0.00 0.00 0.00 0.00
00時00分01秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
07時30分01秒 dev8-0 0.62 0.00 7.79 12.62 0.03 49.37 47.13 2.91
07時30分01秒 dev253-0 0.97 0.00 7.79 8.00 0.03 32.91 29.89 2.91
07時30分01秒 dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 dev8-0 0.09 0.00 0.78 8.92 0.00 1.71 1.37 0.01
(省略)
平均値: dev8-0 0.12 0.03 1.45 12.69 0.00 4.38 3.47 0.04
平均値: dev253-0 0.18 0.03 1.45 8.13 0.00 5.22 2.23 0.04
平均値: dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00時00分01秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
07時30分01秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時30分01秒 eth0 2.87 0.02 0.28 0.01 0.00 0.00 0.00
07時40分01秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 eth0 0.32 0.00 0.03 0.00 0.00 0.00 0.00
(省略)
平均値: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
平均値: eth0 0.42 0.23 0.03 0.08 0.00 0.00 0.00
00時00分01秒 IFACE rxerr/s txerr/s coll/s rxdrop/s txdrop/s txcarr/s rxfram/s rxfifo/s txfifo/s
07時30分01秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時30分01秒 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
(省略)
平均値: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
平均値: eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00時00分01秒 call/s retrans/s read/s write/s access/s getatt/s
07時30分01秒 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 0.00 0.00 0.00 0.00 0.00 0.00
08時30分01秒 0.00 0.00 0.00 0.00 0.00 0.00
08時40分02秒 0.00 0.00 0.00 0.00 0.00 0.00
(省略)
平均値: 0.00 0.00 0.00 0.00 0.00 0.00
00時00分01秒 scall/s badcall/s packet/s udp/s tcp/s hit/s miss/s sread/s swrite/s saccess/s sgetatt/s
07時30分01秒 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
07時40分01秒 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08時30分01秒 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08時40分02秒 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
(省略)
平均値: 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00時00分01秒 totsck tcpsck udpsck rawsck ip-frag tcp-tw
07時30分01秒 198 5 0 0 0 0
07時40分01秒 198 5 0 0 0 0
08時30分01秒 203 6 0 0 0 0
08時40分02秒 203 6 0 0 0 0
(省略)
平均値: 203 5 0 0 0 0
他にも紹介していないオプションがあります。結構必要なステータスはとれると思いますのでいろいろ試してください。
- システムのヘルスステータスを確認する
- サーバの各種リソース使用状況を記録・確認する (sysstat)
- プロセス単位のリソース使用量を調べる (pidstat)
- サーバの各種リソース使用状況を確認する (dstat)
- 各パーティション、マウントポイントの空き領域を確認する (df)
- メモリ使用量確認方法いろいろ
関連記事
記事一覧へ
MENU
CATEGORY
連携アプリ
リンク
最新記事一覧