Logwatch、普段はストレージサイズの項目読んでないのですが、久しぶりに見てみたらこんな感じで半分切っててびっくりしたので原因を調べました。
--------------------- Disk Space Begin ------------------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_tk2--212--15517-root 28G 14G 15G 48% /
devtmpfs 487M 0 487M 0% /dev
/dev/vda1 497M 291M 207M 59% /boot
やったこと
以下コマンドで誰がどれだけ容量を占めているか確認する。
cd /
sudo du -sh ./*
（略）
4.0K ./tmp
3.8G ./usr
8.6G ./var
なるほど、var配下が怪しそうです。多分wwwかログでしょうね。
cd /var
sudo du -sh ./*
（略）
7.2G ./log
あっ…。
原因
mongodbのログが7GB超えてた。
そういえば、今まで特にトラブルなかったからmongoのログ見たこと無いんですよね。やばい。以下のドキュメントを見てローテートの設定を行いました。
Rotate Log Files — MongoDB Manual 3.2
あとは定期的に古いログを圧縮すればOKですね。
おかげでストレージ利用率27%まで落とせました。良かったです。