InfraAcademy

InfraAcademy Blog

Read-only file systemで急に書き込めない。Linuxのファイルシステムが読み取り専用になった原因を、カーネルのログとfindmntで確かめる順番

著者: ryu | #Linux #トラブルシューティング #ファイルシステム
講座一覧を見る

Linux・ネットワーク・AWSなど、学びたい分野の講座を探せます

この記事を共有

こんにちは、インフラエンジニアのryuです。

昨日まで普通に動いていたサーバーで、ファイルを保存しようとしたら Read-only file system と言われる。アプリケーションのログも出なくなり、touch すら失敗する。権限は変えていないし、ディスクの空きもある。Linuxを運用していると、こうした場面に出会うことがあります。

先に答えを書くと、このエラーはファイルシステムが読み取り専用(ro)でマウントされていることを示しています。最初から ro でマウントされていたのか、動いている途中でカーネルが ro に切り替えたのかで、意味がまったく違います。途中で切り替わった場合は、ファイルシステムの不整合やディスクの異常をカーネルが見つけた可能性が高く、急いで書き込めるように戻すより、原因を確かめることが先です。

この記事では、どのファイルシステムが ro になっているかの確認、カーネルのログの読み方、ext4 と XFS で動きが違う点、そして fsck で直すまでの順番を解説します。対象は ext4 または XFS を使う一般的なLinuxサーバー(Ubuntu・Debian・RHEL系)で、確認には root 権限が必要です。

Read-only file systemは、どんなときに出るエラーか?

Read-only file system は、システムコールが返すエラー番号 EROFS をそのまま文章にしたものです。書き込もうとした場所のファイルシステムが ro でマウントされているときに返ります。

似たような「書けない」エラーはほかにもあり、文言で原因の方向がかなり絞れます。調べ始める前に、どのエラーが出ているのかを正確に確かめておきましょう。

エラーの文言 エラー番号 主な原因 最初に見る場所
Read-only file system EROFS ファイルシステムが ro でマウントされている findmnt・カーネルのログ
No space left on device ENOSPC 容量か inode が尽きた df -h・df -i
Permission denied EACCES 所有者・パーミッション、SELinux など ls -l・監査ログ
Operation not permitted EPERM 特権が必要な操作、変更不可の属性など lsattr・実行ユーザー
Input/output error EIO ディスクや下のデバイスの読み書きに失敗した カーネルのログ

容量不足のときに出るのは No space left on device で、ro にはなりません。容量の調べ方はディスクが100%なのに、duで数えると空いている。Linuxの容量トラブルを切り分ける順番で、Permission denied の場合はSELinuxの拒否をausearchで確かめ、setenforce 0に頼らず直す手順で解説しています。

まず、どのファイルシステムが読み取り専用かを確かめる

エラーが出たパスがどのファイルシステムに属しているのかを確かめます。/var/log だけ別のディスクになっている、データ用に追加したボリュームだけが ro になっている、ということもあるので、ルートだけを見て判断しないようにします。

findmntでマウントオプションのroを見る

findmnt に書き込めなかったパスを渡すと、そのパスを含むファイルシステムの情報が表示されます。OPTIONS の先頭が rw なら読み書き可能、ro なら読み取り専用です。

# エラーが出たパスがどのファイルシステムか、マウントオプションと一緒に表示する
findmnt -T /var/log -o TARGET,SOURCE,FSTYPE,OPTIONS

# ro でマウントされているものだけを一覧にする
findmnt -O ro

findmnt -O ro では、CD-ROM や squashfs など、もともと読み取り専用のものも出てきます。気にするのは、本来書き込むはずのファイルシステム(/・/var・データ用のボリュームなど)が並んでいるかどうかです。

/etc/fstabに最初からroと書かれていないか

次に、そのファイルシステムが起動したときから ro だったのかを確かめます。/etc/fstab のオプション欄に ro と書かれていれば、設定どおりに ro でマウントされているだけで、異常ではありません。

grep -v '^#' /etc/fstab

設定変更のあとに再起動したら書けなくなった、という場合はここが原因のことがあります。逆に、fstab は defaults や rw なのに今は ro になっているなら、動いている途中で切り替わったと考えて、次のカーネルのログに進みます。fstab の各欄の意味は、LPIC-1のファイルシステムとマウントの練習問題でも整理しています。

途中で読み取り専用に切り替わったなら、カーネルのログを見る

カーネルがファイルシステムを ro に切り替えるときは、必ず理由をログに残します。ここを読まずに書き込めるように戻すと、原因が分からないまま、壊れかけたファイルシステムに書き込み続けることになります。

dmesgとjournalctl -kで探す語

カーネルのメッセージは dmesg か journalctl -k で読めます。ファイルシステムやディスクに関する語で絞り込むと、見つけやすくなります。

# 現在の起動以降のカーネルメッセージから、関係しそうな行を探す
dmesg -T | grep -iE 'ext4-fs|xfs|remount|read-only|i/o error'

# journald に残っていれば、前回の起動分も読める
journalctl -k -b -1 | grep -iE 'ext4-fs|xfs|i/o error'

ext4 が ro に切り替えた場合は、EXT4-fs error (device sda1): ... のようにエラーの中身を示す行があり、そのあとに Remounting filesystem read-only という行が続きます(デバイス名は説明用の例です)。大事なのは最後の行ではなく、その手前に何が書かれているかです。

その手前に I/O error や Buffer I/O error、ディスクのドライバーのエラーが並んでいるなら、ファイルシステムより下のディスクやストレージで読み書きが失敗しています。ディレクトリやinodeの不整合だけが書かれているなら、ファイルシステムの中身が壊れている可能性が高いと読めます。ログの読み方そのものに慣れていない場合は、未経験インフラエンジニアのためのログの読み方入門も参考にしてください。

ext4のerrors=remount-roとtune2fsのErrors behavior

ext4 は、ファイルシステムのエラーを見つけたときの動きを errors= というマウントオプションで決めています。continue(エラーを記録して動き続ける)、remount-ro(読み取り専用でマウントし直す)、panic(システムを止める)の3つです。

マウントオプションで指定していない場合の既定値は、ファイルシステムのスーパーブロックに書かれていて、tune2fs -l で確認できます。次は、検証用に作った ext4 のイメージで実際に表示した結果です。

Filesystem state:         clean
Errors behavior:          Continue

UbuntuやDebianでは、fstab のルートの行に errors=remount-ro が書かれていることがあります。この場合、ext4 がエラーを見つけると、データをこれ以上壊さないように ro に切り替えます。つまり ro になったこと自体は、守りの仕組みが働いた結果です。

エラーを記録したファイルシステムでは、tune2fs -l の Filesystem state が clean with errors のように表示され、エラーの回数や時刻の欄が増えることがあります。また tune2fs のマニュアルには、どの設定でも、ファイルシステムのエラーがあると次の起動時に e2fsck のチェックが行われると書かれています。

XFSはshutdownになり、Input/output errorが出る

RHEL系で標準の XFS には、ext4 の errors= のようなオプションがありません。Red Hat のドキュメントでは、XFS はファイルシステムやメタデータの破損を見つけるとファイルシステムを停止(shutdown)し、システムログに記録すると説明されています。

停止したあとは、そのファイルシステムへの操作が Input/output error で失敗することが多く、Read-only file system とは文言が違う場合があります。XFS のサーバーで書けなくなったときは、エラーの文言にこだわらず、カーネルのログに xfs の行がないかを見てください。

ディスクそのものの異常を疑うべきサイン

カーネルのログにディスクの読み書きのエラーが出ているなら、ファイルシステムを直しても再発する可能性があります。修理の前に、下のデバイスの状態を確かめておきます。

物理サーバーやSMARTに対応したディスクなら、smartctl -H /dev/sda でディスク自身の自己診断の結果を見られます(smartmontools パッケージが必要です)。仮想マシンやクラウドのサーバーでは、ゲストからディスクの物理的な状態は見えないことが多いので、仮想化基盤やクラウドの管理画面で、ボリュームやホストの状態、障害の告知が出ていないかを確認します。

ディスクの異常が疑われるときは、修理より先にバックアップの確認が大切です。読み取り専用でも読むことはできるので、ro になっている間に大事なデータを別の場所へコピーしておくと、後の作業で失敗しても取り返しがつきます。冗長化とバックアップの違いは、冗長化とバックアップの違いで解説しています。

remountで済ませず、fsckで直す

原因の見当がついたら、直す作業に入ります。ここで一番多い失敗は、mount -o remount,rw で書き込めるように戻して終わりにしてしまうことです。

mount -o remount,rwは一時しのぎ

mount -o remount,rw /対象 は、マウントし直してマウントオプションを変える操作で、読み取り専用のファイルシステムを書き込み可能にするときによく使われます。ただし、カーネルがエラーを見つけて ro にしたのであれば、不整合はそのまま残っています。

状況によっては remount が拒否されますし、成功したとしても、壊れた箇所に書き込みを続けると被害が広がるおそれがあります。fstab の設定ミスで ro になっていただけの場合を除き、remount は「データを逃がすまでの時間を作る」程度に考えておくのが安全です。

アンマウントして、e2fsckやxfs_repairをかける

ファイルシステムの修理は、アンマウントした状態で行うのが原則です。e2fsck のマニュアルには、マウント中のファイルシステムに e2fsck をかけるのは一般に安全ではないと書かれていますし、xfs_repair のマニュアルにも、修理するファイルシステムはアンマウントしておく必要があると書かれています。

いきなり修理するのではなく、まず -n を付けて、何が見つかるかだけを確かめるのがおすすめです。-n は、e2fsck では読み取り専用で開いてすべての質問に no と答えるオプション、xfs_repair では変更せずに調べるだけのモードです。

# データ用ボリュームの例。アプリケーションを止めてからアンマウントする
umount /data

# ext4 の場合:まず変更せずに確認し、内容を見てから修理する
e2fsck -fn /dev/sdb1
e2fsck -f /dev/sdb1

# XFS の場合:まず変更せずに確認し、内容を見てから修理する
xfs_repair -n /dev/sdb1
xfs_repair /dev/sdb1

-f は、ファイルシステムが正常に見えても強制的にチェックするオプションです。修理が終わったらマウントし直し、findmnt で rw になっていること、アプリケーションのログが書かれていることを確かめます。

XFS で xfs_repair がログ(ジャーナル)を再生できないと言って止まることがあります。その場合に使う -L はログを消して修理するオプションで、データを失うおそれがあります。xfs_repair のマニュアルにある手順(一度マウントしてからきれいにアンマウントする)を試す前に、-L を付けないようにしてください。

ルートファイルシステムが読み取り専用になった場合

ルート(/)は動いている間にアンマウントできないので、データ用のボリュームと同じ手順は使えません。ext4 の場合は、tune2fs のマニュアルのとおり次の起動時にチェックが行われるので、再起動で直ることもあります。

それでも直らない場合や XFS の場合は、ディストリビューションのレスキューモードや、インストール用のメディアから起動して、ルートをマウントしていない状態で修理します。クラウドのサーバーでは、問題のボリュームを別のサーバーにつないで修理する方法がとられることもあります。どの方法も環境によって手順が違うので、使っているOSやクラウドの公式手順を確認してから進めてください。

うまくいかないときの確認ポイント

調べている途中でよく行き詰まる点を、表にまとめておきます。

状況 考えられる理由 確認すること
findmnt では rw なのに書けない エラーの文言が EROFS ではない エラーの全文を読み直し、上の表で別の原因を当たる
コンテナの中だけ書けない コンテナのルートが読み取り専用で起動されている コンテナの起動設定と、書き込み用のボリュームの割り当て
再起動すると直るが、数日で再発する ディスクやストレージの異常 カーネルのログの I/O error、SMART、基盤側の障害情報
e2fsck が「マウントされている」と警告する アンマウントできていない findmnt でマウント状態を確認し、使用中のプロセスを止める
ログがどこにも残っていない ro のせいでログファイルに書けなかった dmesg はメモリ上にあるので、再起動の前に読んで保存しておく

最後の行は特に大事です。/var/log が ro になると、journald やログファイルに記録できず、再起動したら手がかりが消えていた、ということになりがちです。再起動の前に dmesg -T の結果を、書き込める別の場所やリモートに保存しておきましょう。

InfraAcademyで、Linuxのファイルシステムとマウントを学び直す

今回の調査は、マウントの仕組み、fstab、カーネルのログ、ファイルシステムの種類といった知識がつながったところで成り立っています。どれか1つが曖昧だと、ro になった理由を読み違えやすくなります。

InfraAcademy のLinuxのロードマップでは、ファイルシステムやマウント、ログの扱いを含むLinuxの基礎を、順番に確認できます。トラブルのたびに調べ直すのではなく、体系的に学び直しておきたい人は活用してみてください。

まとめ

Read-only file system は、ファイルシステムが ro でマウントされていることを示すエラーです。まず findmnt でどこが ro かを確かめ、fstab の設定どおりなのか、動いている途中で切り替わったのかを分けて考えます。

途中で切り替わったなら、カーネルのログで ext4 の Remounting filesystem read-only や XFS の停止、その手前のエラーを読み、ディスクの異常か、ファイルシステムの不整合かを見極めます。直すときは remount で済ませず、データを逃がしてから、アンマウントして e2fsck や xfs_repair を -n から順にかけるのが安全です。

次にこのエラーを見たら、慌てて再起動する前に dmesg -T | grep -iE 'ext4-fs|xfs|i/o error' を1回実行して、結果を保存してみてください。それだけで、原因を追える可能性が高くなります。

参考

Next Action

記事で読んだ内容を、講座で実装してみましょう

InfraAcademyでは、ブラウザ上でLinuxやネットワークの実践環境を使いながら学習できます。無料で始められる講座から、学習の流れを試せます。

この記事を書いた人

ryu

株式会社InfraAcademy 代表 / エンジニア

大手メーカーでインフラエンジニアとして勤務した後、ベンチャー企業・スタートアップでフルスタックエンジニアを経験。その後、起業し学習サービス「InfraAcademy」を運営しています。
保有資格:ネットワークスペシャリストなど 運営会社:株式会社InfraAcademy

Related

関連記事

ブログ一覧へ

Roadmap

まずはこの4講座から

ログインすれば無料で始められる講座です。気になったテーマから手を動かして学べます。

講座一覧を見る