RAID5

昨日は壊れた娘のPCのことを書いたが、実はその日、つまり先週の金曜日は、４件のITアクシデントが重なった最悪の日だった。

• 娘のPCが壊れた（既報）
• サーバルームのイーサネットスイッチの一つの電源が壊れた（ファイアウォールとイントラネットが切断されたので外からは何が起こっているのか見えなかった）
• メインサーバのRAID5のディスクが壊れた（自動的にデグレードして再起動したが…）
• メインサーバがリブートするときにテストせずに変更してあった、あるスタートアップスクリプトが暴走した

RAID5のディスクの件はむしろ幸運だった。３年前に構築したサーバ。約600GB のメインストレージに600GBのバックアップストレージを加えて、メイルや写真、日本のTV録画など、など我が家のディジタル化された情報の最終的なストレージだから、RAIDにしていなかったら、と思うとぞっとする。もちろんバックアップは毎晩自動的に行っているが、もしメインストレージが壊れてOSが立ち上がらなくなったりでもしたら修復に相当時間がかかるだろうし、完全に修復できるかどうかも分からない。

パーティションはこんな風。

Disk /dev/sda: 203.9 GB, 203928109056 bytes
255 heads, 63 sectors/track, 24792 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdd1 1 25 200781 fd Linux raid autodetect
/dev/sdd2 26 89 514080 82 Linux swap / Solaris
/dev/sdd3 90 24792 198426847+ fd Linux raid autodetect

とにもかくにも、早急に壊れたディスク（Maxtor 6L200M）を交換して冗長性を確保しないと、二つ目のディスクが壊れたら一巻の終わり。問題は、３年前に構築したシステムだから、使われているディスクの製品がもう市場に出回っていない可能性が非常に高いこと。最初から期待はしてなく、ちょっと容量の大きめの別製品を近所で買ってリプレースするつもりでいたが、念のためネットで検索してみると何と売っているところがAmazon.comを含めて数軒ある。Amazon.comの$38は中古なので敬遠し、次に安かったNYのアウトレットハウスのようなところから送料込みで$75で注文。何と二日で届いた。

届いたパッケージを開けてみると、口の開いた静電気防止袋に入っている。嫌な予感。おまけによく見るとうっすらとした傷が幾つかついているように見える。何だ中古か！

手元にSATAのインタフェースがなかったので、まずLINUX Software RAID HowToをじっくり読み、SATA-USBのケーブルで仕事用のUbuntuワークステーションにつなぎ、パーティションを作るところから始める。fdiskで購入したディスクと家のサーバのディスクを比べてみる。

ちょっと待ってくれ!サイズが違うじゃないか！

何と購入したディスクの方が4GBほど小さい。ビックリしてディスクのラベルを見るが、製品名は同じ。しかし/proc/scsi/scsiの表示が微妙に違う。多分製品の「リビジョン」の違いか？理由はどうであろうと違うものは違う。

さぁ困った。リプレースのディスクの方がサイズが大きければ余った分を使わないだけの話だが、小さいのは困る！RAIDが復旧できないかもしれない。本当のことを言うと、RAIDの上にLVMを乗っけていて、まだ使っていないPVブロックが結構あるので、やってみれば案外上手くいくかもしれないとも思ったが、上手くいかなかったら最悪。稼働中のシステムだから、もしRAIDの他のディスクのデータを壊してしまったら致命的だ。リスクは取れない。

しかたがない。最初の計画どおり、少し大きめの別のモデルを買うことにすた。Hitachiの250GBが$50。購入したディスクは、決してオーダ違いではないから返品する言い訳が立たない。$75、高い授業料だった。

教訓：次回にRAIDシステムを作るとき（今年の後半にメインサーバサーバをリプレースする計画）は、スペアのディスクを購入しておくこと。本当はこのサーバを構築したときに「買っておいたほうがいいんじゃないかな」と思ったが、まさか実際にディスクが死ぬとは思っていなかった。Murphyの法則どおりの事件だった。