慘！一個(gè) rm -rf 把公司整個(gè)數(shù)據(jù)庫(kù)刪沒(méi)了...

經(jīng)歷了兩天不懈努力，終于恢復(fù)了一次誤操作刪除的生產(chǎn)服務(wù)器數(shù)據(jù)。

對(duì)本次事故過(guò)程和解決辦法記錄在此，警醒自己，也提示別人莫犯此錯(cuò)。

也希望遇到問(wèn)題的朋友能找到一絲靈感解決問(wèn)題。

事故背景

rm -rf $ORACLE_BASE/*

rm -rf /*

救命稻草：ext3grep

ext3grep /dev/vgdata/LogVol00 --dump-names

ext3grep /dev/vgdata/LogVol00 --restore-all

ext3grep /dev/vgdata/LogVol00 --restore-file var/lib/mysql/aqsh/tb_b_attench.MYD

ext3grep /dev/vgdata/LogVol00 --dump-names >/usr/allnames.txt

while read LINE
do
    echo "begin to restore file " $LINE
    ext3grep /dev/vgdata/LogVol00 --restore-file $LINE
    if [ $? != 0 ]
    then
        echo "restore failed, exit"
       # exit 1
    fi
done < ./mysqltbname.txt

extundelete /dev/vgdata/LogVol00 --restore-directory var/lib/mysql/aqsh

靈機(jī)一動(dòng)：Binlog

• mysql-binlog0001
• mysql-bin.000009
• mysql-bin.000010

ext3grep /dev/vgdata/LogVol00 --restore-file var/lib/mysql/mysql-bin.000001

mysqlbinlog /usr/mysql-bin.000010 | mysql -uroot -p

后記

• 本次安排 MM 進(jìn)行服務(wù)器維護(hù)時(shí)沒(méi)有提前對(duì)她進(jìn)行說(shuō)明厲害情況，自己也未重視，管理混亂，流程混亂。一個(gè)在線的生產(chǎn)系統(tǒng)，任何一個(gè)改動(dòng)一定要先謀而后動(dòng)。
• 自動(dòng)備份出現(xiàn)問(wèn)題，沒(méi)有任何人檢查。脫機(jī)備份人員每次從服務(wù)器上下載 1K 的文件卻從未重視。需要明確大家在工作崗位上的責(zé)任。
• 事故發(fā)生后，沒(méi)有及時(shí)發(fā)現(xiàn)，造成部分?jǐn)?shù)據(jù)寫(xiě)入磁盤(pán)，造成不可恢復(fù)問(wèn)題。需要編寫(xiě)應(yīng)用監(jiān)控程序，服務(wù)一旦有異常，短信告警相關(guān)責(zé)任人。
• 根據(jù)評(píng)論提醒，再加一條：不能使用 Root 用戶(hù)來(lái)操作。應(yīng)該在服務(wù)器上開(kāi)設(shè)不同權(quán)限級(jí)別的用戶(hù)。

ext3grep: init_directories.cc:534: void init_directories(): Assertion `lost_plus_found_directory_iter != all_directories.end()' failed.

最后給大家分享我寫(xiě)的SQL兩件套：《SQL基礎(chǔ)知識(shí)第二版》和《SQL高級(jí)知識(shí)第二版》的PDF電子版。里面有各個(gè)語(yǔ)法的解釋、大量的實(shí)例講解和批注等等，非常通俗易懂，方便大家跟著一起來(lái)實(shí)操。

有需要的讀者可以下載學(xué)習(xí)，在下面的公眾號(hào)「數(shù)據(jù)前線」(非本號(hào))后臺(tái)回復(fù)關(guān)鍵字：SQL，就行
數(shù)據(jù)前線

后臺(tái)回復(fù)關(guān)鍵字：1024，獲取一份精心整理的技術(shù)干貨
后臺(tái)回復(fù)關(guān)鍵字：進(jìn)群，帶你進(jìn)入高手如云的交流群
記得幫忙點(diǎn)「贊」和「在看」↓
謝謝啦