刪庫(kù)了

大家好，我是小林。

在知乎看到這么個(gè)問(wèn)題「不小心刪庫(kù)是一種怎樣的體驗(yàn)？」

不知道大家干過(guò)刪庫(kù)的事情嗎？

還別說(shuō)，這事小林還真干過(guò)，不過(guò)我不是刪數(shù)據(jù)庫(kù)這么簡(jiǎn)單，而是直接 rm -fr /*，更糟心的是在公司的服務(wù)器做的。

別問(wèn)為什么我有權(quán)限執(zhí)行，因?yàn)檫@個(gè)臺(tái)服務(wù)器歸我管的，我都是直接 root 權(quán)限登錄的。

當(dāng)時(shí)是寫了個(gè) Bug，導(dǎo)致誤執(zhí)行了這條命令，我這年紀(jì)輕輕的身子瞬間被嚇的一身冷汗！

不過(guò)，這件事是去年的事情，然后最近看到群里有小伙伴也誤執(zhí)行了刪庫(kù)命令，翻了我刪庫(kù)的文章，找到了恢復(fù)的思路。

雖然這篇文章去年發(fā)過(guò)，但是當(dāng)時(shí)關(guān)注的人少看的人不多，所以今天再分享給大家。

我來(lái)跟大家復(fù)盤下，當(dāng)時(shí)的事件經(jīng)過(guò)，挺有意思的。

事件開(kāi)始

去年臨近五一節(jié)，想到有 5 天假期，我就開(kāi)始飄了。寫個(gè)簡(jiǎn)單的 Bash 腳本都不上心了，寫完連檢查都不檢查，直接拖到到實(shí)體服務(wù)器跑。

結(jié)果一跑起來(lái)，發(fā)生不對(duì)勁，怎么一個(gè)簡(jiǎn)單腳本跑了 10  秒還沒(méi)結(jié)束，于是立馬直接 ctrl + c 一頓操作停掉了運(yùn)行中腳本。

接著，習(xí)慣性的輸入了 ls，結(jié)果 what？找不到 ls 命令？

瞬間背后一涼，慌慌張張打開(kāi)了腳本。

發(fā)現(xiàn)問(wèn)題了，小林我寫了個(gè)巨蠢的 Bug，間接執(zhí)行了 rm -fr /* ，這不意味著我刪庫(kù)了？

這臺(tái)是公司內(nèi)部使用的授權(quán)服務(wù)器呀，被小林這么一整，公司歷史的授權(quán)記錄和其他重要信息不就丟了？

心里慌的一批的小林，跟我的朋友們說(shuō)了這件事，朋友建議我先第一時(shí)間上報(bào)給 leader，不要把刪庫(kù)的事情瞞著。

于是，小林就向 leader 說(shuō)了我刪庫(kù)事情，本以為會(huì)被痛批一頓。

結(jié)果 leader 笑著說(shuō)：“沒(méi)事，你先看看重要的文件還在不在。不過(guò)你這么一整，我突然想起編譯服務(wù)器半年沒(méi)備份，我先備份一下我的編譯服務(wù)器，防止哪天也被你們刪庫(kù)了。”

我：“？？？？”

吃瓜的小伙伴，是不是覺(jué)得小林要?jiǎng)h庫(kù)跑路了？

哈哈哈，小林沒(méi)跑路，反而是恢復(fù)了回來(lái)，所以接下來(lái)說(shuō)說(shuō)小林是如何「從刪庫(kù)到恢復(fù)」的。

初探案發(fā)現(xiàn)場(chǎng)

來(lái)看看小林寫的垃圾代碼，是如何引發(fā)這次的刪庫(kù)。

既然發(fā)生了 rm -fr /* 的現(xiàn)象，那必然 new_lic_dir 這個(gè)變量是空的。

所以導(dǎo)致執(zhí)行 rm -fr $new_lic_dir/* 這條語(yǔ)句的時(shí)候，變成了 rm -fr /* 刪庫(kù)語(yǔ)句。很好，兇器找到了。

那為什么  new_lic_dir 會(huì)是空的呢？

細(xì)心的小伙伴肯定察覺(jué)出來(lái)了，是因?yàn)榻o new_lic_dir 變量賦值的時(shí)使用了反引號(hào)。

沒(méi)錯(cuò)，就是反引號(hào)的原因。

反引號(hào)在 Linux Shell 命令行中有特殊的含義：反引號(hào)間的內(nèi)容，會(huì)被 Shell 先執(zhí)行。其輸出被放入主命令后，主命令再被執(zhí)行。

也就是說(shuō)， new_lic_dir 的值是 ${lic_path}/new_license 這條命令執(zhí)行的結(jié)果，問(wèn)題這哪是命令啊，所以肯定返回空值給 new_lic_dir 變量。

小林寫的那么溫柔的代碼，竟然變成了窮兇極惡的刪庫(kù)代碼。

這下原因是找到了，反引號(hào)應(yīng)該改成雙引號(hào)才對(duì)。

小林你真菜呀，那么簡(jiǎn)單的賦值命令都寫錯(cuò)。

哈哈哈，確實(shí)菜，都說(shuō)了嘛，當(dāng)時(shí)快五一了，小林是飄著寫這份代碼的。

所以習(xí)慣性開(kāi)啟程序員內(nèi)容的第一大武功：crtl+c 和 crtl+v。

把第一條賦值 lic_path=`pwd` 語(yǔ)句，復(fù)制粘貼了，然后只改了變量名，沒(méi)注意反引號(hào)要修改成雙引號(hào)，所以造成了刪庫(kù)的悲劇。

保留案發(fā)現(xiàn)場(chǎng)

既然發(fā)生了刪庫(kù)的事情，千萬(wàn)不要重啟服務(wù)器，也不要關(guān)閉 ssh 連接的會(huì)話，而是要保留案發(fā)現(xiàn)場(chǎng)，接著查查還剩什么。

小林，這不是吹大炮嘛？ls 都沒(méi)了，還怎么查？

還好這次是比較幸運(yùn)，因?yàn)樵趫?zhí)行腳本的時(shí)候，第一時(shí)間發(fā)現(xiàn)不對(duì)勁，立馬掐斷了還在運(yùn)行的腳本，所以并非 Linux 所有文件都被刪除了。

只要我掐的快，rm -fr /* 就干不死我。

雖然 ls 被刪了，但所幸發(fā)現(xiàn) cd 命令還能用。

只要 cd 用的好，它也能用出的 ls 效果。很簡(jiǎn)單，只需 cd + Tab 鍵就會(huì)自動(dòng)出現(xiàn)指定目錄下的所有文件。

有了  cd + Tab 鍵，我們就可以查看每個(gè)目錄下的文件，于是就可以一步一步來(lái)確認(rèn)哪些系統(tǒng)文件被刪了。

通過(guò)一番的確認(rèn)和對(duì)比后，發(fā)現(xiàn)主要被刪除的有四個(gè)目錄分別是

• /bin 、/boot 、/dev  這三個(gè)目錄整個(gè)都被刪除了

• /lib 目錄里的動(dòng)態(tài)庫(kù)部分被刪除

來(lái)復(fù)習(xí)下上面這四個(gè)目錄主要是存放了什么：

• /bin 存放常用系統(tǒng)命令，ls、cp、rm、chmod 等常用命令都在此目錄；

• /boot 系統(tǒng)啟動(dòng)目錄，保存與系統(tǒng)啟動(dòng)相關(guān)的文件，如內(nèi)核文件和啟動(dòng)引導(dǎo)程序；

• /dev 設(shè)備文件保存位置；

• /lib 存放程序所需的動(dòng)態(tài)庫(kù)和靜態(tài)庫(kù)文件；

/boot 都被刪除了，還好小林沒(méi)有重啟服務(wù)器，要是重啟了服務(wù)器，就完?duì)僮恿耍到y(tǒng)肯定起不來(lái)了。

cd 命令是在 /sbin 目錄下，/sbin 還健全，所以 cd 是可以正常使用。

所幸重要的數(shù)據(jù)庫(kù)信息和文件都還沒(méi)刪除，所以小林首要的目標(biāo)是要恢復(fù) /bin、/boot、/dev、/lib 這四個(gè)目錄。

還原文件

由于 /bin 目錄 和 /lib 部分動(dòng)態(tài)文件被刪除，常用的傳遞文件的方式是無(wú)法使用的，如 ftp、scp、mount 等。

小林摸索了很久，竟然發(fā)現(xiàn) wget 可以使用，wget 命令是在 /usr/bin 目錄，所幸 /usr/bin 還健全。

于是，用了取巧的方法，先另一臺(tái)正常的服務(wù)器，把 /bin 目錄放到了 Web 服務(wù)器的 Web 目錄，接著通過(guò) wget 進(jìn)行下載。

有戲，看到了成功的曙光。

但是新的問(wèn)題就來(lái)了，我下載過(guò)來(lái)的命令文件，是沒(méi)有執(zhí)行權(quán)限的。

而 chmod 命令是在 /bin 目錄的，它同樣也被刪除了，無(wú)法使用它來(lái)給予文件權(quán)限。

還在，在網(wǎng)上搜到了一個(gè)偉大命令 perl，可以通過(guò)它來(lái)給予文件權(quán)限：

perl -e "chmod 777, 'ls'"

真是個(gè)神奇的命令。

好了，這下賦值權(quán)限問(wèn)題也解決了，成功在望了。

wget 是無(wú)法直接把 /bin 目錄下載下來(lái)的，只能下載一個(gè)文件。

但是小林我不可能一個(gè)一個(gè)去下載來(lái)進(jìn)行恢復(fù)，這得要何年何月才能完成。。。

小林就想到了一個(gè)方法：

• 先通過(guò) wget 的方式下載 tar 命令，并通過(guò) perl 給予 tar 命令權(quán)限

• 接著把另一臺(tái)服務(wù)器把 /bin 目錄打包成壓縮文件，然后通過(guò) wget 下載 bin 目錄的壓縮包文件

• 最后通過(guò) tar 命令把 bin 壓縮包解壓出來(lái)

/bin 就這樣恢復(fù)回來(lái)啦，剩余的其他目錄 也是通過(guò)同樣的操作恢復(fù)了回來(lái)。

小林的笑容漸漸恢復(fù)了回來(lái)，哈哈哈哈哈哈哈哈哈哈哈哈

遇到 rm -fr /* 刪庫(kù)事件發(fā)生，一定要沉住氣，穩(wěn)住心態(tài)

本次刪庫(kù)事件，之所以小林能幸運(yùn)的恢復(fù)回來(lái)，有非常關(guān)鍵兩點(diǎn)：

• 小林發(fā)現(xiàn)腳本執(zhí)行不正常，果斷立馬的掐斷它，沒(méi)有造成重要的數(shù)據(jù)庫(kù)信息被刪除，如果掐斷的時(shí)候再晚一點(diǎn)，可能就真沒(méi)了。

• 小林發(fā)現(xiàn)常用命令無(wú)法使用的時(shí)候，沒(méi)有重啟服務(wù)器，不然服務(wù)器就起不來(lái)了，也沒(méi)有關(guān)閉 ssh 會(huì)話，不然無(wú)法在重新連接 ssh 會(huì)話了，也就無(wú)法進(jìn)行操作了。

如果以上兩點(diǎn)都沒(méi)做好，服務(wù)器恢復(fù)的難度就加大了很多，更嚴(yán)重的是五一節(jié)就沒(méi)的過(guò)了。

預(yù)防誤執(zhí)行 rm -fr /*

既然 rm -fr /* 是殘忍的兇器，那么預(yù)防它是很有必要的，接下來(lái)跟大家討論討論預(yù)防它的幾種方案。

方案一：rm -rf 刪除目錄時(shí)要判斷目錄

#!/bin/bash

work_path=`pwd`

#如果目錄不為空，才執(zhí)行刪除操作
if [ ${work_path} != "" ];then
    rm -fr ${work_path}/*
fi

在執(zhí)行刪除目錄操作前，先判斷要?jiǎng)h除的目錄是否為空，不為空才執(zhí)行刪除操作。

方案二：Shell 腳本指定 set -u

執(zhí)行腳本的時(shí)候，如果遇到不存在的變量，Bash 默認(rèn)忽略它。

#!/bin/bash

echo $a
echo hello

上面代碼中，$a 是一個(gè)不存在的變量，執(zhí)行結(jié)果如下。

$ bash test.sh

hello

可以發(fā)現(xiàn)，echo $a 輸出了一個(gè)空行，Bash 忽略了不存在的 $a，然后繼續(xù)執(zhí)行 echo hello。

最好是遇到變量不存在，腳本應(yīng)該報(bào)錯(cuò)，而不是一聲不響地往下執(zhí)行。

set -u 就用來(lái)改變這種行為，在腳本加上它，遇到不存在的變量就會(huì)報(bào)錯(cuò)，并停止執(zhí)行。

#!/bin/bash
set -u

rm -fr $a/*
echo hello

運(yùn)行結(jié)果如下:

$ bash test.sh
test.sh: line 4: a: unbound variable

可以看到，因?yàn)?a 是未定義變量，腳本報(bào)錯(cuò)了，并且不再執(zhí)行后面的語(yǔ)句。

方案三：safe-rm 替換 rm

safe-rm 是一個(gè)開(kāi)源軟件工具，這名字聽(tīng)起來(lái)就很安全嘛，所以它是用來(lái)替代不太安全的 rm。

它可以在 /etc/safe-rm.conf 中配置路徑黑名單，定義哪些不能被 safe-rm 刪除。

我們可以將 safe-rm 更名為 rm，假設(shè)定義了 /etc/ 無(wú)能被刪除，那么刪除 /etc 時(shí)就會(huì)報(bào)錯(cuò)：

$ rm -rf /etc/
safe-rm: skipping /etc/

方案四：建立回收站機(jī)制

Windows 是有回收站的，即使誤刪了，也可以在回收站恢復(fù)。

所以，我們也可以在 Linux 實(shí)現(xiàn)回收站的機(jī)制。

實(shí)現(xiàn)思路：

刪除文件時(shí)，它并不真正執(zhí)行刪除操作，而是將文件移動(dòng)到一個(gè)特定目錄，可以設(shè)置定時(shí)清楚回收站，或者在回收站里面的文件大小達(dá)到一定容量時(shí)（或者用時(shí)間做判斷）執(zhí)行刪除操作以騰出空間。

可以寫個(gè) Shell 腳本替換 rm 命令，或者在需要?jiǎng)h除文件的時(shí)候使用 mv 命令將文件移動(dòng)到回收站。　　

① 創(chuàng)建回收站目錄

mkdir /home/.trash

② 編寫 remove.sh 腳本，內(nèi)容如下

③ 修改 ~/.bashrc， 用我們自建的 remove.sh 替代 rm 命令

alias rm="sh /home/remove.sh"

④ 設(shè)置 crontab，定期清空垃圾箱，如每天 0 點(diǎn)清空垃圾箱：

0 0 * * * rm -rf /home/.trash/*

⑤ 最后，執(zhí)行以下命令，使之生效

source ~/.bashrc 

方案五：根文件掛載成只讀

在 /etc/fstab 文件，把 / 文件系統(tǒng)掛載成只讀的方式。

其中 remount,ro，就表示只讀的方式掛載。

只讀的方式掛載后，進(jìn)行刪除操作是無(wú)法成功的：

事后反思

涉及到 rm -fr 命令的代碼，要留個(gè)心眼，要反復(fù)檢查，要做好預(yù)防誤執(zhí)行 rm -fr /*，并在測(cè)試機(jī)驗(yàn)證完后，再拖到實(shí)體機(jī)上跑，千萬(wàn)不可大意。

就算的發(fā)生了 rm -fr /*，要第一時(shí)間停掉它，并且要做到三不要：

• 不要慌，不要心跳爆炸（穩(wěn)住穩(wěn)住）

• 不要隱瞞刪庫(kù)事件（不丟人）

• 不要重啟服務(wù)器或斷開(kāi) ssh 會(huì)話（保留現(xiàn)場(chǎng)）

只要立馬掐斷 rm -fr /* ，它是干不死我們的。

利用當(dāng)下環(huán)境剩有的命令，冷靜分析，是有機(jī)會(huì)恢復(fù)的。

經(jīng)過(guò)這個(gè)事情后，小林收獲了一個(gè) title：「一個(gè)刪過(guò)庫(kù)沒(méi)跑路的男人」

酷吧！大家千萬(wàn)不要向我學(xué)習(xí)哦