記一次 Linux服務器被入侵后的排查思路
賬號安全：
1、用戶信息文件 /etc/passwd
# 格式：account:password:UID:GID:GECOS:directory:shell
# 用戶名：密碼：用戶ID：組ID：用戶說明：家目錄：登陸之后的 shell
root:x:0:0:root:/root:/bin/bash
# 查看可登錄用戶：
cat /etc/passwd | grep /bin/bash
# 查看UID=0的用戶
awk -F: '$3==0{print $1}' /etc/passwd
# 查看sudo權限的用戶
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"
注意：無密碼只允許本機登陸，遠程不允許登陸
2、影子文件：/etc/shadow
# 用戶名：加密密碼：密碼最后一次修改日期：兩次密碼的修改時間間隔：密碼有效期：密碼修改到期到的警告天數：密碼過期之后的寬限天數：賬號失效時間：保留
root:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTqwNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0:99999:7:::
3、查看當前登錄用戶及登錄時長
who # 查看當前登錄系統(tǒng)的所有用戶（tty 本地登陸 pts 遠程登錄）
w # 顯示已經登錄系統(tǒng)的所用用戶，以及正在執(zhí)行的指令
uptime # 查看登陸多久、多少用戶，負載狀態(tài)
4、排查用戶登錄信息
查看最近登錄成功的用戶及信息
# 顯示logged in表示用戶還在登錄
# pts表示從SSH遠程登錄
# tty表示從控制臺登錄，就是在服務器旁邊登錄
last
查看最近登錄失敗的用戶及信息：
# ssh表示從SSH遠程登錄
# tty表示從控制臺登錄
sudo lastb
顯示所有用戶最近一次登錄信息：
lastlog
在排查服務器的時候，黑客沒有在線，可以使用last命令排查黑客什么時間登錄的有的黑客登錄時，會將/var/log/wtmp文件刪除或者清空，這樣我們就無法使用last命令獲得有用的信息了。
在黑客入侵之前，必須使用chattr +a對/var/log/wtmp文件進行鎖定，避免被黑客刪除
5、sudo用戶列表
/etc/sudoers
入侵排查：
# 查詢特權用戶特權用戶(uid 為0)：
awk -F: '$3==0{print $1}' /etc/passwd
# 查詢可以遠程登錄的帳號信息：
awk '/\$1|\$6/{print $1}' /etc/shadow
# 除root帳號外，其他帳號是否存在sudo權限。如非管理需要，普通帳號應刪除sudo權限：
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"
# 禁用或刪除多余及可疑的帳號
usermod -L user # 禁用帳號，帳號無法登錄，/etc/shadow 第二欄為 ! 開頭
userdel user # 刪除 user 用戶
userdel -r user # 將刪除 user 用戶，并且將 /home 目錄下的 user 目錄一并刪除
通過.bash\_history文件查看帳號執(zhí)行過的系統(tǒng)命令：
打開 /home 各帳號目錄下的 .bash_history，查看普通帳號執(zhí)行的歷史命令。
為歷史的命令增加登錄的 IP 地址、執(zhí)行命令時間等信息：
# 1、保存1萬條命令：
sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/g' /etc/profile
# 2、在/etc/profile的文件尾部添加如下行數配置信息：
USER_IP=`who -u am i 2>/dev/null | awk '{print $NF}' | sed -e 's/[()]//g'`
if [ "$USER_IP" = "" ]
then
USER_IP=`hostname`
fi
export HISTTIMEFORMAT="%F %T $USER_IP `whoami` "
shopt -s histappend
export PROMPT_COMMAND="history -a"
# 3、讓配置生效
source /etc/profile
注意：歷史操作命令的清除：history -c
該操作并不會清除保存在文件中的記錄，因此需要手動刪除.bash\_profile文件中的記錄
檢查端口連接情況：
netstat -antlp | more
使用 ps 命令，分析進程，得到相應pid號:
ps aux | grep 6666
查看 pid 所對應的進程文件路徑：
# $PID 為對應的 pid 號
ls -l /proc/$PID/exe 或 file /proc/$PID/exe
分析進程：
# 根據pid號查看進程
lsof -p 6071
# 通過服務名查看該進程打開的文件
lsof -c sshd
# 通過端口號查看進程：
lsof -i :22
查看進程的啟動時間點：
ps -p 6071 -o lstart
根據pid強行停止進程：
kill -9 6071
注意： 如果找不到任何可疑文件，文件可能被刪除，這個可疑的進程已經保存到內存中，是個內存進程。這時需要查找PID 然后kill掉
檢查開機啟動項：
系統(tǒng)運行級別示意圖：
| 運行級別 | 含義 |
|---|---|
| 0 | 關機 |
| 1 | 單用戶模式，可以想象為windows的安全模式，主要用于系統(tǒng)修復 |
| 2 | 不完全的命令行模式，不含NFS服務 |
| 3 | 完全的命令行模式，就是標準字符界面 |
| 4 | 系統(tǒng)保留 |
| 5 | 圖形模式 |
| 6 | 重啟動 |
查看運行級別命令：
runlevel
開機啟動配置文件:
/etc/rc.local
/etc/rc.d/rc[0~6].d
啟動Linux系統(tǒng)時，會運行一些腳本來配置環(huán)境——rc腳本。在內核初始化并加載了所有模塊之后，內核將啟動一個守護進程叫做init或init.d。這個守護進程開始運行/etc/init.d/rc中的一些腳本。這些腳本包括一些命令，用于啟動運行Linux系統(tǒng)所需的服務
開機執(zhí)行腳本的兩種方法：
在/etc/rc.local的exit 0語句之間添加啟動腳本。腳本必須具有可執(zhí)行權限 用update-rc.d命令添加開機執(zhí)行腳本
1、編輯修改/etc/rc.local
2、update-rc.d：此命令用于安裝或移除System-V風格的初始化腳本連接。腳本是存放在/etc/init.d/目錄下的，當然可以在此目錄創(chuàng)建連接文件連接到存放在其他地方的腳本文件。
此命令可以指定腳本的執(zhí)行序號，序號的取值范圍是 0-99，序號越大，越遲執(zhí)行。
當我們需要開機啟動自己的腳本時，只需要將可執(zhí)行腳本丟在/etc/init.d目錄下，然后在/etc/rc.d/rc_.d文件中建立軟鏈接即可
語法：
update-rc.d 腳本名或服務 <remove|defaults|disable|enable>
#1、在/etc/init.d目錄下創(chuàng)建鏈接文件到后門腳本：
ln -s /home/b4yi/kali-6666.elf /etc/init.d/backdoor
#2、用 update-rc.d 命令將連接文件 backdoor 添加到啟動腳本中去
sudo update-rc.d backdoor defaults 99
開機即執(zhí)行。
入侵排查：
more /etc/rc.local
/etc/rc.d/rc[0~6].d
ls -l /etc/rc.d/rc3.d/
計劃任務排查：
需要注意的幾處利用cron的路徑：
crontab -l # 列出當前用戶的計時器設置
crontab -r # 刪除當前用戶的cron任務
上面的命令實際上是列出了/var/spool/cron/crontabs/root該文件的內容：
/etc/crontab只允許root用戶修改/var/spool/cron/存放著每個用戶的crontab任務，每個任務以創(chuàng)建者的名字命名/etc/cron.d/將文件寫到該目錄下，格式和/etc/crontab相同把腳本放在 /etc/cron.hourly/、/etc/cron.daily/、/etc/cron.weekly/、/etc/cron.monthly/目錄中，讓它每小時/天/星期/月執(zhí)行一次
小技巧：
more /etc/cron.daily/* 查看目錄下所有文件
入侵排查：
重點關注以下目錄中是否存在惡意腳本;
/var/spool/cron/*
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/*
/etc/cron.hourly/*
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*
入侵排查：
查詢已安裝的服務：
RPM 包安裝的服務：
chkconfig --list 查看服務自啟動狀態(tài)，可以看到所有的RPM包安裝的服務
ps aux | grep crond 查看當前服務
系統(tǒng)在3與5級別下的啟動項
中文環(huán)境
chkconfig --list | grep "3:啟用\|5:啟用"
英文環(huán)境
chkconfig --list | grep "3:on\|5:on"
源碼包安裝的服務:
查看服務安裝位置 ，一般是在/user/local/
service httpd start
搜索/etc/rc.d/init.d/ 查看是否存在
異常文件檢查：
按照三種方式查找修改的文件：
按照名稱 依據文件大小 按照時間查找
根據名稱查找文件
find / -name a.Test
# 如果文件名記不全，可使用通配符*來補全
# 如果不區(qū)分大小寫，可以將-name 替換為-iname
依據文件大小查找：
find / -size +1000M
# +1000M表示大于1000M的文件，-10M代表小于10M的文件
依據時間查找：
# -atime 文件的訪問時間
# -mtime 文件內容修改時間
# -ctime 文件狀態(tài)修改時間（文件權限，所有者/組，文件大小等，當然文件內容發(fā)生改變，ctime也會隨著改變）
# 要注意：系統(tǒng)進程/腳本訪問文件，atime/mtime/ctime也會跟著修改，不一定是人為的修改才會被記錄
# 查找最近一天以內修改的文件：
find / -mtime -1 -ls | more
# 查找50天前修改的文件：
find ./ -mtime +50 -ls
根據屬主和屬組查找：
-user 根據屬主查找
-group 根據屬組查找
-nouser 查找沒有屬主的文件
-nogroup 查找沒有屬組的文件
# 查看屬主是root的文件
find ./ -user root -type f
# -type f表示查找文件，-type d表示查找目錄
# 注意：系統(tǒng)中沒有屬主或者沒有屬組的文件或目錄，也容易造成安全隱患，建議刪除。
按照CPU使用率從高到低排序：
ps -ef --sort -pcpu
按照內存使用率從高到低排序：
ps -ef --sort -pmem
補充：
1、查看敏感目錄，如/tmp目錄下的文件，同時注意隱藏文件夾，以“..”為名的文件夾具有隱藏屬性。
2、得到發(fā)現WEBSHELL、遠控木馬的創(chuàng)建時間，如何找出同一時間范圍內創(chuàng)建的文件？
可以使用find命令來查找，如find /opt -iname "*" -atime 1 -type f 找出 /opt 下一天前訪問過的文件。
3、針對可疑文件可以使用 stat 進行創(chuàng)建修改時間。
系統(tǒng)日志檢查：
日志默認存放位置：/var/log/
必看日志：secure、history
查看日志配置情況：more /etc/rsyslog.conf
| 日志文件 | 說明 |
|---|---|
| /var/log/cron | 記錄了系統(tǒng)定時任務相關的日志 |
| /var/log/cups | 記錄打印信息的日志 |
| /var/log/dmesg | 記錄了系統(tǒng)在開機時內核自檢的信息，也可以使用dmesg命令直接查看內核自檢信息 |
| /var/log/mailog | 記錄郵件信息 |
| /var/log/message | 記錄系統(tǒng)重要信息的日志。這個日志文件中會記錄Linux系統(tǒng)的絕大多數重要信息，如果系統(tǒng)出現問題時，首先要檢查的就應該是這個日志文件 |
| /var/log/btmp | 記錄錯誤登錄日志，這個文件是二進制文件，不能直接vi查看，而要使用lastb命令查看 |
| /var/log/lastlog | 記錄系統(tǒng)中所有用戶最后一次登錄時間的日志，這個文件是二進制文件，不能直接vi，而要使用lastlog命令查看 |
| /var/log/wtmp | 永久記錄所有用戶的登錄、注銷信息，同時記錄系統(tǒng)的啟動、重啟、關機事件。同樣這個文件也是一個二進制文件，不能直接vi，而需要使用last命令來查看 |
| /var/log/utmp | 記錄當前已經登錄的用戶信息，這個文件會隨著用戶的登錄和注銷不斷變化，只記錄當前登錄用戶的信息。同樣這個文件不能直接vi，而要使用w,who,users等命令來查詢 |
| /var/log/secure | 記錄驗證和授權方面的信息，只要涉及賬號和密碼的程序都會記錄，比如SSH登錄，su切換用戶，sudo授權，甚至添加用戶和修改用戶密碼都會記錄在這個日志文件中 |
/var/log/wtmp 登錄進入，退出，數據交換、關機和重啟紀錄
/var/log/lastlog 文件記錄用戶最后登錄的信息，可用 lastlog 命令來查看。
/var/log/secure 記錄登入系統(tǒng)存取數據的文件，例如 pop3/ssh/telnet/ftp 等都會被記錄。
/var/log/cron 與定時任務相關的日志信息
/var/log/message 系統(tǒng)啟動后的信息和錯誤日志
/var/log/apache2/access.log apache access log
日志分析技巧：
1、定位有多少IP在爆破主機的root帳號：
grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more
定位有哪些IP在爆破：
grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq -c
爆破用戶名字典是什么？
grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr
2、登錄成功的IP有哪些：
grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more
登錄成功的日期、用戶名、IP：
grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}'
3、增加一個用戶kali日志：
Jul 10 00:12:15 localhost useradd[2382]: new group: name=kali, GID=1001
Jul 10 00:12:15 localhost useradd[2382]: new user: name=kali, UID=1001, GID=1001, home=/home/kali
, shell=/bin/bash
Jul 10 00:12:58 localhost passwd: pam_unix(passwd:chauthtok): password changed for kali
#grep "useradd" /var/log/secure
4、刪除用戶kali日志：
Jul 10 00:14:17 localhost userdel[2393]: delete user 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed group 'kali' owned by 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed shadow group 'kali' owned by 'kali'
# grep "userdel" /var/log/secure
5、su切換用戶：
Jul 10 00:38:13 localhost su: pam_unix(su-l:session): session opened for user good by root(uid=0)
sudo授權執(zhí)行:
sudo -l
Jul 10 00:43:09 localhost sudo: good : TTY=pts/4 ; PWD=/home/good ; USER=root ; COMMAND=/sbin/shutdown -r now
webshell查殺:
河馬 WebShell 查殺：http://www.shellpub.com
Linux安全檢查腳本:
https://github.com/grayddq/GScan
https://github.com/ppabc/security_check
https://github.com/T0xst/linux
原文鏈接：https://www.jianshu.com/p/afc845cf9cc9
關注「開源Linux」加星標，提升IT技能
