普及一個工作小技巧，三步實現(xiàn) Python 自動化
今天的文章源自于工作中的一個小技巧，主要是涉及到日常工作的自動化處理。
如果說你每天都需要做一些重復的工作，比如出一份報表、統(tǒng)計一個數(shù)據(jù)、發(fā)一封郵件等等
那你完全可以把這個任務交給電腦讓它每天自動替你完成，而你只需要從容的打開保溫杯，靜靜地泡一杯枸杞
今天主要會用到 Linux 下的 cron 這個服務，ok，直接開始
1. 安裝cron
基本上所有的Linux發(fā)行版在默認情況下都預安裝了cron工具。
即使未預裝cron，也很簡單，執(zhí)行幾條簡單的命令就可手動安裝
# 檢查是否已經(jīng)預裝了cron
service cron status
安裝并啟動服務
安裝：apt-get install cron
啟動/停止/重啟：service cron start/stop/restart
查詢當前任務：crontab -l2. 安裝檢查
安裝完成后檢查一下是否安裝成功，同樣使用 status命令查看
出現(xiàn)如下提示表示安裝成功：
另外，在ubuntu下可能會出現(xiàn)這樣的提示：
這個也表示可以正常使用
3. cron相關用法
有幾個關于cron的簡單用法可以了解一下，后面也會通過一個案例詳細介紹如何使用
首先，列出當前用戶計劃的cron作業(yè)：
crontab?-l
查看其它用戶的cron作業(yè)：
crontab?–l?–u?username
移除已經(jīng)計劃的cron作業(yè)：
crontab?–r4. 制定crontab計劃
首先，通過如下命令添加或更新crontab中的任務
第一次進入會要求你選擇編輯器，這個根據(jù)自己的習慣選擇。
選擇好之后會進入到這樣的一個界面：
用過vim的同學應該對這個界面不陌生，類似的操作：按A鍵開始編輯，按ESC輸入wq保存并退出
重點是最下面的一段內(nèi)容：
m?h?dom?mon?dow?commmand
這個其實就是crontab調(diào)度作業(yè)的一個使用介紹，可以用來設置定時任務。
具體一點的語法是這樣的：
m?h?dom?mon?dow?command
*?*?*?*?*?command
-?-?-?-?-?-
|?|?|?|?|?|
|?|?|?|?|?---?預執(zhí)行的命令
|?|?|?|?-----?表示星期0～7（其中星期天可以用0或7表示）
|?|?|?-------?表示月份1～12
|?|?---------?表示日期1～31
|?-----------?表示小時1～23（0表示0點）
-------------?表示分鐘1～59?每分鐘用*或者?*/1表示
舉幾個簡單的應用案例：
每天 02:00 執(zhí)行任務
0?2?*?*?*?command
每天 5:00和17:00執(zhí)行任務
0?5,17?*?*?*?command
每 10min 執(zhí)行一次任務
*/10?*?*?*?*?command
在特定的某幾個月的周日 17:00 執(zhí)行任務
0?17?*?jan,may,aug?sun?command
差不多常用的就這些，更多的使用案例還可以參考這個鏈接：http://linux.51yip.com/search/crontab
上面案例中的command 表示你具體需要執(zhí)行的任務
例如打印一段話：
echo?"Hello?xiaoyi"?>>?/tmp/test.txt?
或者將這段話輸出到txt中：
echo?"Hello?xiaoyi"?>>?/tmp/test.txt?
或者是你需要執(zhí)行一個Python腳本：
python?demo.py?filepath
后面的filepath表示輸入的參數(shù)args，這個可能有的同學會用到，例如下面的案例中需要輸入文件下載路徑。
5. 定時任務實戰(zhàn)
上面的都搞清楚了，就可以開始今天的重頭戲了。
首先我們需要每天從ftp服務器中下載最新的任務數(shù)據(jù)，將數(shù)據(jù)下載到本地后通過Python進行數(shù)據(jù)匯總統(tǒng)計，最后將結(jié)果存入數(shù)據(jù)庫中，如果期間某個環(huán)節(jié)出現(xiàn)問題則發(fā)送告警郵件。
① 編寫Python腳本
首先需要編寫Python腳本完成以下功能：
從數(shù)據(jù)庫中獲取最新數(shù)據(jù)日期 從ftp中下載最新數(shù)據(jù)到本地 對本地最新數(shù)據(jù)進行匯總統(tǒng)計 統(tǒng)計結(jié)果存入數(shù)據(jù)庫匯總 郵件通知
上面這個流程大致的偽代碼是這樣的：
if?__name__?==?'__main__':
????"""獲取最新數(shù)據(jù)日期"""
????latest_date?=?get_max_date()
????#?以最新日期為名創(chuàng)建文件夾
????download_dir?=?os.path.join(sys.argv[1],?latest_date)
????if?not?os.path.exists(download_dir):
????????os.makedirs(download_dir)
????????
????"""從ftp中下載最新數(shù)據(jù)"""
????download_file(latest_date,?download_dir)
????"""處理最新數(shù)據(jù)并保存"""
????process_data(latest_date,?download_dir)
郵件監(jiān)控可以在加一個try catch的異常捕獲，有異常發(fā)生的時候則發(fā)送郵件
②編寫cron定時任務
打開crontab，編輯如下內(nèi)容到最后一行，保存并退出
crontab是會自動實時更新任務列表的，如果不放心也可以通過restart命令重啟cron 服務
這里有個小建議，所有的路徑都填寫絕對路徑
③ 效果監(jiān)控
如果Python代碼沒有問題，任務會定時執(zhí)行。
這里建議可以把自己的command單獨在控制臺運行下，沒有問題的時候再寫進到cron任務列表紅。
最終小一的定時任務運行截圖如下：
最下面是ftp文件下載，上面是數(shù)據(jù)匯總統(tǒng)計
說點題外話
如果說你平時的工作有很多重復的任務，像日常指標的采集、取數(shù)匯總統(tǒng)計、郵件自動轉(zhuǎn)發(fā)等等
一旦這些工作你可以通過腳本設置好邏輯，自動化任務也就可以實現(xiàn)它，最多就需要你每天注意一下郵件，看看有沒有發(fā)生錯誤就行了。