如何利用Python實(shí)現(xiàn)工作中的自動(dòng)化
如何利用Python實(shí)現(xiàn)工作中的自動(dòng)化
“偷懶還能干完活，才是本事”
帥張發(fā)了一篇《工作要學(xué)會(huì)偷懶》，深感贊同。
有些事情既然定期都要處理，就沒有更好的處理方式？能自動(dòng)化么？工作要學(xué)會(huì)偷懶，尤其對(duì)于一些大量重復(fù)的工作，第一感覺就要想到如何偷懶。怎么偷懶呢？做一點(diǎn)簡單的編程工作就可以了。
我總結(jié)了一些在工作中非常常見的例子，將源碼整理好供參考。
這類工作大部分是重復(fù)性工作，但占據(jù)了你比較多的時(shí)間，有時(shí)候用蠻力做的事情，可以有更省時(shí)省力的辦法。 作為一名優(yōu)秀的社會(huì)主義接班人，肯定都會(huì)有將工作任務(wù)自動(dòng)化的意識(shí)，于是我去了解了一下身邊不同崗位（HR、產(chǎn)品、運(yùn)營、市場、數(shù)據(jù)分析師等）每天需要面對(duì)的重復(fù)性勞動(dòng)（肯定會(huì)有不全，各位大佬不要噴我~）
今天我來分享一下在工作是實(shí)際會(huì)遇到的情況，其實(shí)我們不用吭哧吭哧地埋頭干表格，也不用拼死平活地理數(shù)據(jù)，更不用機(jī)械式地點(diǎn)擊各個(gè)啟動(dòng)和確認(rèn)按鈕，掌握一些自動(dòng)化程序會(huì)讓你的工作更加高效。
那么如何將這些統(tǒng)統(tǒng)實(shí)現(xiàn)呢？
我將這些分為以下幾類，大家可以自行評(píng)估，各取所需：
如果你喜歡的話，分享讓更多的人看到~
系統(tǒng)錄入自動(dòng)化
由于你經(jīng)常需要不斷的將一些信息錄入系統(tǒng)，每一次錄入的過程中你可能需要不斷的點(diǎn)擊一些按鈕，面對(duì)這種情況，完全可以寫一個(gè)自動(dòng)腳本，每次代替你來執(zhí)行這些點(diǎn)擊的行為。
這里我們需要用到splinter：
pip install splinter
這里寫了一個(gè)自動(dòng)登錄郵箱的腳本，可以實(shí)現(xiàn)文本輸入和網(wǎng)頁點(diǎn)擊：
#coding=utf-8
import time
from splinter import Browser
def splinter(url):
browser = Browser()
#login 126 email websize
browser.visit(url)
#wait web element loading
time.sleep(5)
#fill in account and password
browser.find_by_id('idInput').fill('xxxxxx')
browser.find_by_id('pwdInput').fill('xxxxx')
#click the button of login
browser.find_by_id('loginBtn').click()
time.sleep(8)
#close the window of brower
browser.quit()
if __name__ == '__main__':
websize = 'https://mail.163.com/'
splinter(websize)
同理可以寫一個(gè)簡單的游戲掛機(jī)腳本，游戲掛機(jī)腳本，無非就是自動(dòng)移動(dòng)鼠標(biāo)，自動(dòng)點(diǎn)擊，進(jìn)行重復(fù)操作，所以，第一步就是如何控制鼠標(biāo)。
import win32api
import time
def move_click(x, y, t=0): # 移動(dòng)鼠標(biāo)并點(diǎn)擊左鍵
win32api.SetCursorPos((x, y)) # 設(shè)置鼠標(biāo)位置(x, y)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN |
win32con.MOUSEEVENTF_LEFTUP, x, y, 0, 0) # 點(diǎn)擊鼠標(biāo)左鍵
if t == 0:
time.sleep(random.random()*2+1) # sleep一下
else:
time.sleep(t)
return 0
#測試
move_click(30, 30)
def resolution(): # 獲取屏幕分辨率
return win32api.GetSystemMetrics(0), win32api.GetSystemMetrics(1)
值得注意的是，一定要在管理員權(quán)限下的cmd中運(yùn)行，否則點(diǎn)擊無效。
這個(gè)時(shí)候，你已經(jīng)可以寫個(gè)循環(huán)，不停地點(diǎn)擊屏幕上不同的幾個(gè)點(diǎn)，最基礎(chǔ)的掛機(jī)腳本就實(shí)現(xiàn)了。
不是在犯罪的道路上越走越遠(yuǎn)，就是在成長的道路上越走越遠(yuǎn) 更高級(jí)的游戲外掛：https://github.com/JamesRaynor67/jump
Excel自動(dòng)化處理
Excel合并
在實(shí)際應(yīng)用中可能會(huì)有不同月份的數(shù)據(jù)或者不同周的報(bào)告等等的Excel數(shù)據(jù)，都是單個(gè)獨(dú)立的文件，如果想要整體使用的話就需要合并一下，那么如何利用python把指定目錄下的所有Excel數(shù)據(jù)合并成一個(gè)文件呢？
思路：利用python xlrd包讀取excle文件，然后將文件內(nèi)容存入一個(gè)列表中，再利用xlsxwriter將內(nèi)容寫入到一個(gè)新的excel文件中。
#-*- coding: utf-8 -*-
#將多個(gè)Excel文件合并成一個(gè)
import xlrd
import xlsxwriter
#獲取excel中所有的sheet表
def getsheet(fh):
return fh.sheets()
#獲取sheet表的行數(shù)
def getnrows(fh,sheet):
table=fh.sheets()[sheet]
return table.nrows
#讀取文件內(nèi)容并返回行內(nèi)容
def getFilect(file,shnum):
fh=open_xls(file)
table=fh.sheets()[shnum]
num=table.nrows
for row in range(num):
rdata=table.row_values(row)
datavalue.append(rdata)
return datavalue
或者直接用concat+一個(gè)循環(huán)來實(shí)現(xiàn)：
for i in var_list:
df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息']
df_0['month'] = date_replace(i)
df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']]
li.append(df_0)
writer = pd.ExcelWriter(r'C:\Users\mapping.xlsx')
df = pd.concat(li)
df.to_excel(writer,'Sheet1',index=False,header = None)
Excel中添加數(shù)據(jù)圖表
整理好excel文件后下一步需要做的是處理文件里的數(shù)據(jù)，根據(jù)數(shù)據(jù)來生成一些自己需要的圖表：
import xlsxwriter
#設(shè)置一個(gè)例子
data = [20, 45, 26, 18, 45]
#創(chuàng)建表格
workbook = xlsxwriter.Workbook("temp.xlsx")
worksheet = workbook.add_worksheet("data")
#添加數(shù)據(jù)
worksheet.write_column('A1', data)
#創(chuàng)建圖表
chart = workbook.add_chart({<!-- -->'type': 'line'})
#圖表添加數(shù)據(jù)
chart.add_series({<!-- -->
'values': '=data!$A1:$A6',
'name': '圖表名稱',
'marker': {<!-- -->
'type': 'circle',
'size': 8,
'border': {<!-- -->'color': 'black'},
'fill': {<!-- -->'color': 'red'}
} ,
'data_labels': {<!-- -->'values': True},
'trendline': {<!-- -->
'type': 'polynomial',
'order': 2,
'name': '趨勢線',
'forward': 0.5,
'backward': 0.5,
'display_equation':True,
'line': {<!-- -->'color': 'red', 'width':1, 'dash_type': 'long_dash'}
}
})
worksheet.insert_chart('c1', chart)
workbook.close()
實(shí)現(xiàn)效果：
這部分圖文來自網(wǎng)絡(luò)，侵刪。
word關(guān)鍵信息提取
假設(shè)你收到1萬份簡歷，你想先根據(jù)學(xué)校做一些篩選，這時(shí)候利用python將大量的簡歷進(jìn)行信息匯總，只提取關(guān)鍵信息用excel查看起來更加方便。
docx文件自己本身是壓縮文件，打開壓縮包之后竟然發(fā)現(xiàn)里面有個(gè)專門存儲(chǔ)word里面文本的文件。那么步驟就變得簡單了：
-
打開docx的壓縮包1. 獲取word里面的正文信息1. 利用正則表達(dá)式匹配出我們想要的信息1. 將信息存儲(chǔ)到txt中（txt可以用excel打開）1. 批量調(diào)用上述過程，完成一萬份簡歷的提取工作 利用正則匹配獲取關(guān)鍵信息：
import re
def get_field_value(text):
value_list = []
m = re.findall(r"姓 名(.*?)性 別", table)
value_list.append(m)
m = re.findall(r"性 別(.*?)學(xué) 歷", table)
value_list.append(m)
m = re.findall(r"民 族(.*?)健康狀況", table)
value_list.append(m)
'''
此處省略其他字段匹配
'''
return value_list
后臺(tái)回復(fù)簡歷獲取完整代碼，參考資料：https://blog.csdn.net/geoker/article/details/80149463
自動(dòng)化運(yùn)營監(jiān)控
在平時(shí)的工作中，一定會(huì)有對(duì)運(yùn)營情況的監(jiān)控，假設(shè)你管理一家店鋪，那么一些關(guān)鍵指標(biāo)肯定是你需要每天查看到的，比如店鋪訪問數(shù)，商品瀏覽數(shù)，下單數(shù)等等，這個(gè)時(shí)候不用每天重復(fù)地去統(tǒng)計(jì)這些數(shù)據(jù)，這需要寫一個(gè)自動(dòng)化程序，每天將數(shù)據(jù)保存在固定的文件夾下就可以實(shí)現(xiàn)報(bào)表的實(shí)時(shí)監(jiān)控。
如果你的數(shù)據(jù)來源是線下文件：那么可以利用python操作線下文件將其載入數(shù)據(jù)庫 然后通過數(shù)據(jù)庫對(duì)數(shù)據(jù)進(jìn)行處理 再利用python輸出結(jié)果
from impala.dbapi import connect
from impala.util import as_pandas
import datetime
conn = connect(host='host',port=21050,auth_mechanism='PLAIN',user='user',password='password')
#host：數(shù)據(jù)庫域名
#user：數(shù)據(jù)庫用戶名
#password：數(shù)據(jù)庫密碼
df_data = pd.read_excel('temp.xlsx')
rows =[]
for index, row in df_data.iterrows():
rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+',')
a= '''
INSERT into table
(case_id, birth_date)
values '''
for i in rows:
a += i
a = a[:-1]
cursor1 = conn.cursor()
cursor1.execute(a)
cursor1.close()
conn.close()
print('成功導(dǎo)入數(shù)據(jù)至數(shù)據(jù)庫...')
del a
del rows
如果你的數(shù)據(jù)來源是線上文件（存在數(shù)據(jù)庫） 那可以直接利用python鏈接數(shù)據(jù)庫進(jìn)行一些列的操作 然后導(dǎo)出你所需要的結(jié)果
import sql #sql是封裝的sql文件
sql_end = sql.sql_end
cursor1 = conn.cursor()
for i in sql_end.split(';'):
print(i)
cursor1.execute(i)
cursor1.close()
conn.close()
print('程序運(yùn)行結(jié)束，請(qǐng)執(zhí)行下一步。')
python連接數(shù)據(jù)庫：https://blog.csdn.net/weixin_42213622/article/details/86523400
自動(dòng)發(fā)送郵件
使用Python實(shí)現(xiàn)自動(dòng)化郵件發(fā)送，可以讓你擺脫繁瑣的重復(fù)性業(yè)務(wù)，節(jié)省非常多的時(shí)間。數(shù)據(jù)分析師經(jīng)常會(huì)遇到一些取數(shù)需求，有些數(shù)據(jù)需求是每天都需要的，有些數(shù)據(jù)需求是每周一次的。對(duì)于這些周期性的數(shù)據(jù)需求，每次都重復(fù)性地手動(dòng)導(dǎo)出這些數(shù)據(jù)，并回傳給需求方，是很繁瑣且浪費(fèi)時(shí)間的。所以完全可以設(shè)置自動(dòng)郵件來解決。"Talk is cheap, show you the code" 常見的郵件肯定有三部分：1、正文 2、圖片 3、附件 OK 導(dǎo)入我們需要用到的包
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.image import MIMEImage
import smtplib
msg = MIMEMultipart()
在郵件中插入正文：
##在郵件中插入文本信息
df_text='''<html>
<body>
<p> Hi all ，</p>
<p> 這是一個(gè)測試郵件，詳情請(qǐng)參考附件 </p>
<p> 情況如下圖： </p>
</body></html>'''
msgtext = MIMEText(df_text, 'html', 'utf-8')
msg.attach(msgtext)
如果你需要插入圖片，利用同樣的方法，在郵件中插入圖片：
##在郵件中插入圖片信息
image = open('temp.jpg','rb')
msgimage = MIMEImage(image.read())
msg.attach(msgimage)
在郵件中插入附件：
##在郵件添加附件
msgfile = MIMEText(open('temp.xlsx', 'rb').read(), 'base64', 'utf-8')
msgfile["Content-Disposition"] = 'attachment; filename="temp.xlsx"'
msg.attach(msgfile)
剩下的就是設(shè)置一些郵件參數(shù)來發(fā)送郵件：
#設(shè)置郵件信息常量
email_host= '' # 服務(wù)器地址
sender = '' # 發(fā)件人
password ='' # 密碼，如果是授權(quán)碼就填授權(quán)碼
receiver = '' # 收件人
發(fā)送郵件：
try:
smtp = smtplib.SMTP(host=email_host)
smtp.connect(email_host)
smtp.starttls()
smtp.login(sender, password)
smtp.sendmail(sender, receiver.split(',') , msg.as_string())
smtp.quit()
print('發(fā)送成功')
except Exception:
print('發(fā)送失敗')
然后將你的任務(wù)設(shè)置定時(shí)執(zhí)行就可以輕松實(shí)現(xiàn)啦
實(shí)現(xiàn)效果：
平時(shí)的工作中，真的有太多可以去自動(dòng)化的任務(wù)，
由于經(jīng)驗(yàn)受限這里不能一一舉例說明，只能盡量分享一些我遇到過或者聽說過的例子。
希望大家都越來越高效，邊偷懶邊完成工作~
大家如果有特別想要了解或者實(shí)現(xiàn)的功能，在文末留言或者私信，我可以針對(duì)一個(gè)點(diǎn)寫得更詳細(xì)，將完整實(shí)現(xiàn)方式分享給大家。
建議收藏，不定時(shí)更新更完善的功能。 如果你喜歡的話，分享出來讓更多的人看到~
Python“寶藏級(jí)”公眾號(hào)【Python之王】專注于Python領(lǐng)域，會(huì)爬蟲，數(shù)分，C++，tensorflow和Pytorch等等。
近 2年共原創(chuàng) 100+ 篇技術(shù)文章。創(chuàng)作的精品文章系列有：
日常收集整理了一批不錯(cuò)的 Python 學(xué)習(xí)資料，有需要的小伙可以自行免費(fèi)領(lǐng)取。
獲取方式如下：公眾號(hào)回復(fù)資料。領(lǐng)取Python等系列筆記，項(xiàng)目，書籍，直接套上模板就可以用了。資料包含算法、python、算法小抄、力扣刷題手冊(cè)和 C++ 等學(xué)習(xí)資料！