實戰(zhàn)｜教你用Python制作一款帶有界面的NBA爬蟲小程序

有時將代碼轉(zhuǎn)成帶有界面的程序，會極大的方便使用，雖然在網(wǎng)上有很多現(xiàn)成的GUI系統(tǒng)，但是套用別人的代碼，心里難免有些尷尬，所以本文將用Python爬蟲結(jié)合wxpython模塊構(gòu)造一個NBA爬蟲小軟件，演示效果如下

本文框架構(gòu)造將分為二個部分講解：

1. 構(gòu)建GUI界面
2. 舉例套用爬蟲框架

主要涉及的Python模塊有

• requests
• wx
• pymysql
• pandas

首先介紹下流程：GUI界面設(shè)計講解插入界面背景圖片

設(shè)計GUI界面的代碼思路其實很簡單，首先導入wx庫

#一、引用模塊
import?wx

這里引用的模塊是wxpython模塊，建立GUI的模塊很多，常見的有PyQt、Tkinter等。這些模塊各有各的優(yōu)缺點，讀者可以翻閱相關(guān)資料進行選擇。

#二、定義全局變量(創(chuàng)建面板及布局)
class?MyFrame(wx.Frame):
????def?__init__(self,?parent,?id):
????????wx.Frame.__init__(self,?parent,?id,?'titlename',size=(400,?300))
????????panel?=?wx.Panel(self)
????????self.bt_confirm?=?wx.Button(panel,?label='name1')
????????self.bt_confirm.Bind(wx.EVT_BUTTON,self.OnclickSubmit)
????????self.bt_cancel?=?wx.Button(panel,?label='name2')
????????self.bt_cancel.Bind(wx.EVT_BUTTON,self.OnclickCancel)
????????self.InitUI()

定義全局變量對于初級的GUI來說就是構(gòu)建一個形式窗口+按鈕布置，不需要自建一個模塊。但對于高級的GUI諸如投資系統(tǒng)而言，全局變量是尤為重要的，換句話說全局變量需要放在一個py文件中初始化。

上述代碼是創(chuàng)建部分的代碼，個性化布局需要添加容器進行設(shè)置，稍后會在總代碼中呈現(xiàn)。

#三、調(diào)用局部變量并綁定事件
????def?InitUI(self):
????????"""?點擊InitUI，執(zhí)行方法?"""
????????
????def?OnclickSubmit(self,event):
????????"""?綁定OnclickSubmit事件?"""

簡單來說就是綁定事件，該事件是你點擊對應按鈕產(chǎn)生的效果。這部是整個GUI的核心，如果你在做簽到系統(tǒng)，那么你就要綁定一個導入員工名單txt文件的事件。

#四、GUI執(zhí)行腳本
if?__name__?==?'__main__':
????app?=?wx.App()??????????????????????#?初始化
????frame?=?MyFrame(parent=None,id=-1)???
????frame.Show()????????????????????????
????app.MainLoop()??????????????????????#?調(diào)用主循環(huán)
del?app

第四步的基本套路就是如此。

以一個簡單的NBA爬蟲系統(tǒng)為例，首先創(chuàng)建面板與布局?

class?MyFrame(wx.Frame):
????def?__init__(self,?parent,?id):
????????wx.Frame.__init__(self,?parent,?id,?'NBA可視化',size=(400,?300))
????????panel?=?wx.Panel(self)
????????self.bt_confirm?=?wx.Button(panel,?label='合同信息')
????????self.bt_confirm.Bind(wx.EVT_BUTTON,self.OnclickSubmit)
????????self.bt_cancel?=?wx.Button(panel,?label='清空')
????????self.bt_cancel.Bind(wx.EVT_BUTTON,self.OnclickCancel)
????????self.bt_imf?=?wx.Button(panel,?label='可視化')
????????self.bt_imf.Bind(wx.EVT_BUTTON,self.Onclickvisual)
????????self.bt_team?=?wx.Button(panel,?label='球隊信息',pos=(280,20))
????????self.bt_team.Bind(wx.EVT_BUTTON,self.Onclickteam)
????????self.bt_obtain?=?wx.Button(panel,?label='球員信息',pos=(20,20))
????????self.bt_obtain.Bind(wx.EVT_BUTTON,self.Onclickimfor)
????????self.bt_ml?=?wx.Button(panel,?label='得分榜')
????????self.bt_ml.Bind(wx.EVT_BUTTON,self.Onclickmql)?????
????????self.title?=?wx.StaticText(panel,?label="NBA可視化")
????????self.label_user?=?wx.StaticText(panel,?label="球隊名稱")
????????self.text_user?=?wx.TextCtrl(panel,?style=wx.TE_LEFT)
????????self.label_pwd?=?wx.StaticText(panel,?label="球員名稱")
????????self.text_pwd?=?wx.TextCtrl(panel,?style=wx.TE_LEFT)
????????self.label_path?=?wx.StaticText(panel,?label="儲存路徑")
????????self.text_pathword?=?wx.TextCtrl(panel,?style=wx.TE_LEFT)

然后添加容器，橫向排列

???hsizer_user?=?wx.BoxSizer(wx.HORIZONTAL)
????????hsizer_user.Add(self.label_user,?proportion=0,?flag=wx.ALL,?border=5)
????????hsizer_user.Add(self.text_user,?proportion=1,?flag=wx.ALL,?border=5)
????????hsizer_pwd?=?wx.BoxSizer(wx.HORIZONTAL)
????????hsizer_pwd.Add(self.label_pwd,?proportion=0,?flag=wx.ALL,?border=5)
????????hsizer_pwd.Add(self.text_pwd,?proportion=1,?flag=wx.ALL,?border=5)????????
????????hsizer_path?=?wx.BoxSizer(wx.HORIZONTAL)
????????hsizer_path.Add(self.label_path,?proportion=0,?flag=wx.ALL,?border=5)
????????hsizer_path.Add(self.text_pathword,?proportion=1,?flag=wx.ALL,?border=5)???????
????????hsizer_button?=?wx.BoxSizer(wx.HORIZONTAL)
????????hsizer_button.Add(self.bt_confirm,?proportion=0,?flag=wx.ALIGN_CENTER,?border=5)
????????hsizer_button.Add(self.bt_cancel,?proportion=0,?flag=wx.ALIGN_CENTER,?border=5)
????????hsizer_button.Add(self.bt_imf,?proportion=0,?flag=wx.ALIGN_CENTER,?border=5)
????????hsizer_button.Add(self.bt_ml,?proportion=0,?flag=wx.ALIGN_CENTER,?border=5)???????

接著添加容器，縱向排列

????????vsizer_all?=?wx.BoxSizer(wx.VERTICAL)
????????vsizer_all.Add(self.title,?proportion=0,?flag=wx.BOTTOM?|?wx.TOP?|?wx.ALIGN_CENTER,
????????????????????????border=15)
????????vsizer_all.Add(hsizer_user,?proportion=0,?flag=wx.EXPAND?|?wx.LEFT?|?wx.RIGHT,?border=45)
????????vsizer_all.Add(hsizer_pwd,?proportion=0,?flag=wx.EXPAND?|?wx.LEFT?|?wx.RIGHT,?border=45)
????????vsizer_all.Add(hsizer_path,?proportion=0,?flag=wx.EXPAND?|?wx.LEFT?|?wx.RIGHT,?border=45)??????
????????vsizer_all.Add(hsizer_button,?proportion=0,?flag=wx.ALIGN_CENTER?|?wx.TOP,?border=15)
????????panel.SetSizer(vsizer_all)
????????self.InitUI()

下一步是事件綁定

????def?InitUI(self):
????????"""?點擊使用說明按鈕，執(zhí)行方法?"""????????
????def?OnQuit1(self,e):
????????"""?輸入注意事項?"""
????def?OnclickSubmit(self,event):
????????"""?點擊合同信息按鈕，執(zhí)行方法?"""
????def?Onclickvisual(self,event):
????????"""?點擊可視化按鈕，執(zhí)行方法?"""
????def?OnclickCancel(self,event):
????????"""?點擊清空按鈕，執(zhí)行方法?"""?
????def?Onclickimfor(self,event):
????????"""?點擊球員名稱按鈕，執(zhí)行方法?"""?
????def?Onclickteam(self,event):
????????"""?點擊球隊名稱按鈕，執(zhí)行方法?"""?
????def?Onclickmql(self,event):
????????"""?點擊得分榜按鈕，執(zhí)行方法?"""

這里的事件處理不是很難，讀者可以自己嘗試創(chuàng)新，最后執(zhí)行腳本

if?__name__?==?'__main__':
????app?=?wx.App()??????????????????????#?初始化
????frame?=?MyFrame(parent=None,id=-1)??#?實例MyFrame類，并傳遞參數(shù)?
????frame.Show()????????????????????????#?顯示窗口
????app.MainLoop()??????????????????????#?調(diào)用主循環(huán)方法

效果如圖?

想要構(gòu)造一個個性化系統(tǒng)，最不能缺的就是將界面背景換成自己想要的。這里我選擇用一張老科的圖片。

相信有的讀者會覺得一個獨立的單機的GUI軟件會更適合自己，我也恰恰如此，因此，在設(shè)置背景圖片中于之后的GUI需要進行打包，故需要將指定的二進制圖片base64化，轉(zhuǎn)換后存入py文件后以import為媒介才能打包。二進制代碼轉(zhuǎn)換如下：

import?base64
with?open("name.jpg","rb")?as?f:??
????base64_str?=?base64.b64encode(f.read())??
with?open('%s.py'?%?picture_name.replace('.',?'_'),?'w+')?as?f1:
????f1.write(base64_str)
????f1.close()??

此時可以得到有base64編碼的py文件，而后在代碼中進行引用。由于打包不能打包圖片，故這里稍微復雜的實現(xiàn)“引用指定圖片的base64編碼——創(chuàng)建圖片——插入背景圖片”功能！

最后在再稍加修飾將文本底色改為透明。編寫這段代碼的框架非常固定，所以我借鑒了大神們的代碼，基本代碼框架如下：

#這里需要在主事件中插入兩句話
panel.Bind(wx.EVT_ERASE_BACKGROUND,self.OnEraseBack)
self.Bind(wx.EVT_ERASE_BACKGROUND,?self.OnEraseBack)
#引用編碼并創(chuàng)建圖片
from?bg_png?import?img?as?bg????
def?pic(picPath,picName):
????tmp?=?open(picPath,?'wb')????????
????tmp.write(base64.b64decode(picName))???
????tmp.close()??????
pic('bg.png',bg)
#插入圖片（子事件?有縮進）
????def?OnEraseBack(self,event):
????????'''加入圖片背景'''
????????try?:
????????????dc?=?event.GetDC()
????????????if?not?dc:
????????????????dc?=?wx.ClientDC(self)
????????????????rect?=?self.GetUpdateRegion().GetBox()
????????????????dc.SetClippingRect(rect)
????????????dc.Clear()
????????????bmp?=?wx.Bitmap(nowpath+r'\bg.png')
????????????dc.DrawBitmap(bmp,?-500,?-100)
????????except?:
????????????pass
#將文本底色改為透明
#第一步：將主事件中wx.StaticText全部換成TransparentStaticText
#第二步：重現(xiàn)StaticText控件
class?TransparentStaticText(wx.StaticText):
????def?__init__(self,?parent,?id=wx.ID_ANY,?label='',?pos=wx.DefaultPosition,?size=wx.DefaultSize,
?????????????????style=wx.TRANSPARENT_WINDOW,?name='TransparentStaticText'):
????????wx.StaticText.__init__(self,?parent,?id,?label,?pos,?size,?style,?name)
????????self.Bind(wx.EVT_PAINT,?self.OnPaint)
????????self.Bind(wx.EVT_ERASE_BACKGROUND,?lambda?event:?None)
????????self.Bind(wx.EVT_SIZE,?self.OnSize)
????def?OnPaint(self,?event):
????????bdc?=?wx.PaintDC(self)
????????dc?=?wx.GCDC(bdc)
????????font_face?=?self.GetFont()
????????font_color?=?self.GetForegroundColour()
????????dc.SetFont(font_face)
????????dc.SetTextForeground(font_color)
????????dc.DrawText(self.GetLabel(),?0,?0)
????def?OnSize(self,?event):
????????self.Refresh()
????????event.Skip()

最終效果如圖：注意如果你想打包的話，需要代碼中中引入下面三個模塊：

import?six
import?packaging
import?packaging.version
import?packaging.specifiers
import?packaging.requirements