在我們平常使用Python進(jìn)行數(shù)據(jù)處理與分析時(shí)，在import完一大堆庫之后，就是對(duì)數(shù)據(jù)進(jìn)行預(yù)覽，查看數(shù)據(jù)是否出現(xiàn)了缺失值、重復(fù)值等異常情況，并進(jìn)行處理。

本文將結(jié)合GUI工具PySimpleGUI，來講解如何制作一款屬于自己的數(shù)據(jù)預(yù)處理小工具，讓這個(gè)過程也能夠自動(dòng)化！最終效果如下

本文將分為三部分講解：

制作GUI界面
數(shù)據(jù)處理講解
打包與測(cè)試

主要涉及將涉及以下模塊：

PySimpleGUI
pandas
matplotlib

一、GUI界面制作

思路

老規(guī)矩，先講思路再上代碼，首先還是說一下，使用PySimpleGUI還是那四個(gè)流程??

“
引入模塊==>創(chuàng)建元素并填充layout==> 創(chuàng)建窗體 ==>創(chuàng)建事件循環(huán)
”

從元素看，從圖中可以知道我們需要的元素有使用說明這個(gè)菜單欄、看上去是凹下去的數(shù)據(jù)預(yù)處理框、框內(nèi)的3個(gè)單選項(xiàng)值、讀取文件路徑的3個(gè)元素(固定文本、輸入文本、瀏覽按鈕)、"查看、處理、關(guān)閉"三個(gè)按鈕。

從總體看，整個(gè)窗體中我們需要所有的元素呈現(xiàn)正中間的分布狀態(tài)。其中菜單欄在窗體邊緣靠左分布。采用行銜接式的總分布。

從事件上看，我們需要在使用說明菜單中加上使用者需要的注意事項(xiàng)。而文件讀取位置我們?cè)O(shè)置我們常用的2種數(shù)據(jù)存儲(chǔ)格式(“.xlsx”，“.xls”)的Excel格式。

讀取后，我們?cè)跀?shù)據(jù)預(yù)處理框架選擇一種處理。接著，我們可以對(duì)每一種錯(cuò)誤進(jìn)行彈出框查看，查看完之后對(duì)數(shù)據(jù)做最終處理。

處理的過程需要將處理好的數(shù)據(jù)覆蓋原來的數(shù)據(jù)文件。整個(gè)過程必須是持續(xù)不間斷的。這里說個(gè)tips：每次數(shù)據(jù)分析之前最好做一個(gè)備份，防止分析過程中失敗但是又找不到原來數(shù)據(jù)文件的尷尬。

代碼

看望思路后是不是有種蠢蠢欲動(dòng)的感覺？！我們來實(shí)現(xiàn)一波，先看完整代碼，后面詳細(xì)拆解

import?PySimpleGUI?as?sg
import?pandas?as?pd
import?matplotlib
matplotlib.use("TkAgg")
sg.ChangeLookAndFeel('GreenTan')
menu_def?=?[['&使用說明',?['&注意']]]
layout?=?[
????[sg.Menu(menu_def,?tearoff=True)],
????[sg.Frame(layout=[
????[sg.Radio('重復(fù)值處理',?"RADIO1",size=(15,1),key="dup"),??sg.Radio('缺失值處理',?"RADIO1",size=(15,1),key="mis"),?sg.Radio('異常值處理',?"RADIO1",default=True,key="war")]],?title='數(shù)據(jù)預(yù)處理',title_color='green',title_location='n',relief=sg.RELIEF_SUNKEN,?tooltip='選擇其中一種處理方式'?)],
????[sg.Text('文件位置',?size=(8,?1),?auto_size_text=False,?justification='right'),
?????sg.InputText(enable_events=True,key="lujing"),?sg.Button('瀏覽',key?=?'getf')],
????[sg.Button('查看',key?=?'look'),sg.Submit('處理',key?=?'handle'),?sg.Cancel('關(guān)閉')]]

window?=?sg.Window('特征工程',?layout,?default_element_size=(40,?1),?grab_anywhere=False)
while?True:
????event,?values?=?window.read()
????if?event?==?'getf':
????????text?=?sg.popup_get_file('請(qǐng)點(diǎn)擊瀏覽鍵或自行填入文件絕對(duì)路徑',title?=?'獲取件',file_types?=?(("Excel?Files",?"*.xlsx"),("Excel?Files",?"*.xls"),))
????????sg.popup('提示',?'是否確認(rèn)選擇文件---',?text)
????????window['lujing'].update(text)???
????if?event?==?"look":
??'''
??用戶點(diǎn)擊查看按鈕促發(fā)的事件
??'''
????if?event?==?"handle":
??'''
??用戶點(diǎn)擊處理按鈕促發(fā)的事件
??'''???????
????if?event?==?"Cancel"?or?event?==?sg.WIN_CLOSED:
????????break????
????if?event?==?"注意":
??'''
??注意事項(xiàng)編寫
??'''

代碼解釋

其實(shí)有了思路后，你就會(huì)發(fā)現(xiàn)似乎一切都變得簡(jiǎn)單了。接下來講解相關(guān)參數(shù)的作用。

首先是matplotlib.use("TkAgg")：使用matplotlib模塊并且調(diào)用這個(gè)函數(shù)的目的是在我們進(jìn)行查看異常值處理(箱型圖展示)所用到，是改變圖像顯示的方式：TkAgg(一個(gè)交互式后臺(tái))。

所謂交互式后臺(tái)就是你可以對(duì)圖像進(jìn)行任意操作，區(qū)域放大縮小、值查看等功能。

之所以調(diào)用這個(gè)函數(shù)首先是因?yàn)槲覀兪褂玫氖荊UI是要有那種交互的感覺的，其次是如果數(shù)據(jù)量較大時(shí)，箱型圖會(huì)很小，這樣子可以利于查看。

其次sg.ChangeLookAndFeel('GreenTan')：改變窗體顏色。

那么menu_def就是菜單欄，使用【“”,【“”】】這種格式來定義主菜單欄和子菜單欄。tearoff這個(gè)函數(shù)是加一條可愛的虛線間隔每個(gè)字段。

sg.Frame()：這個(gè)和sg.columns()元素的用法是一樣的，主要是用來多個(gè)子元素的，我們這里設(shè)置了relief參數(shù)來讓整個(gè)框架在觀感上顯得凹形。tooltip參數(shù)是你鼠標(biāo)移動(dòng)框架的位置出現(xiàn)的小提示框。

title_location參數(shù)的用法非常有趣，是標(biāo)題字符串的位置設(shè)置，有(n，s，e，w，se等)，你很快會(huì)發(fā)現(xiàn)這個(gè)位置和其他元素布局位置設(shè)置不一樣，他是以地理位置坐標(biāo)做子參數(shù)的。

sg.Radio：?jiǎn)芜x選項(xiàng)框，要將所有的單選選項(xiàng)框的子參數(shù)group_id都設(shè)成一樣的，這樣你才能三個(gè)選項(xiàng)中選一個(gè)，這里我們以"RADIO1"為group_id。

sg.Button()：整個(gè)GUI中我們使用了4個(gè)按鈕，其中有一個(gè)專有的按鈕Cancel。

sg.popup()：比較初級(jí)的彈出框，顯示提示類的關(guān)鍵信息所用到。

sg.popup_get_file()：這是一個(gè)高級(jí)的彈出框元素，是從帶有文本輸入字段和瀏覽按鈕的彈出窗口，以便用戶選擇文件。效果如下

二、數(shù)據(jù)預(yù)處理

GUI部分搞定后，接著我們講解數(shù)據(jù)處理部分，主要是針對(duì)重復(fù)值、缺失值和異常值。

數(shù)據(jù)準(zhǔn)備

我們這里用到的是2020年10月28日A股的行情。數(shù)據(jù)部分展示：

我們可以看到這里面有重復(fù)的行、有缺失值的地方。

重復(fù)值處理

對(duì)于二維列表DataFrame來講使用Pandas模塊是最方便最象征辦公簡(jiǎn)潔化的模塊

import?pandas?as?pd
df?=?df.read_excel('文件絕對(duì)路徑')
imfor?=?df[df.duplicated()]
imfor?=?str(imfor)

首先調(diào)用Pandas模塊并讀取文件路徑，這里我們采取絕對(duì)路徑而不采取相對(duì)路徑的原因是我們之后打包的GUI是不依靠文件的靠Python自帶的環(huán)境，所以相對(duì)路徑讀取是無法識(shí)別的。

df[df.duplicated()]這個(gè)Pandas內(nèi)的函數(shù)是以二維列表形式來打印重復(fù)值對(duì)應(yīng)的行。這里把df變量變?yōu)閟tr字符串形式是因?yàn)槲覀冊(cè)诤髞鞧UI中使用彈出窗口的元素時(shí)要以字符串形式加載。

最終處理重復(fù)值的方法如下：

df?=?df.drop_duplicates(inplace?=?True)

代碼只有一行，卻能做到將整個(gè)數(shù)據(jù)表中的重復(fù)值都刪除，說明Pandas函數(shù)的強(qiáng)大。

至于為什么用inplace = True，是因?yàn)閯h除函數(shù)不并不能改變?cè)砀窠Y(jié)構(gòu)，所以需要將新表覆蓋原來的表格。

缺失值處理

先看代碼，其實(shí)在之前有關(guān)缺失值處理我在一年前就寫過相關(guān)文章點(diǎn)擊查看

import?pandas?as?pd
df?=?df.read_excel('文件絕對(duì)路徑')
#df.isnull()
imfor1?=?df.isnull().sum()
#df.isnull().any()
imfor1?=?str(imfor1)

對(duì)于有缺失值的的數(shù)據(jù)表來說，df.isnull()或者df.isna()來查看空值。這個(gè)函數(shù)的作用時(shí)判斷是否為空值，若是為空值則賦予True，否則賦予False。

這里我們使用df.isnull().sum()來統(tǒng)計(jì)每一列字段的缺失值數(shù)量。如果數(shù)據(jù)量大的話，還可以使用df.isnull().any()來查看只有缺失值的行。

解決方法，處理缺失值的方法有很多種，取均值、取中位數(shù)、刪除、取下方的值等。我們這里用取上方值的方法來填補(bǔ)。

df?=?df.fillna(method='pad')

異常值處理

所謂異常值，就是在一個(gè)數(shù)字字段里出現(xiàn)一個(gè)或多個(gè)不合群得數(shù)字。舉個(gè)例子，在一列都為個(gè)位數(shù)得數(shù)字列中出現(xiàn)了一個(gè)百位數(shù)的數(shù)字，這個(gè)百位數(shù)就是異常值。

用Python檢測(cè)異常值有兩種：箱線圖圖觀察和標(biāo)準(zhǔn)差觀察。這里我們選則箱體圖觀察。

箱線圖是用于顯示所選數(shù)據(jù)分散情況的統(tǒng)計(jì)圖，通過設(shè)定標(biāo)準(zhǔn)，將大于或小于箱體圖上下線的數(shù)值表示為異常點(diǎn)。

如圖，下四分分位數(shù)指的是樣本中有百分之25的數(shù)據(jù)小于這個(gè)數(shù)，記為。上四分分位數(shù)指的是樣本中有百分之25大于這個(gè)數(shù)，記為。上四分位數(shù)和下四分位數(shù)的差值的1.5倍加上上四分位數(shù)就是上邊緣，反之為下邊緣。