利用SQL對數(shù)據(jù)進行清洗處理

獲取數(shù)據(jù)后，對數(shù)據(jù)的清洗工作必不可少，常用的數(shù)據(jù)清洗方法主要有缺失值填充、數(shù)值替換、數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)分列、重復值處理等，清洗的數(shù)據(jù)結(jié)果直接影響最后數(shù)據(jù)分析的結(jié)果，一個成熟的數(shù)據(jù)分析師，在日常工作中絕大多數(shù)時間都在數(shù)據(jù)清洗，下面一起學習。

缺失值處理，可以使用均值、線性插值等方法進行填充，這里使用均值來作為填充值填充，首先計算分數(shù)的平均值，然后篩選分數(shù)為空的行，使用UPDATE函數(shù)將空值填充為平均值。

#計算score列的均值SELECT AVG(score) AS avg_score FROM score;

#使用均值填充空值UPDATE score SET score=74 WHERE score is null;select * from score;

清理字符中的空格，使用的是TRIM函數(shù)，并且用UPDATE函數(shù)更新表格。

#清理字符中的空格UPDATE course SET Cname=TRIM(Cname);select * from course;

REPLACE函數(shù)可以對字符進行替換，類似于EXCEL的替換功能。

#修改和替換UPDATE courseSET Cname=REPLACE(Cname,'語文','語文-A');select * from course;

小寫轉(zhuǎn)換可以用LOWER函數(shù)，大寫轉(zhuǎn)換可以用UPER函數(shù)，這里使用LOWER函數(shù)將大寫A轉(zhuǎn)換為小寫a。

#大小寫轉(zhuǎn)換UPDATE courseSET Cname=LOWER(Cname);select * from course;

數(shù)據(jù)類型轉(zhuǎn)換用CONVERT函數(shù)，括號中第一個寫要轉(zhuǎn)換類型的值，第二個寫要轉(zhuǎn)換成的數(shù)據(jù)類型，此處將出生日期轉(zhuǎn)換為日期類型。

SELECT Sname,CONVERT(Sage,date) as '出生日期' FROM student;

數(shù)據(jù)分列與EXCEL的功能相似，這里使用到的函數(shù)是SUBSTRING_INDEX，這里將"語文-A"，分列成科目 語文 與評級為 A 兩部分。

#數(shù)據(jù)分列SELECTSUBSTRING_INDEX(cname,'-',1) AS '科目',SUBSTRING_INDEX(cname,'-',-1) AS '評級'FROM course;

分列后的數(shù)據(jù)可以通過更新增加在原數(shù)據(jù)表中，下面是具體的代碼。

#數(shù)據(jù)分列（改表），添加兩個空字段ALTER TABLE course  ADD (col1 VARCHAR(255),col2 VARCHAR(255));SELECT * FROM course;

#更新分列后的字段內(nèi)容UPDATE course SET col1 = SUBSTRING_INDEX(cname,'-',1),col2 =SUBSTRING_INDEX(cname,'-',-1);SELECT * FROM course;

重復值的處理使用到DISTINCT函數(shù)，也可以使用數(shù)據(jù)分組功能，實現(xiàn)將某個字段去除重復值的功能。

#重復值SELECT DISTINCT CId,Cname FROM course;

點分享

點收藏

點點贊

點在看