手把手使用 python 刪除 windows 下的長路徑文件
回復“書籍”即可獲贈Python從入門到進階共10本電子書
大家好，我是張三。
0x01 文章背景
近期，筆者所在公司的某業(yè)務系統(tǒng)的存儲臨近極限，服務器馬上就要跑不動了，由于該業(yè)務系統(tǒng)A包含多個子系統(tǒng)A1、A2、A3 ... An，這些子系統(tǒng)的中間存儲文件由于設計原因，都存儲在同一個父級目錄之內(nèi)，唯一不同的是，不同子系統(tǒng)產(chǎn)生的文件和文件夾的名字都以該子系統(tǒng)名開始。如A1子系統(tǒng)產(chǎn)生的文件命名方式均為A1xxxxxx, A2子系統(tǒng)產(chǎn)生的文件名均為A2xxxxx。現(xiàn)在要刪除其中一些子系統(tǒng)的歷史文件，以釋放服務器空間，幾十T的數(shù)據(jù)，存放在一起，手動刪除肯定不顯示，只能借助程序自動化實現(xiàn)了，使用什么呢？自然想到了python。其實單純刪文件這一個需求我認為不值得長篇闊論，但是其中遇到了一些特殊有趣的問題和一些有意思的解決方案，所以想與諸位分享一下，比如windows系統(tǒng)下的超長文件刪除, 如從閱讀官方英文文檔尋找解決方案等等，下面進入正題。
0x02 使用 python 刪除文件
使用python刪除文件有很多方式，最直接也是最方便的方式就是調用內(nèi)建函數(shù)：
os.remove()刪除文件os.rmdir()刪除一個空文件夾shutil.rmtree()刪除一個文件夾及該文件夾下所有內(nèi)容（包括子目錄及文件）
也就是，此問題的的解決方案，核心就是圍繞上述三個函數(shù)打交道。轉到我們遇到的問題，業(yè)務系統(tǒng)A包含多個子系統(tǒng)A1、A2、A3 ... An，這些子系統(tǒng)的中間存儲文件由于設計原因，都存儲在同一個父級目錄之內(nèi)，唯一不同的是，不同子系統(tǒng)產(chǎn)生的文件和文件夾的名字都以該子系統(tǒng)名開始。如A1子系統(tǒng)產(chǎn)生的文件命名方式均為A1xxxxxx, A2子系統(tǒng)產(chǎn)生的文件名均為A2xxxxx，現(xiàn)在的目的就是要在該刪除指定子系統(tǒng)所產(chǎn)生的文件，保留其他子系統(tǒng)的文件。
將需求拆解下，實際上就是解決下列4個問題：1、怎么刪除一個文件？2、怎樣識別一個文件或文件夾是某個子系統(tǒng)產(chǎn)生的？3、如何判斷一個路徑是文件還是目錄？4、如何定位所有指定的子系統(tǒng)產(chǎn)生的文件和文件夾？
對于問題1， 在本節(jié)開始就闡述過，使用 python 的內(nèi)建函數(shù)進行刪除即可:
os.remove("path") # 刪除指定文件
os.rmdir("path") # 刪除一個空文件夾
shutil.rmtree("path") # 刪除一個文件夾及該文件夾下所有內(nèi)容（包括子目錄及文件）
對于問題2，由于特定子系統(tǒng)產(chǎn)生的文件和文件夾的命名方式都是固定的模式，如A1子系統(tǒng)產(chǎn)生的文件名均為A1xxxxx，故可通過關鍵字匹配的方式進行識別。一種可能的方式為：
if keywords in filepath: # 如果文件名包含關鍵字keywords
os.remove(filepath) # 刪除文件
else:
pass
對于問題3，由于刪除目錄和刪除文件的方式不一致，故需要在刪除前判斷一個路徑是目錄還是文件，根據(jù)其類型選擇合適的刪除方式，這個在 python 中可以使用 **os.path.isdir()**之類的函數(shù)進行判斷，主要是下列函數(shù)：
os.path.isdir("path") # 返回true則為目錄，false則為文件
os.path.isfile("path") # 返回true則為文件，false則為目錄
對于問題4，如何定位所有要刪除的文件，這個問題實際上就是一個指定目錄文件遍歷的問題，即如何遍歷一個指定目錄的所有文件夾及文件。對于這個問題，一般有兩種解決方案，一是深度優(yōu)先遍歷方式，一是廣度優(yōu)先遍歷方式，兩種方式在本例中效率是一致的，因為我們最終都要遍歷所有的文件。另外，幸運的是，python實在是過于強大，其內(nèi)建的函數(shù)已經(jīng)幫助我們實現(xiàn)了一個廣度優(yōu)先目錄遍歷方法，及 os.walk("path") 方法，該方法就是遍歷 path 目錄下的所有文件及文件夾，一個典型的用法如下:
import os
path = "C:\\A\\"
for root, dirs, files in os.walk(path):
print(root)
print(dirs)
print(files)
上例中，root 代表當前遍歷到的路徑，dirs 表示當前路徑下所有的子目錄， files 表示當前路徑下的所有子文件。通過這種方式就能全部遍歷指定目錄了。
問題都分解開了，下面將問題組合一下就完成代碼實現(xiàn).
最終的代碼實現(xiàn)為：
import os
import shutil
path = "C:\\A\\"
keyword = "A1"
for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("刪除文件夾: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("刪除文件: %s" % rmpath)
os.remove(rmpath)
即通過廣度優(yōu)先方式(os.walk())遍歷指定目錄，逐個判斷該目錄下所有子目錄和文件是否滿足關鍵字條件，滿足就刪除。
運行效果為：
看似需求到此基本上就很好的解決了，但是實際測試中發(fā)現(xiàn)有的很深的目錄卻沒有刪除，刪除該目錄時報了一個錯，錯誤描述如下：
Unexpected error: (< type 'exceptions.WindowsError'>, WindowsError(3, 'The system cannot find the path specified'), < traceback object at 0x0000000002714F88>)
大致意思就是python找不到這個路徑，可是為什么呢？為此，我繼續(xù)進行一番資料查詢，后來大致定位了是由于文件路徑過長導致的，是由于windows系統(tǒng)用戶態(tài)的默認路徑長度不能超過256個字節(jié)導致的。但是官方說256個字節(jié)是最長，但為何能創(chuàng)建超過256的呢，所以既然能創(chuàng)建，那就一定能刪除，但是需要一些方法，經(jīng)過一番學習，找到了好幾種方法，下面介紹其中一種最為實用的方法，另外幾個比如使用壓縮軟件壓縮后刪除（百度知道的結果）適合手動但不適合編程解決。這個方法在下一節(jié)中繼續(xù)講述。
0x03 windows 文件系統(tǒng)關于長路徑文件的相關定義
為解決windows下的長文件刪除的問題，最為權威的資料莫過于windows官方的描述，我閱讀了微軟關于文件名長度的這一塊的定義及說明，找到解決方案，微軟的原文如下：
關鍵意思如下：1、Windows API 提供的文件路徑理論上最長是 32767 個字節(jié)，普通狀態(tài)下給用戶使用是不超過256個字符，說是為了使用戶操作更加方便。這里不得不吐槽一下了，確實操作方便了，但是方便的同時也可能帶來不便，明明定義了32767這么長的字節(jié)，只給用256，未免太摳搜了一點
2、用戶如果想要打破這個長度限制，可以通過一個特殊方式告訴windows系統(tǒng)自己想要使用超長文件，這個特殊的方式就是在絕對路徑前加上** "\?" **字符串。
3、這篇文檔后面還有描述在windows10以后如何通過注冊表的方式接觸文件名長度限制，這里就沒有截圖了，因為不通用，win7怎么辦呢？有興趣的同學可以查看其原文鏈接閱讀：https://docs.microsoft.com/en-US/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd
好了，看到這，解決方法呼之欲出，其實簡單得不能太簡單，直接在絕對路徑前加上一個"\?"即可：
# 獲取目標路徑的絕對路徑，并在路徑前加上\\?\，
# 以解除windows的文件長度限制
path = '\\\\?\\' + os.path.abspath(path)
0x04 改造 python 程序，刪除長路徑文件
根據(jù)上一節(jié)，對python程序進一步進行改造，加入windows長文件名限制解除，最后的完美刪除工具就成型了:
import os
import shutil
path = "C:\\A\\"
keyword = "A1"
# 獲取目標路徑的絕對路徑，并在路徑前加上\\?\，
# 以解除windows的文件長度限制
path = '\\\\?\\' + os.path.abspath(path)
for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("刪除文件夾: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("刪除文件: %s" % rmpath)
os.remove(rmpath)
雖然代碼很短，只添加了一行，但是這一行，卻完成了一個超級核心的任務，真可謂是靈魂一行啊，最后該工具中如在生產(chǎn)環(huán)境中發(fā)揮了其出色的作用，使服務器繼續(xù)運轉如飛了。
0x04 總結思考
啰嗦的話就不多說了，說幾點思考
1、遇到問題將問題進行分解，拆分成一個個小問題逐步擊破
2、要善于閱讀官方技術文檔，有時候解決一個問題的核心可能很簡單，代碼可能也就一行兩行，但是就是藏在某個角落，不仔細去閱讀還真不一定找得出來
3、python是個好東西，要有將問題轉化成使用python去解決的習慣，習慣成自然，python可能在工作中就發(fā)揮大作用了呢。
0x05 參考資料
1、https://docs.microsoft.com/en-US/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd2、https://stackoverflow.com/questions/6996603/how-to-delete-a-file-or-folder-in-python
小伙伴們，快快用實踐一下吧！如果在學習過程中，有遇到任何問題，歡迎加我好友，我拉你進Python學習交流群共同探討學習。
------------------- End -------------------
往期精彩文章推薦：
補充篇：盤點6種使用Python批量合并同一文件夾內(nèi)所有子文件夾下的Excel文件內(nèi)所有Sheet數(shù)據(jù)
盤點4種使用Python批量合并同一文件夾內(nèi)所有子文件夾下的Excel文件內(nèi)所有Sheet數(shù)據(jù)
歡迎大家點贊，留言，轉發(fā)，轉載，感謝大家的相伴與支持
想加入Python學習群請在后臺回復【入群】
萬水千山總是情，點個【在看】行不行
/今日留言主題/
隨便說一兩句吧~~