Python下載文件的11種方式
點擊上方Python知識圈，設(shè)為星標(biāo)
回復(fù)1024獲取Python資料
閱讀文本大概需要 3?分鐘
譯者：天天向上? ??英文原文：
https://dzone.com/articles/simple-examples-of-downloading-files-using-python?
在本教程中，你將學(xué)習(xí)如何使用不同的Python模塊從web下載文件。此外，你將下載常規(guī)文件、web頁面、Amazon S3和其他資源。
最后，你將學(xué)習(xí)如何克服可能遇到的各種挑戰(zhàn)，例如下載重定向的文件、下載大型文件、完成一個多線程下載以及其他策略。
使用Requests
你可以使用requests模塊從一個URL下載文件。
考慮以下代碼:
你只需使用requests模塊的get方法獲取URL，并將結(jié)果存儲到一個名為“myfile”的變量中。然后，將這個變量的內(nèi)容寫入文件。
使用wget
你還可以使用Python的wget模塊從一個URL下載文件。你可以使用pip按以下命令安裝wget模塊:
考慮以下代碼，我們將使用它下載Python的logo圖像。
?
在這段代碼中，URL和路徑(圖像將存儲在其中)被傳遞給wget模塊的download方法。
下載重定向的文件
在本節(jié)中，你將學(xué)習(xí)如何使用requests從一個URL下載文件，該URL會被重定向到另一個帶有一個.pdf文件的URL。該URL看起來如下:
要下載這個pdf文件，請使用以下代碼:
在這段代碼中，我們第一步指定的是URL。然后，我們使用request模塊的get方法來獲取該URL。在get方法中，我們將allow_redirects設(shè)置為True，這將允許URL中的重定向，并且重定向后的內(nèi)容將被分配給變量myfile。
最后，我們打開一個文件來寫入獲取的內(nèi)容。
分塊下載大文件
考慮下面的代碼:
首先，我們像以前一樣使用requests模塊的get方法，但是這一次，我們將把stream屬性設(shè)置為True。
接著，我們在當(dāng)前工作目錄中創(chuàng)建一個名為PythonBook.pdf的文件，并打開它進(jìn)行寫入。
然后，我們指定每次要下載的塊大小。我們已經(jīng)將其設(shè)置為1024字節(jié)，接著遍歷每個塊，并在文件中寫入這些塊，直到塊結(jié)束。
不漂亮嗎?不要擔(dān)心，稍后我們將顯示一個下載過程的進(jìn)度條。
下載多個文件(并行/批量下載)
要同時下載多個文件，請導(dǎo)入以下模塊:
我們導(dǎo)入了os和time模塊來檢查下載文件需要多少時間。ThreadPool模塊允許你使用池運行多個線程或進(jìn)程。
讓我們創(chuàng)建一個簡單的函數(shù)，將響應(yīng)分塊發(fā)送到一個文件:
這個URL是一個二維數(shù)組，它指定了你要下載的頁面的路徑和URL。
就像在前一節(jié)中所做的那樣，我們將這個URL傳遞給requests.get。最后，我們打開文件(URL中指定的路徑)并寫入頁面內(nèi)容。
現(xiàn)在，我們可以分別為每個URL調(diào)用這個函數(shù)，我們也可以同時為所有URL調(diào)用這個函數(shù)。讓我們在for循環(huán)中分別為每個URL調(diào)用這個函數(shù)，注意計時器:
現(xiàn)在，使用以下代碼行替換for循環(huán)：
運行該腳本。
使用進(jìn)度條進(jìn)行下載
進(jìn)度條是clint模塊的一個UI組件。輸入以下命令來安裝clint模塊：
考慮以下代碼:
在這段代碼中，我們首先導(dǎo)入了requests模塊，然后，我們從clint.textui導(dǎo)入了進(jìn)度組件。唯一的區(qū)別是在for循環(huán)中。在將內(nèi)容寫入文件時，我們使用了進(jìn)度條模塊的bar方法。
使用urllib下載網(wǎng)頁
在本節(jié)中，我們將使用urllib下載一個網(wǎng)頁。
urllib庫是Python的標(biāo)準(zhǔn)庫，因此你不需要安裝它。
以下代碼行可以輕松地下載一個網(wǎng)頁:
在這里指定你想將文件保存為什么以及你想將它存儲在哪里的URL，
在這段代碼中，我們使用了urlretrieve方法并傳遞了文件的URL，以及保存文件的路徑。文件擴展名將是.html。
通過代理下載
如果你需要使用代理下載你的文件，你可以使用urllib模塊的ProxyHandler。請看以下代碼：
在這段代碼中，我們創(chuàng)建了代理對象，并通過調(diào)用urllib的build_opener方法來打開該代理，并傳入該代理對象。然后，我們創(chuàng)建請求來獲取頁面。
此外，你還可以按照官方文檔的介紹來使用requests模塊:
你只需要導(dǎo)入requests模塊并創(chuàng)建你的代理對象。然后，你就可以獲取文件了。
使用urllib3
urllib3是urllib模塊的改進(jìn)版本。你可以使用pip下載并安裝它:
我們將通過使用urllib3來獲取一個網(wǎng)頁并將它存儲在一個文本文件中。
導(dǎo)入以下模塊:
在處理文件時，我們使用了shutil模塊。
現(xiàn)在，我們像這樣來初始化URL字符串變量：
然后，我們使用了urllib3的PoolManager ，它會跟蹤必要的連接池。
創(chuàng)建一個文件:
最后，我們發(fā)送一個GET請求來獲取該URL并打開一個文件，接著將響應(yīng)寫入該文件:
使用Boto3從S3下載文件
要從Amazon S3下載文件，你可以使用Python boto3模塊。
在開始之前，你需要使用pip安裝awscli模塊:
對于AWS配置，請運行以下命令：
現(xiàn)在，按以下命令輸入你的詳細(xì)信息：
要從Amazon S3下載文件，你需要導(dǎo)入boto3和botocore。Boto3是一個Amazon SDK，它允許Python訪問Amazon web服務(wù)(如S3)。Botocore提供了與Amazon web服務(wù)進(jìn)行交互的命令行服務(wù)。
Botocore自帶了awscli。要安裝boto3，請運行以下命令:
現(xiàn)在，導(dǎo)入這兩個模塊：
在從Amazon下載文件時，我們需要三個參數(shù)：
?Bucket名稱
你需要下載的文件名稱
文件下載之后的名稱
初始化變量：
現(xiàn)在，我們初始化一個變量來使用會話的資源。為此，我們將調(diào)用boto3的resource()方法并傳入服務(wù)，即s3:
最后，使用download_file方法下載文件并傳入變量:
使用asyncio
asyncio模塊主要用于處理系統(tǒng)事件。它圍繞一個事件循環(huán)進(jìn)行工作，該事件循環(huán)會等待事件發(fā)生，然后對該事件作出反應(yīng)。這個反應(yīng)可以是調(diào)用另一個函數(shù)。這個過程稱為事件處理。asyncio模塊使用協(xié)同程序進(jìn)行事件處理。
要使用asyncio事件處理和協(xié)同功能，我們將導(dǎo)入asyncio模塊:
現(xiàn)在，像這樣定義asyncio協(xié)同方法：
關(guān)鍵字async表示這是一個原生asyncio協(xié)同程序。在協(xié)同程序的內(nèi)部，我們有一個await關(guān)鍵字，它會返回一個特定的值。我們也可以使用return關(guān)鍵字。
現(xiàn)在，讓我們使用協(xié)同創(chuàng)建一段代碼來從網(wǎng)站下載一個文件:
在這段代碼中，我們創(chuàng)建了一個異步協(xié)同函數(shù)，它會下載我們的文件并返回一條消息。
然后，我們使用另一個異步協(xié)同程序調(diào)用main_func，它會等待URL并將所有URL組成一個隊列。asyncio的wait函數(shù)會等待協(xié)同程序完成。
現(xiàn)在，為了啟動協(xié)同程序，我們必須使用asyncio的get_event_loop()方法將協(xié)同程序放入事件循環(huán)中，最后，我們使用asyncio的run_until_complete()方法執(zhí)行該事件循環(huán)。
使用Python下載文件是很有趣的。希望本教程對你有用!
----------------------- 公眾號：Python知識圈 博客：www.pyzhishiquan.com 知乎：Python知識圈 微信視頻號：菜鳥程序員 （分享有趣的編程技巧、Python技巧） bilibili：菜鳥程序員的日常（目前原創(chuàng)視頻：22，累計播放量：75萬） 我的微信視頻號定時更新中，近期真人出鏡分析講解 Python 經(jīng)典習(xí)題，后續(xù)會分享更多的干貨，歡迎關(guān)注我的微信視頻號。
Python知識圈公眾號的交流群已經(jīng)建立，群里可以領(lǐng)取 Python 相關(guān)學(xué)習(xí)資料，大家可以一起學(xué)習(xí)交流，效率更高，如果是想發(fā)推文、廣告、砍價小程序的敬請繞道！一定記得備注「交流學(xué)習(xí)」，不然不會通過好友。
掃碼添加，備注:交流學(xué)習(xí)
往期推薦 01 02 03
我就知道你“在看”
