使用 Python 下載的 11 種姿勢(shì)，一種比一種高級(jí)

在本教程中，你將學(xué)習(xí)如何使用不同的Python模塊從web下載文件。此外，你將下載常規(guī)文件、web頁(yè)面、Amazon S3和其他資源。

最后，你將學(xué)習(xí)如何克服可能遇到的各種挑戰(zhàn)，例如下載重定向的文件、下載大型文件、完成一個(gè)多線(xiàn)程下載以及其他策略。

你可以使用requests模塊從一個(gè)URL下載文件。

考慮以下代碼:

你只需使用requests模塊的get方法獲取URL，并將結(jié)果存儲(chǔ)到一個(gè)名為“myfile”的變量中。然后，將這個(gè)變量的內(nèi)容寫(xiě)入文件。

你還可以使用Python的wget模塊從一個(gè)URL下載文件。你可以使用pip按以下命令安裝wget模塊:

考慮以下代碼，我們將使用它下載Python的logo圖像。

在這段代碼中，URL和路徑(圖像將存儲(chǔ)在其中)被傳遞給wget模塊的download方法。

在本節(jié)中，你將學(xué)習(xí)如何使用requests從一個(gè)URL下載文件，該URL會(huì)被重定向到另一個(gè)帶有一個(gè).pdf文件的URL。該URL看起來(lái)如下:

要下載這個(gè)pdf文件，請(qǐng)使用以下代碼:

在這段代碼中，我們第一步指定的是URL。然后，我們使用request模塊的get方法來(lái)獲取該URL。在get方法中，我們將allow_redirects設(shè)置為T(mén)rue，這將允許URL中的重定向，并且重定向后的內(nèi)容將被分配給變量myfile。

最后，我們打開(kāi)一個(gè)文件來(lái)寫(xiě)入獲取的內(nèi)容。

考慮下面的代碼:

首先，我們像以前一樣使用requests模塊的get方法，但是這一次，我們將把stream屬性設(shè)置為T(mén)rue。

接著，我們?cè)诋?dāng)前工作目錄中創(chuàng)建一個(gè)名為PythonBook.pdf的文件，并打開(kāi)它進(jìn)行寫(xiě)入。

然后，我們指定每次要下載的塊大小。我們已經(jīng)將其設(shè)置為1024字節(jié)，接著遍歷每個(gè)塊，并在文件中寫(xiě)入這些塊，直到塊結(jié)束。

不漂亮嗎?不要擔(dān)心，稍后我們將顯示一個(gè)下載過(guò)程的進(jìn)度條。

要同時(shí)下載多個(gè)文件，請(qǐng)導(dǎo)入以下模塊:

我們導(dǎo)入了os和time模塊來(lái)檢查下載文件需要多少時(shí)間。ThreadPool模塊允許你使用池運(yùn)行多個(gè)線(xiàn)程或進(jìn)程。

讓我們創(chuàng)建一個(gè)簡(jiǎn)單的函數(shù)，將響應(yīng)分塊發(fā)送到一個(gè)文件:

這個(gè)URL是一個(gè)二維數(shù)組，它指定了你要下載的頁(yè)面的路徑和URL。

就像在前一節(jié)中所做的那樣，我們將這個(gè)URL傳遞給requests.get。最后，我們打開(kāi)文件(URL中指定的路徑)并寫(xiě)入頁(yè)面內(nèi)容。

現(xiàn)在，我們可以分別為每個(gè)URL調(diào)用這個(gè)函數(shù)，我們也可以同時(shí)為所有URL調(diào)用這個(gè)函數(shù)。讓我們?cè)趂or循環(huán)中分別為每個(gè)URL調(diào)用這個(gè)函數(shù)，注意計(jì)時(shí)器:

現(xiàn)在，使用以下代碼行替換for循環(huán)：

運(yùn)行該腳本。

進(jìn)度條是clint模塊的一個(gè)UI組件。輸入以下命令來(lái)安裝clint模塊：

考慮以下代碼:

在這段代碼中，我們首先導(dǎo)入了requests模塊，然后，我們從clint.textui導(dǎo)入了進(jìn)度組件。唯一的區(qū)別是在for循環(huán)中。在將內(nèi)容寫(xiě)入文件時(shí)，我們使用了進(jìn)度條模塊的bar方法。

在本節(jié)中，我們將使用urllib下載一個(gè)網(wǎng)頁(yè)。

urllib庫(kù)是Python的標(biāo)準(zhǔn)庫(kù)，因此你不需要安裝它。

以下代碼行可以輕松地下載一個(gè)網(wǎng)頁(yè):

在這里指定你想將文件保存為什么以及你想將它存儲(chǔ)在哪里的URL。

在這段代碼中，我們使用了urlretrieve方法并傳遞了文件的URL，以及保存文件的路徑。文件擴(kuò)展名將是.html。

如果你需要使用代理下載你的文件，你可以使用urllib模塊的ProxyHandler。請(qǐng)看以下代碼：

在這段代碼中，我們創(chuàng)建了代理對(duì)象，并通過(guò)調(diào)用urllib的build_opener方法來(lái)打開(kāi)該代理，并傳入該代理對(duì)象。然后，我們創(chuàng)建請(qǐng)求來(lái)獲取頁(yè)面。

此外，你還可以按照官方文檔的介紹來(lái)使用requests模塊:

你只需要導(dǎo)入requests模塊并創(chuàng)建你的代理對(duì)象。然后，你就可以獲取文件了。

urllib3是urllib模塊的改進(jìn)版本。你可以使用pip下載并安裝它:

我們將通過(guò)使用urllib3來(lái)獲取一個(gè)網(wǎng)頁(yè)并將它存儲(chǔ)在一個(gè)文本文件中。

導(dǎo)入以下模塊:

在處理文件時(shí)，我們使用了shutil模塊。

現(xiàn)在，我們像這樣來(lái)初始化URL字符串變量：

然后，我們使用了urllib3的PoolManager ，它會(huì)跟蹤必要的連接池。

創(chuàng)建一個(gè)文件:

最后，我們發(fā)送一個(gè)GET請(qǐng)求來(lái)獲取該URL并打開(kāi)一個(gè)文件，接著將響應(yīng)寫(xiě)入該文件:

要從Amazon S3下載文件，你可以使用Python boto3模塊。

在開(kāi)始之前，你需要使用pip安裝awscli模塊:

對(duì)于AWS配置，請(qǐng)運(yùn)行以下命令：

現(xiàn)在，按以下命令輸入你的詳細(xì)信息：

要從Amazon S3下載文件，你需要導(dǎo)入boto3和botocore。Boto3是一個(gè)Amazon SDK，它允許Python訪問(wèn)Amazon web服務(wù)(如S3)。Botocore提供了與Amazon web服務(wù)進(jìn)行交互的命令行服務(wù)。

Botocore自帶了awscli。要安裝boto3，請(qǐng)運(yùn)行以下命令:

現(xiàn)在，導(dǎo)入這兩個(gè)模塊：

在從Amazon下載文件時(shí)，我們需要三個(gè)參數(shù)：

• Bucket名稱(chēng)

• 你需要下載的文件名稱(chēng)

• 文件下載之后的名稱(chēng)

初始化變量：

現(xiàn)在，我們初始化一個(gè)變量來(lái)使用會(huì)話(huà)的資源。為此，我們將調(diào)用boto3的resource()方法并傳入服務(wù)，即s3:

最后，使用download_file方法下載文件并傳入變量:

asyncio模塊主要用于處理系統(tǒng)事件。它圍繞一個(gè)事件循環(huán)進(jìn)行工作，該事件循環(huán)會(huì)等待事件發(fā)生，然后對(duì)該事件作出反應(yīng)。這個(gè)反應(yīng)可以是調(diào)用另一個(gè)函數(shù)。這個(gè)過(guò)程稱(chēng)為事件處理。asyncio模塊使用協(xié)同程序進(jìn)行事件處理。

要使用asyncio事件處理和協(xié)同功能，我們將導(dǎo)入asyncio模塊:

現(xiàn)在，像這樣定義asyncio協(xié)同方法：

關(guān)鍵字async表示這是一個(gè)原生asyncio協(xié)同程序。在協(xié)同程序的內(nèi)部，我們有一個(gè)await關(guān)鍵字，它會(huì)返回一個(gè)特定的值。我們也可以使用return關(guān)鍵字。

現(xiàn)在，讓我們使用協(xié)同創(chuàng)建一段代碼來(lái)從網(wǎng)站下載一個(gè)文件:

在這段代碼中，我們創(chuàng)建了一個(gè)異步協(xié)同函數(shù)，它會(huì)下載我們的文件并返回一條消息。

然后，我們使用另一個(gè)異步協(xié)同程序調(diào)用main_func，它會(huì)等待URL并將所有URL組成一個(gè)隊(duì)列。asyncio的wait函數(shù)會(huì)等待協(xié)同程序完成。

現(xiàn)在，為了啟動(dòng)協(xié)同程序，我們必須使用asyncio的get_event_loop()方法將協(xié)同程序放入事件循環(huán)中，最后，我們使用asyncio的run_until_complete()方法執(zhí)行該事件循環(huán)。

使用Python下載文件是很有趣的。希望本教程對(duì)你有用！