一個(gè)小工具可以更快的寫爬蟲

你好，我是 somenzz，我想你應(yīng)該寫過(guò)爬蟲吧，就是那個(gè) requests 庫(kù)，它太好用了，應(yīng)該沒(méi)有人不知道 requests。

通常我們使用谷歌瀏覽器的開發(fā)者工具（F12）查找網(wǎng)絡(luò)請(qǐng)求，然后將網(wǎng)絡(luò)請(qǐng)求里面的 url、headers、cookie、user-agent、請(qǐng)求的參數(shù)等等，記錄下來(lái)，然后，用 requests 模擬瀏覽器發(fā)出的請(qǐng)求。

這些簡(jiǎn)單無(wú)腦復(fù)制操作，讓我覺(jué)得寫爬蟲真的累，有沒(méi)有一個(gè)工具，可以直接把這個(gè)請(qǐng)求轉(zhuǎn)化為 Python 代碼？

還真有！

那就是 curlconverter^[1]

用法很簡(jiǎn)單：

以谷歌瀏覽器為例：

1、在「開發(fā)者工具」中打開「Network」選項(xiàng)卡

2、右鍵單擊（或按住 Ctrl 鍵單擊）請(qǐng)求

3、點(diǎn)擊 "Copy" → "Copy as cURL"

4、將其粘貼到上面的 curl 命令框中

選擇需要轉(zhuǎn)換語(yǔ)言（默認(rèn)就是 Python），就可以復(fù)制代碼了，非常方便：

最后的話

這個(gè)工具真是相見恨晚，可以大大節(jié)省你寫爬蟲花費(fèi)的時(shí)間，請(qǐng)記住網(wǎng)址是：https://curlconverter.com/，如果覺(jué)得有幫助，請(qǐng)點(diǎn)在看擴(kuò)散，如果有好的工具，也可以留言分享。

參考資料