Python爬取筆趣閣小說，有趣又實(shí)用

點(diǎn)擊上方Python知識圈，設(shè)為星標(biāo)

來源：https://sslljy.blog.csdn.net/

上班想摸魚？為了摸魚方便，今天自己寫了個(gè)爬取筆閣小說的程序。好吧，其實(shí)就是找個(gè)目的學(xué)習(xí)python，分享一下。

1. 首先導(dǎo)入相關(guān)的模塊

import osimport requestsfrom bs4 import BeautifulSoup

2. 向網(wǎng)站發(fā)送請求并獲取網(wǎng)站數(shù)據(jù)

網(wǎng)站鏈接最后的一位數(shù)字為一本書的id值，一個(gè)數(shù)字對應(yīng)一本小說，我們以id為1的小說為示例。
進(jìn)入到網(wǎng)站之后，我們發(fā)現(xiàn)有一個(gè)章節(jié)列表，那么我們首先完成對小說列表名稱的抓取。

# 聲明請求頭headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'}
# 創(chuàng)建保存小說文本的文件夾if not os.path.exists('./小說'):    os.mkdir('./小說/')    # 訪問網(wǎng)站并獲取頁面數(shù)據(jù)response = requests.get('http://www.biquw.com/book/1/').textprint(response)

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-Uu2ddyQB-1618914957232)(.\素材圖片\中文顯示亂碼.png)]

寫到這個(gè)地方同學(xué)們可能會發(fā)現(xiàn)了一個(gè)問題，當(dāng)我去正常訪問網(wǎng)站的時(shí)候?yàn)槭裁捶祷鼗貋淼臄?shù)據(jù)是亂碼呢？

這是因?yàn)轫撁鎕tml的編碼格式與我們python訪問并拿到數(shù)據(jù)的解碼格式不一致導(dǎo)致的，python默認(rèn)的解碼方式為utf-8，但是頁面編碼可能是GBK或者是GB2312等，所以我們需要讓python代碼很具頁面的解碼方式自動變化

#### 重新編寫訪問代碼```pythonresponse = requests.get('http://www.biquw.com/book/1/')response.encoding = response.apparent_encodingprint(response.text)
'''這種方式返回的中文數(shù)據(jù)才是正確的'''

3. 拿到頁面數(shù)據(jù)之后對數(shù)據(jù)進(jìn)行提取

當(dāng)大家通過正確的解碼方式拿到頁面數(shù)據(jù)之后，接下來需要完成靜態(tài)頁面分析了。我們需要從整個(gè)網(wǎng)頁數(shù)據(jù)中拿到我們想要的數(shù)據(jù)(章節(jié)列表數(shù)據(jù))

1. 首先打開瀏覽器

2. 按F12調(diào)出開發(fā)者工具

3. 選中元素選擇器

4. 在頁面中選中我們想要的數(shù)據(jù)并定位元素

5. 觀察數(shù)據(jù)所存在的元素標(biāo)簽

'''根據(jù)上圖所示，數(shù)據(jù)是保存在a標(biāo)簽當(dāng)中的。a的父標(biāo)簽為li，li的父標(biāo)簽為ul標(biāo)簽，ul標(biāo)簽之上為div標(biāo)簽。所以如果想要獲取整個(gè)頁面的小說章節(jié)數(shù)據(jù)，那么需要先獲取div標(biāo)簽。并且div標(biāo)簽中包含了class屬性，我們可以通過class屬性獲取指定的div標(biāo)簽，詳情看代碼~'''# lxml: html解析庫 將html代碼轉(zhuǎn)成python對象，python可以對html代碼進(jìn)行控制soup = BeautifulSoup(response.text, 'lxml')book_list = soup.find('div', class_='book_list').find_all('a')# soup對象獲取批量數(shù)據(jù)后返回的是一個(gè)列表，我們可以對列表進(jìn)行迭代提取for book in book_list:    book_name = book.text    # 獲取到列表數(shù)據(jù)之后，需要獲取文章詳情頁的鏈接，鏈接在a標(biāo)簽的href屬性中    book_url = book['href']

4. 獲取到小說詳情頁鏈接之后進(jìn)行詳情頁二次訪問并獲取文章數(shù)據(jù)

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)book_info_html.encoding = book_info_html.apparent_encodingsoup = BeautifulSoup(book_info_html.text, 'lxml')

5. 對小說詳情頁進(jìn)行靜態(tài)頁面分析

info = soup.find('div', id='htmlContent')print(info.text)

6. 數(shù)據(jù)下載

with open('./小說/' + book_name + '.txt', 'a', encoding='utf-8') as f:    f.write(info.text)

最后讓我們看一下代碼效果吧~

抓取的數(shù)據(jù)

文章正文到這里已經(jīng)結(jié)束了，感謝你們閱讀我的文章。

   

    

     

      
        

         

          

           

            

             

              

               

              
              

               

              
              

               

              
             
             

              往期推薦
             
            
           
           

            

             

              

               01
              
             
             

              
公眾號所有文章匯總導(dǎo)航（2-10更新）

             
            
           
           

            

             

              

               02
              
             
             

              
永久白嫖！新發(fā)現(xiàn)的外賣漏洞！！請低調(diào)使用

             
            
           
           

            

             

              

               03
              
             
             

              
求你了，別再用 pip 那烏龜?shù)乃俣热グ惭b庫了！

             
            
           
          
         
        

         

          


         
     
    
   

↓點(diǎn)擊閱讀原文查看pk哥原創(chuàng)視頻

我就知道你“在看”