手把手教你抓取鏈家二手房首頁的全部數據

回復“資源”即可獲贈Python學習資料

一、前言

前幾天在Python白銀交流群大家在交流鏈家網二手房數據的抓取方法，如下圖所示。

這里想要上圖中紅色圈圈里邊的信息。

二、實現過程

這里群友【?? ?? ?? ??】大佬給了一份代碼，分享給大家。

#!/usr/bin/env?python
#?-*-?coding:?utf-8?-*-
#?Created?by?iFantastic?on?2022/6/7

import?scrapy
from?scrapy.cmdline?import?execute



class?LJ_spiders(scrapy.Spider):
????name?=?'lj'
????start_urls?=?[f'https://cs.lianjia.com/ershoufang/pg{page}/'?for?page?in?range(1,?101)]

????def?parse(self,?response,?**kwargs):
????????for?info?in?response.xpath("http://div[@class='info?clear']"):
????????????yield?{
????????????????'title':?info.xpath('./div[@class="title"]/a/text()').get(),
????????????????'positionInfo':?info.xpath('./div[@class="flood"]//text()').extract(),
????????????????'houseInfo':?info.xpath('./div[@class="address"]/div/text()').get(),
????????????????'followInfo':?info.xpath('./div[@class="followInfo"]//text()').get(),
????????????????'tag':?info.xpath('./div[@class="tag"]//text()').extract(),
????????????????'totalPrice':?info.xpath('//div[@class="priceInfo"]/div[1]/span/text()').get()?+?'萬',
????????????????'unitPrice':?info.xpath('//div[@class="priceInfo"]/div[2]/span/text()').get()
????????????}


if?__name__?==?'__main__':
????execute('scrapy?crawl?lj?-o?長沙二手房.csv'.split())

這里他是使用Scrapy框架抓取的，上面的代碼是爬蟲文件中的所有代碼，速度非常快，可以輕而易舉的把數據獲取到。

運行之后，結果圖下圖所示：

后面遇到類似的，不妨拿出來實戰(zhàn)下，事半功倍！

三、總結

大家好，我是皮皮。這篇文章主要分享了鏈家網二手房首頁數據抓取，文中針對該問題給出了具體的解析和代碼實現，幫助粉絲順利解決了問題。需要本文完整代碼的小伙伴，可以私我獲取。

最后感謝粉絲【dcpeng】提問，感謝【?? ?? ?? ??】給出的思路和代碼解析，感謝【dcpeng】、【貓藥師Kelly】、【冫馬讠成】、【月神】等人參與學習交流。

小伙伴們，快快用實踐一下吧！如果在學習過程中，有遇到任何問題，歡迎加我好友，我拉你進Python學習交流群共同探討學習。