Python爬取全國火鍋店，并利用地圖可視化展示
大家好，歡迎來到 Crossin的編程教室 ！
今天給大家分享一個數(shù)據(jù)可視化案例：如何獲取全國不同城市火鍋店數(shù)量情況，并將這些數(shù)據(jù)進行可視化展示，以更加直觀的方式去瀏覽全國不同省份、不同城市的火鍋店分布情況。
本文數(shù)據(jù)來自于某度地圖，通過python技術(shù)知識去獲取數(shù)據(jù)并進行可視化。
注：本文內(nèi)容僅作為編程技術(shù)學習討論，相關(guān)代碼和數(shù)據(jù)不可用于商業(yè)用途，否則后果自負。
1
網(wǎng)頁分析
首先先看一下數(shù)據(jù)源，在某度地圖里面按照下方操作，就可以請求到全國的火鍋店情況（從下圖來看沒有顯示出來，但是通過瀏覽器工具的Network功能，可以看到數(shù)據(jù)。具體操作可參考：爬蟲必備工具，掌握它就解決了一半的問題）
再network中，找到下面這個數(shù)據(jù)包
打開之后可以看到j(luò)son數(shù)據(jù)
2
獲取數(shù)據(jù)
對網(wǎng)頁分析好之后，接下來可以借助Python技術(shù)進行獲取數(shù)據(jù)，并保存到excel中。
導入相關(guān)庫
import jsonimport requestsimport openpyxl
請求數(shù)據(jù)
下面開始編寫請求數(shù)據(jù)代碼（請求時記得帶上headers）
###請求頭headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36",'Referer':'https://map.baidu.com/@12949550.923158279,3712445.9716704674,6.28z',????????"Cookie":";"你的cookie",}##請求鏈接url?=?"https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=s&da_src=searchBox.button&wd=%E7%81%AB%E9%94%85%E5%BA%97&c=1&src=0&wd2=&pn=0&sug=0&l=6&b=(10637065.476146251,2368134.592189369;12772445.910805061,5056757.351151566)&from=webmap&biz_forward={%22scaler%22:1,%22styles%22:%22pl%22}&sug_forward=&auth=NTSwAZUMzIaTTdWD4WAv0731cWF3MQEauxLxREHzERRtykiOxAXXw1GgvPUDZYOYIZuVt1cv3uVtGccZcuVtPWv3GuztQZ3wWvUvhgMZSguxzBEHLNRTVtcEWe1GD8zv7ucvY1SGpuxVthgW1aDeuxtf0wd0vyMySFIAFM7ueh33uTtAffbDF&seckey=c6d9c7e05d7e627c56ed46fab5d7c5c792064779599d5e12b955a6f18a1204375d1588206c94d22e4bdd1ade0ad06e78c21917e24c6223b96bc51b75ca38651a1b203a0609f126163c5e82fd0549a068e537303424837ab798acfc9088e5d76a66451c20ebd9599b41c9b4f1371850d20fa442ad464712f54c912422f4fa20b3052f8bb810f30d41c7c0e55af68f9d9d973537f03d0aa0a1d1617d78cae29b49c64c2d2dc3f44cf0f8799234b124a7a2dec18bfa011e097e31a508eae37b8603f97df8f935f04b3652f190eac52d04816f302a582c53971e515ff2e0e2b4cc30446e0bee48d51c4be8b6fe4185589ed9&device_ratio=1&tn=B_NORMAL_MAP&nn=0&u_loc=12677548,2604239&ie=utf-8&t=1618452491622"###響應數(shù)據(jù)response = requests.get(url,headers=headers).json()
這里的cookie可以在瀏覽器network中復制即可。
通過返回的json數(shù)據(jù)可知道，我們的目標數(shù)據(jù)在more_city中，里面是列表數(shù)據(jù)是省份（provice是省份名稱，num是火鍋店數(shù)量），緊接著每一個省份里都有city（列表），里面是對應著省份的城市（name是城市名稱，num是對應城市火鍋店數(shù)量）
response = response['more_city']for i in response:city = i['city']print(i['province'])print(i['num'])????for?j?in?city:print(j['name'])print(j['num'])
保存到excel
省份和城市分別保存到兩個不同的excel中
outwb_p = openpyxl.Workbook()outws_p = outwb_p.create_sheet(index=0)outws_p.cell(row=1, column=1, value="省份")outws_p.cell(row=1, column=2, value="數(shù)量")outwb_c = openpyxl.Workbook()outws_c = outwb_c.create_sheet(index=0)outws_c.cell(row=1, column=1, value="城市")outws_c.cell(row=1,?column=2,?value="數(shù)量")#####################在循環(huán)中寫入數(shù)據(jù)##################### 保存全國省份火鍋數(shù)量-李運辰”outwb_p.save("全國省份火鍋數(shù)量-李運辰.xls") # 保存### 保存全國城市火鍋數(shù)量-李運辰”outwb_c.save("全國城市火鍋數(shù)量-李運辰.xls") # 保存
? ? ? ? ??
?? ? ? ??
3
數(shù)據(jù)可視化
1.全國火鍋店數(shù)量分布
datafile = u'全國省份火鍋數(shù)量-李運辰.xls'data = pd.read_excel(datafile)attr = data['省份'].tolist()value = data['數(shù)量'].tolist()name = []for i in attr:if "省" in i:name.append(i.replace("省",""))else:name.append(i)from pyecharts import options as optsfrom pyecharts.charts import Mapfrom pyecharts.faker import Fakerc = (Map().add("數(shù)量", [list(z) for z in zip(name, value)], "china").set_global_opts(title_opts=opts.TitleOpts(title="全國火鍋店數(shù)量分布情況")).render("全國火鍋店數(shù)量分布情況.html"))
還可以這樣畫
datafile?=?u'全國省份火鍋數(shù)量-李運辰.xls'df?=?pd.read_excel(datafile)province_distribution = df[['省份', '數(shù)量']].values.tolist()geo = Geo()geo.set_series_opts(label_opts=opts.LabelOpts(is_show=False))geo.add_schema(maptype="china")geo.set_global_opts(visualmap_opts=opts.VisualMapOpts(max_=110000))#?加入數(shù)據(jù)geo.add('全國火鍋店數(shù)量分布情況圖2', province_distribution, type_=ChartType.EFFECT_SCATTER)geo.render("全國火鍋店數(shù)量分布情況圖2.html")
2.四川火鍋店數(shù)量分布
為了繪制城市的分布圖，選擇了四川省為例進行繪制（如果要繪制全國的所有城市，那樣出來的圖密密麻麻，不美觀）
datafile = u'全國城市火鍋數(shù)量-李運辰.xls'data = pd.read_excel(datafile)city = data['城市'].tolist()values2 = data['數(shù)量'].tolist()###四川name = []value = []flag = 0for i in range(0,len(city)):if city[i] =="綿陽市":flag = 1if flag:name.append(city[i])value.append(int(values2[i]))if city[i] =="甘孜藏族自治州":name.append(city[i])value.append(int(values2[i]))breakc = (Map().add("四川火鍋店數(shù)量分布", [list(z) for z in zip(name, value)], "四川").set_global_opts(title_opts=opts.TitleOpts(title="四川火鍋店數(shù)量分布"), visualmap_opts=opts.VisualMapOpts()).render("四川火鍋店數(shù)量分布.html"))
4
小結(jié)
以上就是一個簡單的爬蟲+可視化案例。
如果文章對你有幫助，歡迎轉(zhuǎn)發(fā)/點贊/收藏~
獲取文中相關(guān)代碼及數(shù)據(jù)，請在公眾號后臺回復關(guān)鍵字 火鍋
作者：李運辰
_往期文章推薦_