害！被基金綠慘了，于是我用python...
前言
牛跑了熊來了，最近基金股票可謂一片綠油油，與其聽取別人哪個基金更好，不如自己爬一爬數(shù)據(jù)一探究竟。整理了python爬數(shù)據(jù)的方法，希望對大家有用。
一、本文涉及到的知識點：
1、python字符串：分割、拼接、中文字符判斷；
2、python正則表達式；
3、爬蟲requests請求庫、xpath獲取數(shù)據(jù)、代理服務(wù)器；
4、selenium用法：無頭瀏覽器、元素定位、顯式等待、數(shù)據(jù)獲??；
5、python操作mongodb
二、網(wǎng)站分析
代碼和數(shù)據(jù)我們到后面再貼上，先來分析下目標網(wǎng)站，這樣有利于我們爬取過程更加清晰；
目標網(wǎng)站：開放式基金排行 _ 天天基金網(wǎng)
我們爬取的就是【開放式基金】里的數(shù)據(jù)：
我們隨便點開一個基金，就可以進入其詳情頁面，不知道你發(fā)現(xiàn)沒有，該基金詳情頁面的url就是首頁該基金的基金代碼和http://fund.eastmoney.com/的一個組合，比如：
040011 --- 華安核心優(yōu)選混合的url：華安核心優(yōu)選混合(040011)基金凈值_估值_行情走勢-天天基金網(wǎng)
005660 --- 嘉實資源精選股票A的url：嘉實資源精選股票A(005660)基金凈值_估值_行情走勢-天天基金網(wǎng)
ok，好，我們在基金詳情頁面往下拉就可以找到該基金的股票持倉信息，也就是該基金買了哪些股票：
然后點擊 更多 進入該基金持股的詳情頁，往下拉就會看到，該基金三個季度的股票持倉信息：
對，這就是目標數(shù)據(jù)，要爬取的數(shù)據(jù)；
ok，我們先不爬取，再分析這個基金持倉的詳情頁，這個url也是有規(guī)律的，它是用 http://fundf10.eastmoney.com/ccmx_ 和該基金的基金代碼組合成的，比如：
005660 ，嘉實資源精選股票A 的持倉詳情頁面url：嘉實資源精選股票A(005660)基金持倉 _ 基金檔案 _ 天天基金網(wǎng)
006921，南方智誠混合 的持倉詳情頁面url：南方智誠混合(006921)基金持倉 _ 基金檔案 _ 天天基金網(wǎng)
因為這些數(shù)據(jù)是用js動態(tài)加載的，如果使用requests爬取的話難度很大，這種情況下一般會使用selenium模擬瀏覽器行為進行爬取。但是selenium爬取的效率確實比較低。其實我們依舊是可以使用requests進行爬取的，js動態(tài)加載是html頁面中的js代碼執(zhí)行了一段操作，從服務(wù)端自動加載了數(shù)據(jù)，所以數(shù)據(jù)在一開始爬取的頁面上是看不到的，除非一些特別難爬的數(shù)據(jù)才需要selenium，因為selenium號稱：只要是你看得到的數(shù)據(jù)就都可以獲取。畢竟selenium是模仿人操作瀏覽器的行為的。這里我們分析js動態(tài)加載，然后利用requests來爬取，后面進行二次爬取的時候再用selenium。
在首頁按F12打開開發(fā)者工具，然后再刷新一下，
可以看到右邊藍色框里的數(shù)據(jù)了吧，這是js動態(tài)加載之后返回的數(shù)據(jù)，然后經(jīng)過加工后呈現(xiàn)在頁面上的，其實只要獲取這些數(shù)據(jù)就可以了，不用去爬取首頁了；
我們再點擊 Headers ，這個 Request URL 就是js請求的url了，你可以試試把這個url直接用瀏覽器回車下，會給你返回一堆的數(shù)據(jù)；上面分析了基金持倉股票頁面url的組成，所以只要需要這些數(shù)據(jù)里的六位基金代碼就可以了，本篇代碼中是用python正則進行了六位數(shù)字的提取，然后組成的基金持倉股票頁面的url；然后再在基金持倉股票頁面對該基金持有的股票進行爬取、存儲；
三、爬取流程：
1、首先從首頁中請求js動態(tài)加載數(shù)據(jù)時請求的那個url，從中獲取六位數(shù)字的基金代碼，
然后 http://fundf10.eastmoney.com/ccmx_ + 基金代碼 + .html 組成的基金持倉股票的詳情頁url；
2、針對 基金持倉股票的詳情頁url 進行爬取，因為也是js動態(tài)加載的（加載速度較快），并且需要判斷該基金是否有持倉的股票（有的基金沒有買股票，也不知道他們干啥了），所以使用selenium來爬取，同時也使用了顯式等待的方式來等待數(shù)據(jù)加載完成；
3、將數(shù)據(jù)整理，存儲到mongodb中；
四、代碼講解---數(shù)據(jù)爬?。?/span>
這次我們將代碼分段放上來，分段說明；
需要的庫：
import re
from lxml import etree
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pymongo
準備一些常用的方法：
def is_contain_chinese(check_str):
"""
判斷字符串中是否包含中文
:param check_str: {str} 需要檢測的字符串
:return: {bool} 包含返回True， 不包含返回False
"""
for ch in check_str:
if u'\u4e00' <= ch <= u'\u9fff':
return True
return False
#selenium通過class name判斷元素是否存在，用于判斷基金持倉股票詳情頁中該基金是否有持倉股票；
def is_element(driver,element_class):
try:
WebDriverWait(driver,2).until(EC.presence_of_element_located((By.CLASS_NAME,element_class)))
except:
return False
else:
return True
#requests請求url的方法,處理后返回text文本
def get_one_page(url):
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
}
proxies = {
"http": "http://XXX.XXX.XXX.XXX:XXXX"
}
response = requests.get(url,headers=headers,proxies=proxies)
response.encoding = 'utf-8'
if response.status_code == 200:
return response.text
else:
print("請求狀態(tài)碼 != 200,url錯誤.")
return None
#該方法直接將首頁的數(shù)據(jù)請求、返回、處理，組成持倉信息url和股票名字并存儲到數(shù)組中；
def page_url():
stock_url = [] #定義一個數(shù)組，存儲基金持倉股票詳情頁面的url
stock_name = [] #定義一個數(shù)組，存儲基金的名稱
url = "http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2018-11-26&ed=2019-11-26&qdii=&tabSubtype=,,,,,&pi=1&pn=10000&dx=1&v=0.234190661250681"
result_text = get_one_page(url)
# print(result_text.replace('\"',',')) #將"替換為,
# print(result_text.replace('\"',',').split(',')) #以,為分割
# print(re.findall(r"\d{6}",result_text)) #輸出股票的6位代碼返回數(shù)組；
for i in result_text.replace('\"',',').split(','): #將"替換為,再以,進行分割，遍歷篩選出含有中文的字符(股票的名字)
result_chinese = is_contain_chinese(i)
if result_chinese == True:
stock_name.append(i)
for numbers in re.findall(r"\d{6}",result_text):
stock_url.append("http://fundf10.eastmoney.com/ccmx_%s.html" % (numbers)) #將拼接后的url存入列表；
return stock_url,stock_name
#selenium請求[基金持倉股票詳情頁面url]的方法，爬取基金的持倉股票名稱；
def hold_a_position(url):
driver.get(url) # 請求基金持倉的信息
element_result = is_element(driver, "tol") # 是否存在這個元素，用于判斷是否有持倉信息；
if element_result == True: # 如果有持倉信息則爬?。?br> wait = WebDriverWait(driver, 3) # 設(shè)置一個等待時間
input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'tol'))) # 等待這個class的出現(xiàn)；
ccmx_page = driver.page_source # 獲取頁面的源碼
ccmx_xpath = etree.HTML(ccmx_page) # 轉(zhuǎn)換成成 xpath 格式
ccmx_result = ccmx_xpath.xpath("http://div[@class='txt_cont']//div[@id='cctable']//div[@class='box'][1]//td[3]//text()")
return ccmx_result
else: #如果沒有持倉信息，則返回null字符；
return "null"
注意 page_url() 方法，里面的url就是上面分析js動態(tài)加載數(shù)據(jù)時請求的url，需要注意的是該url后面的參數(shù)，pi是第幾頁，pn是每頁多少條數(shù)據(jù)，我這里pi=1，pn=10000，意思就是第一頁，顯示10000條數(shù)據(jù)（實際數(shù)據(jù)肯定沒這么多，首頁才5000+），就一次性的顯示出所有的數(shù)據(jù)了；
程序開始：
if __name__ == '__main__':
# 創(chuàng)建連接mongodb數(shù)據(jù)庫
client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX', port=XXXXX) # 連接mongodb，host是ip，port是端口
db = client.db_spider # 使用（創(chuàng)建）數(shù)據(jù)庫
db.authenticate("用戶名", "密碼") # mongodb的用戶名、密碼連接；
collection = db.tb_stock # 使用（創(chuàng)建）一個集合（表）
stock_url, stock_name = page_url() #獲取首頁數(shù)據(jù)，返回基金url的數(shù)組和基金名稱的數(shù)組；
#瀏覽器動作
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(options=chrome_options) #初始化瀏覽器，無瀏覽器界面的；
if len(stock_url) == len(stock_name): #判斷獲取的基金url和基金名稱數(shù)量是否一致
for i in range(len(stock_url)):
return_result = hold_a_position(stock_url[i]) # 遍歷持倉信息，返回持倉股票的名稱---數(shù)組
dic_data = {
'fund_url':stock_url[i],
'fund_name':stock_name[i],
'stock_name':return_result
} #dic_data 為組成的字典數(shù)據(jù)，為存儲到mongodb中做準備；
print(dic_data)
collection.insert_one(dic_data) #將dic_data插入mongodb數(shù)據(jù)庫
else:
print("基金url和基金name數(shù)組數(shù)量不一致，退出。")
exit()
driver.close() #關(guān)閉瀏覽器
#查詢：過濾出非null的數(shù)據(jù)
find_stock = collection.find({'stock_name': {'$ne': 'null'}}) # 查詢 stock_name 不等于 null 的數(shù)據(jù)（排除那些沒有持倉股票的基金機構(gòu)）；
for i in find_stock:
print(i)
好，至此，爬取數(shù)據(jù)的代碼交代完畢，運行后坐等即可；
該項目單進程運行，所以爬取速度略慢，同時也受網(wǎng)速影響，后期會繼續(xù)改進成多線程。
五、代碼講解---數(shù)據(jù)處理：
上面已經(jīng)把數(shù)據(jù)爬取并存儲到數(shù)據(jù)庫中，這里對數(shù)據(jù)進行處理，將其變成可用的；
首先說明思路：
1、我們需要知道這些基金所有持倉的股票的綜合數(shù)據(jù)，也包括基金持倉中有重復(fù)的股票；
2、需要知道哪些股票重復(fù)了，有多少個重復(fù)的，重復(fù)了多少次；
這樣，重復(fù)數(shù)最多的那只股票就肯定是最好的了，因為這證明有很多的基金都購買了這支股票；
具體看代碼，注釋說的已經(jīng)很清楚了：
import pymongo
#一、數(shù)據(jù)庫：連接庫、使用集合、創(chuàng)建文檔；#
client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX',port=XXXXX) #連接mongodb數(shù)據(jù)庫
db = client.db_spider #使用（創(chuàng)建）數(shù)據(jù)庫
db.authenticate("用戶名","密碼") #認證用戶名、密碼
collection = db.tb_stock #使用（創(chuàng)建）一個集合（表），里面已經(jīng)存儲著上面程序爬取的數(shù)據(jù)了；
tb_result = db.tb_data #使用（創(chuàng)建）一個集合（表），用于存儲最后處理完畢的數(shù)據(jù)；
#查詢 stock_name 不等于 null 的數(shù)據(jù)，即：排除那些沒有持倉股票的基金；
find_stock = collection.find({'stock_name':{'$ne':'null'}})
#二、處理數(shù)據(jù)，將所有的股票數(shù)組累加成一個數(shù)組---list_stock_all #
list_stock_all = [] #定義一個數(shù)組，存儲所有的股票名稱，包括重復(fù)的；
for i in find_stock:
print(i['stock_name']) #輸出基金的持倉股票（類型為數(shù)組）
list_stock_all = list_stock_all + i['stock_name'] #綜合所有的股票數(shù)組為一個數(shù)組；
print("股票總數(shù)：" + str(len(list_stock_all)))
#三、處理數(shù)據(jù)，股票去重#
list_stock_repetition = [] #定義一個數(shù)組，存放去重之后的股票
for n in list_stock_all:
if n not in list_stock_repetition: #如果不存在
list_stock_repetition.append(n) #則添加進該數(shù)組，去重；
print("去重后的股票數(shù)量：" + str(len(list_stock_repetition)))
#四、綜合二、三中的得出的兩個數(shù)組進行數(shù)據(jù)篩選#
for u in list_stock_repetition: #遍歷去重后股票的數(shù)組
if list_stock_all.count(u) > 10: #在未去重股票的數(shù)組中查找股票的重復(fù)數(shù)，如果重復(fù)數(shù)大于10
#將數(shù)據(jù)組成字典，用于存儲到mongodb中；
data_stock = {
"name":u,
"numbers":list_stock_all.count(u)
}
insert_result = tb_result.insert_one(data_stock) #存儲至mongodb中
print("股票名稱：" + u + " , 重復(fù)數(shù)：" + str(list_stock_all.count(u)))
這樣，就將數(shù)據(jù)稍微處理了一下存入了 tb_data 的集合中；
下面只披露部分處理的數(shù)據(jù)：
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62c9'), 'name': '水晶光電', 'numbers': 61}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62ca'), 'name': '老百姓', 'numbers': 77}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cb'), 'name': '北方華創(chuàng)', 'numbers': 52}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cc'), 'name': '金風(fēng)科技', 'numbers': 84}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cd'), 'name': '天順風(fēng)能', 'numbers': 39}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62ce'), 'name': '石大勝華', 'numbers': 13}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cf'), 'name': '國投電力', 'numbers': 55}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d0'), 'name': '中國石化', 'numbers': 99}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d1'), 'name': '中國石油', 'numbers': 54}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d2'), 'name': '中國平安', 'numbers': 1517}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d3'), 'name': '貴州茅臺', 'numbers': 1573}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d4'), 'name': '招商銀行', 'numbers': 910}
該數(shù)據(jù)還未做排序，排名不分先后；
上面展示的數(shù)據(jù)中：
中國石化 的numbers是54，說明在5000+家的基金中有54家買了中國石化的股票；
招商銀行的numbers為910，說明在5000+家的基金中有910家基金買了招商銀行的股票，已經(jīng)相當(dāng)高了；
六、總結(jié)
數(shù)據(jù)的獲取主要采用了爬蟲的基本方法，使用的是 requests 庫。而數(shù)據(jù)的解析和保存主要運用的是正則表達式、xpath解析庫以及 pandas 數(shù)據(jù)處理庫。
對于一個基金的分析遠遠不止于這些數(shù)據(jù)（例如持倉分布，基金經(jīng)理信息等），這里只是做個引子，畢竟自己用數(shù)據(jù)來選基金比聽別人推薦買什么基金要好上一些，希望能給大家一個思路。
-------------------------------------------------------------
投資有風(fēng)險，入市需謹慎。（來源知乎，轉(zhuǎn)自數(shù)據(jù)科學(xué)家聯(lián)盟，侵刪）