新聞聚源網(wǎng)站正式上線

點(diǎn)擊上方 月小水長(zhǎng) 并 設(shè)為星標(biāo),第一時(shí)間接收干貨推送
在發(fā)布【聚合新聞爬蟲】系列之前的,我的一個(gè)動(dòng)機(jī)就是因?yàn)槠渌侣劸W(wǎng)站上廣告太多,瀏覽體驗(yàn)不好,所以想做一個(gè)方便瀏覽的、聚合了其他新聞源的網(wǎng)站,只做導(dǎo)航,不做詳情。經(jīng)過這一周某些晚上的努力,這個(gè)網(wǎng)站終于和大家見面了。
它的地址如下:
https://xt98.tech:9494
先看看這個(gè)網(wǎng)站長(zhǎng)什么樣。
由于使用了 bootstrap 表格式自適應(yīng)布局,在 PC 和移動(dòng)端都有比較好的瀏覽體驗(yàn)。可見下圖

手機(jī)上瀏覽

電腦上瀏覽
顧名思義,可以分源查看新聞,每隔 1 小時(shí)自動(dòng)抓取各源的新聞鏈接,也就是 前往 按鈕,但是點(diǎn)擊 前往 是去往新聞本來的詳情頁的。
可以查看歷史上今天發(fā)生了什么新聞,估計(jì)明年今日才能看到具體的內(nèi)容,現(xiàn)在是我偽造的一些數(shù)據(jù)。
集成了頁面埋點(diǎn)統(tǒng)計(jì)等功能,具體可以見下圖。

未來會(huì)開發(fā)的一個(gè)功能,提供一些新聞的 api 接口。
最后,無論是聚源還是分源,我都做了限制只能看到最新的 200 條新聞,網(wǎng)站上的搜索框具有實(shí)時(shí)搜索功能,他的搜索范圍是頁面上的所有新聞。如果想全局搜怎么辦,我留了個(gè)彩蛋,比如想看所有的關(guān)于小米的新聞,可以在瀏覽器上輸入下面的 url。
https://xt98.tech:9494?keyword=小米
對(duì)了,本網(wǎng)站還具有反爬蟲功能,我就直說了吧,只有 ip 反爬蟲,一個(gè) ip 限制 1 天只能瀏覽 200 次本站點(diǎn),超了網(wǎng)頁后會(huì)顯示什么呢?
歡迎小伙伴積極嘗試。
還明確一點(diǎn),使用代理池即可繞過爬蟲,但是繞過又能怎么樣呢哈哈哈,本站點(diǎn),沒有分頁功能!!!
如果想搞垮我的網(wǎng)站另說,服務(wù)器是阿里云最低配,經(jīng)不起折騰。
最后貼一下,本項(xiàng)目參考的開源項(xiàng)目。
爬蟲參考:https://github.com/Python3Spiders/AllNewsSpider
前端參考:https://github.com/lufficc/flask_ishuhui
這樣一個(gè)方便快捷的網(wǎng)站,能不能進(jìn)進(jìn)你的收藏夾呢?
