jfinal_jsoup_meinvtuJFinal+JSoup 開發(fā)的爬蟲

去年，做了幾個JFinal項目，大量使用了Java爬蟲去全網(wǎng)抓取數(shù)據(jù)，清洗篩選后入庫，成為本地結(jié)構(gòu)化數(shù)據(jù)。

Java中JSOUP做HTML解析是最好的工具，沒有之一。

之前聽過一句話，大體意思就是

我們所能訪問的網(wǎng)頁本身就是一個數(shù)據(jù)寶藏，天然的對外數(shù)據(jù)接口。

只要我們能拿到網(wǎng)頁的Html代碼，就可以拿到網(wǎng)站的公開數(shù)據(jù)。

利用JSoup針對直接加載顯示數(shù)據(jù)的網(wǎng)頁，也可以輕松拿到Html代碼，后面的操作類似JQuery的API，有這類似的DOM操作形式。

還可以擴展爬蟲的能力，分布式，多線程，異步，定時任務(wù)執(zhí)行，總之，了解和核心使用方法，剩下的都是怎么玩兒的事兒了！

項目視頻演示地址：

https://www.bilibili.com/video/av54760586

項目截圖：

1、首頁

2、啟動爬蟲，雷達掃描

3、添加明星

4、相冊主頁

5、相冊里的照片

6、幻燈片播放

7、大圖單頁

代碼使用技術(shù)

• JFinal
• JFinal Undertow
• Bootstrap
• JQuery
• Layer
• JSoup
• Mysql
• Jbolt