國內(nèi)爬蟲開發(fā)人員的未來

二條：超全！Tkinter 使用教程！4000字！
三條：好代碼與壞代碼

↑ 關(guān)注 + 星標(biāo) ，每天學(xué)Python新技能
后臺回復(fù)【大禮包】送你Python自學(xué)大禮包

先拋出我的觀點(diǎn)：希望各位做爬蟲的同學(xué)，盡快，盡可能多地做海外的爬蟲項(xiàng)目，爬海外的網(wǎng)站，這才是你們新的未來。

最近兩年，我已經(jīng)沒有做過國內(nèi)任何網(wǎng)站的爬蟲了，根據(jù)這兩年爬海外網(wǎng)站的一些經(jīng)驗(yàn)，談?wù)勎业陌l(fā)現(xiàn)和想法。

內(nèi)地的環(huán)境不適合做爬蟲

國內(nèi)網(wǎng)站在這么多年的爬蟲與反爬蟲的斗爭中，反爬能力越來越強(qiáng)，瑞數(shù)、極驗(yàn)和其它第三方專業(yè)反爬蟲系統(tǒng)，已經(jīng)能擋住很多人了。

國內(nèi)值得爬的網(wǎng)站就只有幾個(gè)，大家都在爬，你有 1GB 的數(shù)據(jù)，他有 1TB 的數(shù)據(jù)，內(nèi)卷極其嚴(yán)重。并且還有很多工作室直接使用群控技術(shù)，幾萬臺機(jī)器一起爬，普通人很難跟他們競爭。

國內(nèi)一些專門做輿情分析的公司，他們甚至可以通過地下渠道直接拿到網(wǎng)站的內(nèi)部 API，數(shù)據(jù)質(zhì)量比你通過爬蟲爬的數(shù)據(jù)高多了。

最后，比較重要的是，爬國內(nèi)的大網(wǎng)站，很容易被請喝茶。輕者拘留，重者在檔案里面留下一輩子的污點(diǎn)。

海外數(shù)據(jù)的新機(jī)遇

NLP 的語料

NLP 最重要的四個(gè)元素就是：語料、模型、算法、算力。其中模型和算力可以復(fù)用，自然不是問題。但因?yàn)闆]有人抓海外的數(shù)據(jù)，因此缺少了語料，沒有語料，就沒有辦法訓(xùn)練模型。NLP 里面的 ABSA、語意理解、文本生成、智能問答也全都做不下去。特別是小眾語言——法語、俄語、韓語、西班牙語，幾乎就沒有國內(nèi)的公司在做。

抓數(shù)據(jù)不難，但難在對數(shù)據(jù)的標(biāo)注?，F(xiàn)在國內(nèi)對小眾語言的標(biāo)注，還停留在使用 Google 翻譯把小眾語言先翻譯成英文，再讓人去給英文打標(biāo)的階段。

如果你能盡早收集小語種的語料，然后讓懂這個(gè)語料的人去打標(biāo)，那么以后即便你不直接做 NLP，光出售小語種的標(biāo)注數(shù)據(jù)，你都可以大賺一筆。國內(nèi)學(xué)習(xí)小語種的大學(xué)生，找工作都很困難。如果你能讓他們兼職給你標(biāo)注數(shù)據(jù)，不僅提供了就業(yè)崗位，而且價(jià)格非常低廉，屬于是雙贏。

語料抓取的壁壘不是爬蟲技術(shù)，而是數(shù)據(jù)量和數(shù)據(jù)多樣性。數(shù)據(jù)量達(dá)到一定規(guī)模以后，壁壘自然就能形成。別人的爬蟲再先進(jìn)，只要他短期收集不了那么多的數(shù)據(jù)，那么他就沒有辦法超過你。

總之，越早開始收集海外語料，越早能形成自己的壁壘。

游戲出海

眾所周知，游戲在內(nèi)地已經(jīng)沒有未來了，各大游戲廠商在接下來的幾年會把游戲出海作為最重要的目標(biāo)。目前已經(jīng)有幾家公司的游戲在東南亞大殺四方，在歐美市場也一路血洗當(dāng)?shù)氐漠a(chǎn)品。想必大家都知道我說的是哪幾個(gè)游戲。

但可以確定的是，目前國內(nèi)做輿情分析的公司，還沒有誰能夠把海外輿情（特指非英語國家）分析做好。如果你有豐富的海外輿情抓取經(jīng)驗(yàn)，那么當(dāng)這些公司招聘的時(shí)候，你就有很高的競爭力。

盡職調(diào)查

除了游戲外，基于數(shù)據(jù)的盡職調(diào)查也是一個(gè)方向。投資人在確定是否要投資某個(gè)創(chuàng)業(yè)公司前，都會做盡職調(diào)查（DD）。其中基于數(shù)據(jù)的盡職調(diào)查（DDD）就是其中的重要一環(huán)。例如一個(gè)電商初創(chuàng)公司告訴投資人，他每個(gè)月的銷售額有幾百億，然后你用爬蟲爬一下他的商城，根據(jù)每個(gè)商品的銷量和評論，反推出他的月銷售額只有幾百元，那么你就能知道這個(gè)電商公司在騙投資人了。

又比如某個(gè)直播網(wǎng)站，對投資人宣稱自己的日活月活非常高，然后你用爬蟲監(jiān)控一下熱門主播的評論數(shù)，禮物數(shù)，設(shè)計(jì)一個(gè)公式計(jì)算出它的真實(shí)日活月活，兩邊一對比你就知道他們有沒有騙人了。

海外網(wǎng)站是新的藍(lán)海

只要你把視野放開，稍微研究一下我國臺灣、香港的網(wǎng)站，以及英法意德，巴西韓國，俄羅斯東南亞的網(wǎng)站，你就會發(fā)現(xiàn)：

1. 大部分網(wǎng)站幾乎沒有反爬蟲機(jī)制
2. 語料極其豐富
3. 小部分網(wǎng)站有極難的反爬蟲系統(tǒng)（Akamai），但是可以通過曲折繞過的方式拿到數(shù)據(jù)
4. 國內(nèi)幾乎沒有競爭對手，你爬得越多，你積累的原始資本就越大

如果你是個(gè)人開發(fā)者，你幾乎不用擔(dān)心有什么風(fēng)險(xiǎn)。因?yàn)椴粫腥藖碚夷愫炔琛?/p>

怎么跟外國的公司競爭？

有人可能會問，難道美國、歐洲自己沒有做爬蟲、做輿情的公司嗎？他們肯定也做了很多年了，為什么國內(nèi)的公司要找你，而不去找這些歐美本土的公司？

我認(rèn)為，就憑這五個(gè)字：你是自己人。

如果你是一家中國的公司，專注分析海外輿情。即便你的業(yè)務(wù)能力跟一家歐美公司差不多甚至稍微低一些（當(dāng)然低太多可不行），國內(nèi)的大公司在選擇合作伙伴的時(shí)候，一定會優(yōu)先考慮你，而不是歐美當(dāng)?shù)氐墓尽?/p>

無論從人性上，還是從法律合規(guī)上，選擇自己人都會安心很多。從人性上，中國人會選擇跟中國人合作。大家都在互聯(lián)網(wǎng)圈子，你這個(gè)公司怎么樣，你這個(gè)老板怎么樣，稍稍打聽一下就知道了。只要知道你確實(shí)有實(shí)力，為什么不找你？

從業(yè)務(wù)上，兩邊公司溝通都用中文，有什么問題線上聊一下或者出個(gè)差，早上出發(fā)中午就能到，溝通起來很方便。

大公司應(yīng)該怎么做爬蟲？

我提到如果你是個(gè)人開發(fā)者或者小公司，那么你幾乎不用擔(dān)心任何風(fēng)險(xiǎn)。盡管爬就是了。

但如果你是國內(nèi)的大公司，那么還是有一些注意事項(xiàng)的。因?yàn)榇蠊緯?dān)心像 GDPR 這樣的信息保護(hù)法，也會擔(dān)心如果爬蟲被發(fā)現(xiàn)了會影響自己的國際聲譽(yù)。但這些其實(shí)都不是什么大問題，都有辦法繞過去的。

具體做法跟本文的關(guān)系不大，我就先不講了。如果大家對爬蟲出海有興趣的話，請留言告訴我，我可以再分享一些具體的實(shí)踐經(jīng)驗(yàn)。

xdm，外包能干嗎？
終于，Python 也可以寫前端了
您看此文用   分  秒，轉(zhuǎn)發(fā)只需1秒