之前朋友圈和各大公號傳播了一篇文章《?只因?qū)懥艘欢闻老x，公司 200 多人被抓！》，講述程序員因?qū)懪老x而被刑偵的事件。很多爬蟲工程師看了之后感覺人心惶惶的，當時大家討論最熱是：爬蟲究竟是合法還是違法的？
這篇文章我個人覺得總結(jié)得不錯，大家可以看看。另外我們 NightTeam 的 Loco 寫了一篇《請不要污名化爬蟲！》也對爬蟲合法違法問題做了闡述，也推薦大家看一看。
“
閱讀本文大概需要 5 分鐘。
”據(jù)說互聯(lián)網(wǎng)上 50%以上的流量都是爬蟲創(chuàng)造的，也許你看到很多熱門數(shù)據(jù)都是爬蟲所創(chuàng)造的，所以可以說無爬蟲就無互聯(lián)網(wǎng)的繁榮。
這個話題涉及到我們很多程序員的日常工作，所以有必要和大家細聊一下。01.技術(shù)無罪？很多朋友給我留言：技術(shù)是無罪的，技術(shù)本身確實是沒有對錯的，但使用技術(shù)的人是有對錯的，公司或者程序員如果明知使用其技術(shù)是非法的，那么公司或者人就需要為之付出代價。在今年國家頒布《中華人民共和國網(wǎng)絡安全法》之后，很多以前處于灰色地帶的業(yè)務都不能做了。君不見之前曾經(jīng)非常火的各種社工庫網(wǎng)站，現(xiàn)在絕大部分都已經(jīng)消失匿跡了嗎？因為最新的安全法強調(diào)：販賣個人信息超過50條屬于“情節(jié)嚴重”，需要追求其法律責任。很多草根站長都紛紛主動關(guān)閉了網(wǎng)站；還有很多涉及版權(quán)信息的網(wǎng)站，比如書籍、影視劇、課程等后期也會面臨越來越嚴格的審查，這就是目前大的形勢。2014年12月20日，人人影視字幕站發(fā)布微博稱，人人影視正式關(guān)閉，并表示或?qū)⒗^續(xù)為正版商提供翻譯服務，也可能轉(zhuǎn)變?yōu)橛懻撋鐓^(qū)的形式。2019年6月，吾愛破解因版權(quán)問題關(guān)站整改........隨著中國經(jīng)濟的不斷往前走，知識產(chǎn)權(quán)問題會越來越重視，非法爬蟲是現(xiàn)在一個重要的打擊部分，如果有程序員走在灰色的邊緣盡早收手，不要因為一點小的收益導致觸犯法律，從而得不償失。技術(shù)是無罪的，但是用到了錯的地方代價也是非常巨大的。02.爬蟲崗位人人自危我在拉鉤上搜索：爬蟲工程師，顯示有 217 條相關(guān)招聘信息，薪資從10-60k 都有，說明市場上對爬蟲的需求是很大的。
前天文章發(fā)出去之后有很多程序員給我留言：- 我們領(lǐng)導安排我爬取公司內(nèi)部的信息，這算不算犯罪呢？
- 爬取網(wǎng)上公開的信息，這算不算犯罪呢？
- 寫了一段代碼上傳到 Github，被人用了犯法嗎？
簡單回答一下這些問題：爬取公司內(nèi)部信息有公司授權(quán)當然不算犯罪的，但是公司內(nèi)部不用接口而用爬蟲不知道是為什么？
爬取網(wǎng)上公開信息不犯法，但如果大量開啟爬蟲導致對方服務器崩潰也是違法的，這屬于暴力攻擊的范疇了。
寫了一段代碼上傳到 Github 上面，有人利用你的代碼做了其它非法的事情，絕大多數(shù)都沒有問題的，但如果你寫的軟件涉及到入侵、暴力破解、病毒等就不好說了。
還有朋友認為這事責任在企業(yè)不在程序員，日常工作中項目初期設計和最后上線需要通過公司的法務批準，所有代碼必須有其他程序員同事評審通過才能提交。這位朋友說的挺對的，按道理每個公司都應該有法務和風控在前面，后面才是產(chǎn)品設計和程序員開發(fā)的事情，但如果一家公司為了利益，老板可以直接讓這兩個部門閉嘴，后面程序員可以不干嗎？更甚至很多公司其實就沒有這兩個部門或者說形同虛設。那么做為程序員自己也需要操一份心，凡是涉及到入侵類的程序都不能干，因為有一個東西叫做：單位犯罪。單位犯罪，是指公司、企業(yè)、事業(yè)單位、機關(guān)、團體為單位謀取利益，經(jīng)單位決策機構(gòu)或者負責人決定實施的，法律規(guī)定應當負刑事責任的危害社會的行為。我國刑法對單位犯罪原則上采取雙罰制度，即單位犯罪的，對單位判處罰金，并對其直接負責的主管人員和其他直接責任人員判處刑罰。03.什么樣的爬蟲是非法的？爬蟲不能涉及個人隱私！如果爬蟲程序采集到公民的姓名、身份證件號碼、通信通訊聯(lián)系方式、住址、賬號密碼、財產(chǎn)狀況、行蹤軌跡等個人信息，并將之用于非法途徑的，則肯定構(gòu)成非法獲取公民個人信息的違法行為。也就是說你爬蟲爬取信息沒有問題，但不能涉及到個人的隱私問題，如果涉及了并且通過非法途徑收益了，那肯定是違法行為。另外，還有下列三種情況，爬蟲有可能違法，嚴重的甚至構(gòu)成犯罪：爬蟲程序規(guī)避網(wǎng)站經(jīng)營者設置的反爬蟲措施或者破解服務器防抓取措施，非法獲取相關(guān)信息，情節(jié)嚴重的，有可能構(gòu)成“非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪”。
爬蟲程序干擾被訪問的網(wǎng)站或系統(tǒng)正常運營，后果嚴重的，觸犯刑法，構(gòu)成“破壞計算機信息系統(tǒng)罪”
爬蟲采集的信息屬于公民個人信息的，有可能構(gòu)成非法獲取公民個人信息的違法行為，情節(jié)嚴重的，有可能構(gòu)成“侵犯公民個人信息罪”。
現(xiàn)在網(wǎng)上有很多付費的課程，比如極客時間、Gitchat、慕課網(wǎng)、知識星球等等，這些付費內(nèi)部信息如果被非法爬取手法出售獲利，一種違法行為。之前我就遇到一個網(wǎng)友，把各個知識星球的內(nèi)容都抓下來，合到一起自己去賣，自作聰明覺得發(fā)現(xiàn)了一個大的商機，其實自己不知道這個行為其實很危險，風險和收益明顯不對等。我這兩天看的時候，他的一個公眾號都被封了，后來又轉(zhuǎn)移了一個小號繼續(xù)搞，遲早又是被封的命運，真的很不值當。最可憐是那些買他服務的用戶，因為他宣傳時承諾永久，肯定永久不了。04.什么樣的爬蟲是合法的？1、 遵守 Robots 協(xié)議Robots 協(xié)議也叫 robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的 ASCII 編碼的文本文件，它通常告訴網(wǎng)絡搜索引擎的漫游器（又稱網(wǎng)絡蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。Robots 協(xié)議就是告訴爬蟲，哪些信息是可以爬取，哪些信息不能被爬取，嚴格按照 Robots 協(xié)議 爬取網(wǎng)站相關(guān)信息一般不會出現(xiàn)太大問題。2、不能造成對方服務器癱瘓但不是說只要遵守 Robots 協(xié)議的爬蟲就沒有問題，還涉及到兩個因素，第一不能大規(guī)模爬蟲導致對方服務器癱瘓，這等于網(wǎng)絡攻擊。2019年05月28日國家網(wǎng)信辦發(fā)布的《數(shù)據(jù)安全管理辦法（征求意見稿）》中，擬通過行政法規(guī)的形式，對爬蟲的使用進行限制：網(wǎng)絡運營者采取自動化手段訪問收集網(wǎng)站數(shù)據(jù)，不得妨礙網(wǎng)站正常運行；此類行為嚴重影響網(wǎng)站運行，如自動化訪問收集流量超過網(wǎng)站日均流量三分之一，網(wǎng)站要求停止自動化訪問收集時，應當停止。3、不能非法獲利惡意利用爬蟲技術(shù)抓取數(shù)據(jù)，攫取不正當競爭的優(yōu)勢，甚至是牟取不法利益的，則可能觸犯法律。實踐中，非法使用爬蟲技術(shù)抓取數(shù)據(jù)而產(chǎn)生的糾紛其實數(shù)量并不少，大多是以不正當競爭為由提請訴訟。舉個例子，如果你把大眾點評上的所有公開信息都抓取了下來，自己復制了一個一模一樣的網(wǎng)站，并且還通過這個網(wǎng)站獲取了大量的利潤，這樣也是有問題的。一般情況下，爬蟲都是為了企業(yè)獲利的，因此需要爬蟲開發(fā)者的道德自持和企業(yè)經(jīng)營者的良知才是避免觸碰法律底線的根本所在。05.最后最近看了很多關(guān)于程序員出事的事件，東南亞程序員被打，多個大數(shù)據(jù)公司被查等等。做為一名普通的程序員，希望大家也可以多關(guān)注此類事件，從而提醒自己。有風險的行業(yè)謹慎進入，比如現(xiàn)金貸、不合規(guī)的P2P、賭博類游戲、黑五類產(chǎn)品的行業(yè)。如果公司安排入侵某個網(wǎng)站數(shù)據(jù)，或者有同事/朋友邀請泄露公司信息的都需要保持警惕，有時候一個很小的動作都有可能導致出問題。我們絕大多數(shù)公司和個人使用的爬蟲都是沒有問題的，不必人人自危，只要把握住不要爬取個人信息，不要利用爬蟲非法獲利，不要爬取網(wǎng)站的付費內(nèi)容，基本上不會有問題。程序員是世界上最單純的一批人，也是一批高智商低情商的人，工作是工作但也需要適當保持謹慎，對于一些游走在法律邊緣的事情請保持距離。敬畏法律，遵紀守法，從我做起。
參考：https://www.zhihu.com/question/291554395
好文和朋友一起看~ 