GPT-3泄露了我的真實(shí)姓名
大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自夕小瑤的賣萌屋
作者：天于刀刀
世界上總有這么一群人，他們是高智商科技狂，是新時(shí)代技術(shù)熱點(diǎn)的弄潮兒，更是充滿神秘感潛藏在里世界默默注視著時(shí)代發(fā)展的極客。
而 Hacker News 這一網(wǎng)站致力于提供最新國際威脅情報(bào)、黑客動向以及維基解密資訊，讓我們得以一窺這個(gè)灰色區(qū)域。
最近，有關(guān) GPT-3 的消息再次引發(fā) Hacker News 的熱議。
而這一次，GPT-3 并不是通過撰寫一篇雞湯文 證明自己在 AIGC 賽道的能力而聞名[1]，而是成為了模型數(shù)據(jù)泄露的“犯罪嫌疑人”。
用戶 BoppreH 發(fā)帖稱，盡管他是一個(gè)非常注重保護(hù)個(gè)人隱私的用戶，但是當(dāng)他向 GPT-3 輸入他的網(wǎng)名時(shí)，輸出結(jié)果中意外地包含了他的真實(shí)姓名！[2]
該用戶還提到，之所以能夠認(rèn)定這確實(shí)是他的真實(shí)姓名，是因?yàn)樗恼婷浅：币姡瑫r(shí)也從來沒有主動在網(wǎng)絡(luò)上以任何方式將他的網(wǎng)名和真名聯(lián)系在一起。
有的黑客朋友提出，帖主疏忽了一種可能性，其實(shí)能夠通過 Google 搜索他用戶名的方式，能追蹤到他同昵稱的 Github 中的某一個(gè)項(xiàng)目 repo 中 licence 的簽名，這恰巧也就是他的真名。（好復(fù)雜）
但是這樣的信息檢索和關(guān)聯(lián)能力已經(jīng)遠(yuǎn)遠(yuǎn)地超出普通搜索引擎和機(jī)器人爬蟲的能力范圍，莫非 LM 語言大模型就是下一代智能搜索的雛形？如果 GPT-3 真的擁有著如此的信息關(guān)聯(lián)能力，這簡直和童話故事中的魔鏡一樣，堪稱魔法智能了。
毫無疑問的， GPT-3 訓(xùn)練數(shù)據(jù)的構(gòu)建方式非常值得引起大家思考，同時(shí)也讓不少人再一次對大模型“黑箱推理導(dǎo)致的信息泄露”產(chǎn)生了激烈的討論。
黑客社區(qū)的討論主要聚焦在于隱私保護(hù)問題上，通過引用大量法律（主要是誹謗法相關(guān)法規(guī)）以及各個(gè) Lincence 開源協(xié)議，最終明確了兩個(gè)概念：
“被遺忘權(quán)”（ right to be forgotten ）和“銘記權(quán)”（ right to remember ）。
If I had found my personal information on Google search results, or Facebook, I could ask the information to be removed, but GPT-3 seems to have no such support. [2]
這兩個(gè)概念均來自或擴(kuò)展于歐洲聯(lián)盟《通用數(shù)據(jù)保護(hù)條例》（ General Data Protection Regulation，簡稱 GDPR ），前身是歐盟在1995年制定的《計(jì)算機(jī)數(shù)據(jù)保護(hù)法》。其中重點(diǎn)規(guī)定了：
對違法企業(yè)的罰金最高可達(dá)2000萬歐元（約合1.5億元人民幣）或者其全球營業(yè)額的4%，以高者為準(zhǔn)。
網(wǎng)站經(jīng)營者必須事先向客戶說明會自動記錄客戶的搜索和購物記錄，并獲得用戶的同意，否則按“未告知記錄用戶行為”作違法處理。
企業(yè)不能再使用模糊、難以理解的語言，或冗長的隱私政策來從用戶處獲取數(shù)據(jù)使用許可。
明文規(guī)定了用戶的“被遺忘權(quán)”，即用戶個(gè)人可以要求責(zé)任方刪除關(guān)于自己的數(shù)據(jù)記錄。
舉個(gè)例子，今年著名的“女子取快遞被造謠出軌”案件中，受害人完全能夠基于“被遺忘權(quán)”，要求各大搜索引擎和網(wǎng)站下架相關(guān)搜查結(jié)果和詞條，否則企業(yè)將面臨高額罰款。
因此“被遺忘權(quán)”主要是針對公司組織的規(guī)定。
而“銘記權(quán)”則與之相對應(yīng)，來源于古早時(shí)期互聯(lián)網(wǎng)開放透明的基石思想，中心理念是讓互聯(lián)網(wǎng)見證一切，不容歷史被篡改。
維基百科就是一個(gè)最典型的代表，每一個(gè)人都有權(quán)利去記錄去修改一些不精準(zhǔn)的詞條，并且最終的結(jié)果一定是非?？陀^公正的。
例如在之前的例子中，行使“銘記權(quán)”的個(gè)體需要公允地記錄“女子取快遞被造謠出軌”案件的前因后果，不能斷章取義。
因此“銘記權(quán)”是每一個(gè)網(wǎng)絡(luò)公民都應(yīng)該自覺遵守的道德規(guī)范，這是一個(gè)針對個(gè)人的限制。
隨著國內(nèi)信息技術(shù)的不斷發(fā)展，我國法律也逐漸填補(bǔ)減少了這一塊灰色地帶的判定。
我們可以欣慰地看到法院最終在“女子取快遞被造謠出軌”案中判處被告方誹謗罪，且有期徒刑1年，緩刑2年，因此我們也有足夠的理由相信隨著社會的進(jìn)步，相關(guān)合規(guī)性文件會越來越規(guī)范。
如果說在信息世界中黑客們是鋒利的矛，那我們算法工程師就是一個(gè)堅(jiān)固的盾。
當(dāng)今業(yè)界幾乎公認(rèn)的一個(gè)共識在于，數(shù)據(jù)才是最寶貴的資產(chǎn)，而算法工程師的工作就是在這個(gè)寶貴資產(chǎn)中挖掘更多的變現(xiàn)渠道。
而現(xiàn)在，萬一讓合規(guī)部門的法務(wù)小姐姐知道你的模型可能涉嫌泄露公司數(shù)據(jù)，或者侵犯用戶隱私，最終讓公司承擔(dān)預(yù)期之外的風(fēng)險(xiǎn)，給你一個(gè)核善的眼神自我體會一下。
其實(shí)，通過他人模型挖掘數(shù)據(jù)不是一個(gè)新鮮的課題。
尤其是在數(shù)據(jù)冷啟動的業(yè)務(wù)中，花費(fèi)高昂成本去專門建立一個(gè)標(biāo)注任務(wù)簡直是天方夜談，剩下的除了使用無監(jiān)督模型，只有使用開源模型進(jìn)行一波數(shù)據(jù)增強(qiáng)了。
最經(jīng)典的操作莫過于機(jī)器翻譯任務(wù)中摸著谷歌和百度翻譯引擎進(jìn)行小語種翻譯、回譯等方式擴(kuò)充數(shù)據(jù)集的操作了。
此外，甚至專門還有文章研究如何通過攻擊大模型來挖掘訓(xùn)練數(shù)據(jù)（驚了，感覺第一個(gè)想到這個(gè)發(fā)文方向的人絕對腦子很活），它的名字起的非常直白，就叫做 Extracting Training Data from Large Language Models [3]，研究人員來自谷歌、斯坦福、伯克利、東北、 OpenAI、哈佛和蘋果，甚至還有配套開源代碼哦 [4]。
在這篇文章中，作者主要做出了以下幾個(gè)貢獻(xiàn)：
提出了一種簡單有效的從大模型中獲取序列數(shù)據(jù)的方式；
探究了模型會造成隱私泄露的原因——過擬合（ overfitting ）；
量化地定義了大模型的“記憶力”（ k-Edietic Memorization ）；
探討了如何避免泄露的幾種方式。
首先讓我們跟隨作者腳步，兩步走套取 GPT-2 大模型中的數(shù)據(jù)：第一步，使用 prompt 技巧構(gòu)建合理的前綴，并輸入大模型，獲得結(jié)果；第二步，針對獲得結(jié)果進(jìn)行排序，同時(shí)使用搜索引擎確認(rèn)哪些信息是完全檢索自互聯(lián)網(wǎng)，哪些是模型自我生成的。
在文中作者為了確認(rèn)這套工作流的可行性特意聯(lián)系了 OpenAI 訪問了他們的原始訓(xùn)練集，最終他們確認(rèn)了這套流程的有效性。
看完這套動作小編只想說，prompt 工程師永遠(yuǎn)滴神，大佬扎堆的項(xiàng)目最終竟然也是在第二步中靠人工手動搜索打標(biāo)（捂臉）。
好在后續(xù)工作中大佬的不少討論還是非常高大上洋氣的。
例如作者認(rèn)為模型泄露訓(xùn)練數(shù)據(jù)的本質(zhì)是因?yàn)樵陉P(guān)系推理的過程中，對訓(xùn)練集發(fā)生了過擬合的現(xiàn)象。
雖然隨著模型參數(shù)規(guī)模和訓(xùn)練規(guī)模的不斷增大，train loss 的平均值只是比 valid loss 的平均值稍微小一些，不存在傳統(tǒng)意義上的過擬合現(xiàn)象，但是他在一些訓(xùn)練樣本上依舊有著非常反常的非常低的 loss。這可能也是一種過擬合的形式。
同時(shí)為了量化解釋大模型對于每個(gè)樣本的記憶能力，結(jié)合 prompt 前綴，作者還定義了大模型的記憶力。
例如，假設(shè)我們給大模型輸入“我的算法女神是______”，然后輸出結(jié)果為“夕小瑤”！那么我們就稱“夕小瑤”這個(gè)信息是已經(jīng)被模型抓取到的知識。
再假設(shè)“夕小瑤”在訓(xùn)練集中最多出現(xiàn)了 k 次，那么我們就稱“夕小瑤”這個(gè)字段是被模型 k 次異常清晰地記憶的。
在后續(xù)的實(shí)驗(yàn)中作者發(fā)現(xiàn)，k 越低的字符串在面臨攻擊時(shí)會泄露更多的數(shù)據(jù)，無論是從句子長度還是數(shù)量上。這也意味著，潛在的更私密的信息越有可能被泄露。這是否無意中解釋了之前 GPT-3 泄露老哥真名的原因：同時(shí)滿足了語料的稀缺性和稀疏性。
最后作者也針對了可能的一些減少模型數(shù)據(jù)泄露的方式進(jìn)行了探究和暢想，例如使用差分隱私法（ Differential Privacy ）訓(xùn)練模型，限制敏感數(shù)據(jù)在訓(xùn)練集中的出現(xiàn)，在下游任務(wù)的 finetuning 中讓模型“忘記”一些隱私，或是專門開發(fā)審計(jì)模型對模型輸出進(jìn)行審查。
但是可以確定的是，無論哪一種方案都或多或少地會影響到模型在線的業(yè)務(wù)性能，這一切都是 tradeoff。
可以預(yù)見的將來，或許會有越來越多有關(guān) AI 侵犯用戶隱私的問題出現(xiàn)，隨著相關(guān)法規(guī)發(fā)條的逐步完善，說不定有朝一日算法工程師中也會有一個(gè)類似于數(shù)據(jù)安全“白手套”的合規(guī)測試崗位，專門為公司測試避免深度學(xué)習(xí)模型導(dǎo)致的重要信息的外泄問題。
算法專家和數(shù)據(jù)專家們，你，做好業(yè)務(wù)信息泄露的準(zhǔn)備了嗎。
參考文獻(xiàn)：
[1] Feeling unproductive? Maybe you should stop overthinking, https://news.ycombinator.com/item?id=23893817
[2] Ask HN: GPT-3 reveals my full name - can I do anything?，https://news.ycombinator.com/item?id=31883373
[3] Extracting Training Data from Large Language Models, https://arxiv.org/abs/2012.07805
[4] Training data extraction from GPT-2, https://github.com/ftramer/LM_Memorization
