研究人員提出針對GPT-3等語言模型的偏差修正
大數(shù)據(jù)文摘出品
來源：VB
快速學(xué)習(xí)或從幾個示例中學(xué)習(xí)任務(wù)的能力是人工智能的關(guān)鍵與強項。像OpenAI的GPT-3這樣的大型AI自然語言模型無需精調(diào)即可執(zhí)行多次學(xué)習(xí)。
但是，新的研究卻發(fā)現(xiàn)，語言模型（尤其是GPT-3）的準(zhǔn)確性，在沒有校準(zhǔn)的情況下可能會“高度不穩(wěn)定”。
這項由加州大學(xué)伯克利分校、加州大學(xué)歐文分校和馬里蘭大學(xué)的科學(xué)家合作完成的研究主要聚焦于GPT-3等模型存在的缺陷。
OpenAI本身也指出，GPT-3在女性代詞旁邊放置了“naughty”等帶有主觀意識的單詞，而在“恐怖主義”之類的單詞附近放置了“伊斯蘭教”。
斯坦福大學(xué)博士候選人、Gradio創(chuàng)始人Abubakar Abid的一篇論文詳細描述了GPT-3產(chǎn)生的反穆斯林傾向。米德爾伯里國際研究中心的恐怖主義，極端主義和反恐中心聲稱，GPT-3可以可靠地產(chǎn)生“信息性”和“有影響力的”文本，這些文本可能“將個人激化成暴力的極右翼極端主義意識形態(tài)和行為”。
在假設(shè)GPT-3易受某些類型的不穩(wěn)定影響的前提下，研究人員使用來自數(shù)據(jù)集的訓(xùn)練示例（通過文本分類，事實檢索和信息提?。┩ㄟ^OpenAI API對模型進行了基準(zhǔn)測試。這些示例具有各種不同的格式和順序，包括問題答案模板，對話樣式模板以及類似于特定網(wǎng)頁的提示。
在他們的實驗中，研究人員發(fā)現(xiàn)，關(guān)于格式和順序的不同選擇可能會導(dǎo)致準(zhǔn)確性波動。例如，在GPT-3對情感示例進行分類時更改其順序會促使其準(zhǔn)確性從近機率（54％）轉(zhuǎn)變?yōu)樽钚滤剑?3％）。有趣的是，在訓(xùn)練示例中添加更多的訓(xùn)練示例并不一定會降低準(zhǔn)確性的差異，有些訓(xùn)練示例甚至?xí)p害準(zhǔn)確性。
研究人員說，他們發(fā)現(xiàn)了三個導(dǎo)致GPT-3等語言模型偏向某些答案的陷阱：多數(shù)標(biāo)簽偏見，新近度偏見和通用標(biāo)記偏見。多數(shù)標(biāo)簽和新近度偏差會使模型預(yù)測經(jīng)常出現(xiàn)或在提示即將結(jié)束時出現(xiàn)的答案。另一方面，常見的令牌偏向?qū)е履Ｐ透矚g在其預(yù)訓(xùn)練數(shù)據(jù)中頻繁回答的問題，例如“美國”而不是“圣盧西亞”。
研究人員試圖通過“校準(zhǔn)”輸出分布來抵消這些偏差，通過輸入無內(nèi)容的虛擬輸入（例如“ N / A”）來估計模型對某些答案的偏差。他們安裝了校準(zhǔn)參數(shù)，因此無內(nèi)容輸入對每個答案具有統(tǒng)一的分?jǐn)?shù)，他們聲稱無需任何培訓(xùn)數(shù)據(jù)就可以很好地設(shè)置參數(shù)。
實驗結(jié)果表明，校準(zhǔn)可以在提示格式和示例之間不斷提高GPT-3的準(zhǔn)確性，同時使準(zhǔn)確性更加穩(wěn)定。共同作者在描述其工作的論文中寫道：“通過詳細的分析，我們發(fā)現(xiàn)這種波動性是由語言模型的偏差引起的，例如，它們傾向于輸出最新或通用標(biāo)記的趨勢?！?/span>
“我們利用這些見識來開發(fā)上下文校準(zhǔn)，這是調(diào)整模型輸出概率的簡單程序，可提高準(zhǔn)確性，減少差異，并總體上使GPT-3之類的工具對最終用戶更有效?！?/span>
