岛国av在线观看网址国产,国产精品亚洲专区在线播放麻豆,www国产成人性爱,最近最好的2019中文,自拍偷拍综合网,福利一区二区,午夜AV在线,激情五月天第四色

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自學(xué)術(shù)頭條

世界衛(wèi)生組織（WHO）的人工智能健康資源助手 SARAH 列出了舊金山本不存在的診所的虛假名稱和地址。

Meta公司“短命”的科學(xué)聊天機(jī)器人 Galactica 憑空捏造學(xué)術(shù)論文，還生成關(guān)于太空熊歷史的維基文章。

今年2月，加拿大航空被命令遵守其客戶服務(wù)聊天機(jī)器人捏造的退款政策。

去年，一名律師因提交充滿虛假司法意見和法律引用的法庭文件而被罰款，這些文件都是由 ChatGPT 編造的。

……

如今，大語言模型（LLM）胡編亂造的例子已屢見不鮮，但問題在于，它們非常擅長一本正經(jīng)地胡說八道，編造的內(nèi)容大部分看起來都像是真的，讓人難辨真假。

在某些情況下，可以當(dāng)個(gè)樂子一笑而過，但是一旦涉及到法律、醫(yī)學(xué)等專業(yè)領(lǐng)域，就可能會(huì)產(chǎn)生非常嚴(yán)重的后果。

如何有效、快速地檢測大模型的幻覺（hallucination），已成為當(dāng)前國內(nèi)外科技公司和科研機(jī)構(gòu)競相關(guān)注的熱門研究方向。

如今，牛津大學(xué)團(tuán)隊(duì)提出的一種新方法便能夠幫助我們快速檢測大模型的幻覺——他們嘗試量化一個(gè)LLM產(chǎn)生幻覺的程度，從而判斷生成的內(nèi)容有多忠于提供的源內(nèi)容，從而提高其問答的準(zhǔn)確性。

研究團(tuán)隊(duì)表示，他們的方法能在LLM生成的個(gè)人簡介，以及關(guān)于瑣事、常識(shí)和生命科學(xué)這類話題的回答中識(shí)別出“編造”（confabulation）。

該研究意義重大，因?yàn)樗鼮闄z測 LLM 幻覺提供了一種通用的方法，無需人工監(jiān)督或特定領(lǐng)域的知識(shí)。這有助于用戶了解 LLM 的局限性，并推動(dòng)其在各個(gè)領(lǐng)域的應(yīng)用。

相關(guān)研究論文以“Detecting Hallucinations in Large Language Models Using Semantic Entropy”為題，已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。

在一篇同時(shí)發(fā)表的“新聞與觀點(diǎn)”文章中，皇家墨爾本理工大學(xué)計(jì)算機(jī)技術(shù)學(xué)院院長Karin Verspoor教授指出，該任務(wù)由一個(gè)LLM完成，并通過第三個(gè)LLM進(jìn)行評價(jià)，等于在“以毒攻毒”。

但她也寫道，“用一個(gè) LLM 評估一種基于LLM的方法似乎是在循環(huán)論證，而且可能有偏差?！辈贿^，作者指出他們的方法有望幫助用戶理解在哪些情況下使用LLM 的回答需要注意，也意味著可以提高LLM在更多應(yīng)用場景中的可信度。

如何量化 LLM 的幻覺程度？

我們先來了解一下，大模型的幻覺是如何產(chǎn)生的。

LLM的設(shè)計(jì)初衷是生成新內(nèi)容。當(dāng)你問聊天機(jī)器人一些問題時(shí)，它的回答并不是全部從數(shù)據(jù)庫中查找現(xiàn)成的信息，也需要通過大量數(shù)字計(jì)算生成。

這些模型通過預(yù)測句子中的下一個(gè)詞來生成文本。模型內(nèi)部有成千上億個(gè)數(shù)字，就像一個(gè)巨大的電子表格，記錄了詞語之間的出現(xiàn)概率。模型訓(xùn)練過程中不斷調(diào)整這些數(shù)值，使得它的預(yù)測符合互聯(lián)網(wǎng)海量文本中的語言模式。

因此，大語言模型實(shí)際上是根據(jù)統(tǒng)計(jì)概率生成文本的“統(tǒng)計(jì)老虎機(jī)”，搖桿一動(dòng)，一個(gè)詞便出現(xiàn)了。

現(xiàn)有的檢測 LLM 幻覺的方法大多依賴于監(jiān)督學(xué)習(xí)，需要大量的標(biāo)注數(shù)據(jù)，且難以泛化到新的領(lǐng)域。

在這項(xiàng)研究中，研究團(tuán)隊(duì)使用了語義熵的方法，該方法無需標(biāo)注數(shù)據(jù)，且在多個(gè)數(shù)據(jù)集和任務(wù)上表現(xiàn)出色。

語義熵（semantic entropy）是一種衡量語言模型生成的文本中潛在語義不確定性的方法，通過考慮詞語和句子在不同上下文中的意義變化來評估模型預(yù)測的可靠性。

該方法能檢測“編造”（confabulation）——這是“幻覺”的一個(gè)子類別，特指不準(zhǔn)確和隨意的內(nèi)容，常出現(xiàn)在LLM缺乏某類知識(shí)的情況下。這種方法考慮了語言的微妙差別，以及回答如何能以不同的方式表達(dá)，從而擁有不同的含義。

圖｜語義熵與虛構(gòu)內(nèi)容檢測簡述

如上圖所示，傳統(tǒng)的基于熵的不確定性度量在精確答案的識(shí)別上存在局限，例如，它將“巴黎”、“這是巴黎”和“法國的首都巴黎”視為不同答案。然而，在涉及語言任務(wù)時(shí)，這些答案雖表述不同但意義相同，這樣的處理方式顯然不適用。語義熵方法則在計(jì)算熵之前，先將具有相同意義的答案進(jìn)行聚類。低語義熵意味著大語言模型對其內(nèi)容含義具有很高的確定性。

另外，語義熵方法還能有效檢測長段落中的虛構(gòu)內(nèi)容。研究團(tuán)隊(duì)首先將生成的長答案分解為若干小事實(shí)單元。隨后，針對每個(gè)小事實(shí)，LLM 會(huì)生成一系列可能與之相關(guān)的問題。然后，原LLM會(huì)為這些問題提供M個(gè)潛在答案。接著，研究團(tuán)隊(duì)計(jì)算這些問題答案的語義熵，包括原始的小事實(shí)本身。高平均語義熵表明與該小事實(shí)相關(guān)的問題可能存在虛構(gòu)成分。在這里，由于即使用詞差異顯著，但生成的答案通常傳達(dá)相同意義，語義熵成功將事實(shí)1分類為非虛構(gòu)內(nèi)容，而傳統(tǒng)的熵方法則可能忽略這一點(diǎn)。

研究團(tuán)隊(duì)主要在以下兩個(gè)方面對比了語義熵與其他檢測方式的差別。

1.檢測問答和數(shù)學(xué)問題中的虛構(gòu)內(nèi)容

圖｜檢測句子長度生成中的虛構(gòu)內(nèi)容。

從上圖中可以看出，語義熵優(yōu)于所有基線方法。在 AUROC 和 AURAC 兩個(gè)指標(biāo)上，語義熵均展現(xiàn)了更好的性能，這表明其能夠更準(zhǔn)確地預(yù)測 LLM 錯(cuò)誤，并提高模型拒絕回答問題時(shí)的準(zhǔn)確率。

2.檢測傳記中的虛構(gòu)內(nèi)容

圖｜檢測段落長度傳記中的 GPT-4 虛構(gòu)內(nèi)容。

如上圖所示，語義熵估計(jì)器的離散變體在 AUROC 和 AURAC 指標(biāo)（在 y 軸上得分）上均優(yōu)于基線方法。AUROC 和 AURAC 都明顯高于兩個(gè)基線。在回答超過 80% 的問題時(shí)，語義熵的準(zhǔn)確性更高。只有當(dāng)拒絕最有可能是虛構(gòu)內(nèi)容的前 20% 答案時(shí)，P(True) 基線的剩余答案準(zhǔn)確性才好于語義熵。

不足與展望

研究團(tuán)隊(duì)提出的概率方法充分考慮了語義等價(jià)性，成功識(shí)別出一類關(guān)鍵的幻覺現(xiàn)象——即由于 LLM 知識(shí)缺乏而產(chǎn)生的幻覺。這類幻覺構(gòu)成了當(dāng)前眾多失敗案例的核心，且即便模型能力持續(xù)增強(qiáng)，由于人類無法全面監(jiān)督所有情境和案例，這類問題仍將持續(xù)存在。虛構(gòu)內(nèi)容在問答領(lǐng)域中尤為突出，但同樣在其他領(lǐng)域也有所體現(xiàn)。

值得注意的是，該研究使用的語義熵方法無需依賴特定的領(lǐng)域知識(shí)，預(yù)示著在抽象總結(jié)等更多應(yīng)用場景中也能取得類似的進(jìn)展。此外，將該方法擴(kuò)展到其他輸入變體，如重述或反事實(shí)情景，不僅為交叉檢查提供了可能，還通過辯論的形式實(shí)現(xiàn)了可擴(kuò)展的監(jiān)督。這表明該方法具有廣泛的適用性和靈活性。語義熵在檢測錯(cuò)誤方面的成功，進(jìn)一步驗(yàn)證了LLM在“知道自己不知道什么”方面的潛力，實(shí)際上可能比先前研究所揭示的更為出色。

然而，語義熵方法主要針對由 LLM 知識(shí)不足導(dǎo)致的幻覺，比如無中生有或張冠李戴，對于其他類型的幻覺，比如由訓(xùn)練數(shù)據(jù)錯(cuò)誤或模型設(shè)計(jì)缺陷導(dǎo)致的幻覺，可能效果不佳。此外，語義聚類過程依賴于自然語言推理工具，其準(zhǔn)確性也會(huì)影響語義熵的估計(jì)。

未來，研究人員希望進(jìn)一步探索語義熵方法在更多領(lǐng)域的應(yīng)用，并與其他方法相結(jié)合，從而提高 LLM 的可靠性和可信度。例如，可以研究如何將語義熵方法與其他技術(shù)，比如與對抗性訓(xùn)練和強(qiáng)化學(xué)習(xí)相結(jié)合，從而進(jìn)一步提高 LLM 的性能。此外，他們還將探索如何將語義熵方法與其他指標(biāo)相結(jié)合，從而更全面地評估 LLM 的可信度。

但需要我們意識(shí)到的是，只要 LLM 是基于概率的，其生成的內(nèi)容中就會(huì)有一定的隨機(jī)性。投擲100個(gè)骰子，你會(huì)得到一個(gè)模式，再投一次，你會(huì)得到另一個(gè)模式。即使這些骰子像 LLM 一樣被加權(quán)來更頻繁地生成某些模式，每次得到的結(jié)果仍然不會(huì)完全相同。即使每千次或每十萬次中只有一次錯(cuò)誤，當(dāng)你考慮到這種技術(shù)每天被使用的次數(shù)時(shí)，錯(cuò)誤的數(shù)量也會(huì)相當(dāng)多。這些模型越準(zhǔn)確，我們就越容易放松警惕。

對于大模型的幻覺，你怎么看？

參考資料：

https://www.nature.com/articles/s41586-024-07421-0

https://www.technologyreview.com/2023/12/19/1084505/generative-ai-artificial-intelligence-bias-jobs-copyright-misinformation/