DeepMind再登Nature封面！2000年前殘斷古希臘文，完形填空七成準
??新智元報道??
??新智元報道??
編輯：袁榭 好困
【新智元導讀】對英語文本做完形填空，是折磨數代中國學生的噩夢。現在DeepMind宣布，他們的AI連兩千年前的古希臘文完形填空都能做出70分以上的成績，簡直吊打了幾億人類。
最近，Nature的常客DeepMind似乎有些「不務正業(yè)」？
?
2月才剛學會如何控制核聚變，這次又制霸了古希臘文，還順便上了封面。
?
古希臘文版本：https://t.ly/ZKYW
「伊薩卡」AI復原佚文
2500多年前，希臘人開始在石頭、陶器和金屬上書寫，以記錄從租契、法律到日歷、神諭的所有內容，這是歷史學家詳細了解泛地中海區(qū)域歷史的根基。
由于年代久遠，這些記錄多數都遭到了損壞，內容并不完整。
?
更不幸的是，當代史學界的文本修復技術，與18世紀的技術核心幾乎沒差別：用目標文本材料比對其他更詳盡、可解讀的傳世記錄材料，用近于偵探推理的思路來推測殘斷文本。
?
修復的銘文記錄了一個雅典衛(wèi)城在公元前485或484年頒布的法令
?
DeepMind與威尼斯大學人文系、牛津大學古典學院和雅典經濟大學信息學系合作，探索機器學習如何幫助歷史學家更好地解讀這些殘佚文本，從而讓人們更深入地了解古代歷史，并釋放AI與歷史學家之間的合作潛力。
?
在發(fā)表于《自然》雜志上的論文中，這些機構共同推出了名為「伊薩卡」（Ithaca）的AI，這是第一個可以恢復受損銘文缺失文本、識別其原始位置并確定其書寫時間的深度神經網絡AI。
?
論文鏈接：https://www.nature.com/articles/s41586-022-04448-z
?
「伊薩卡」以史詩《奧德賽》中的希臘島嶼命名，基于DeepMind在2019年提出的「皮媞亞」（Pythia）文字修復系統(tǒng)，并在性能上有了史詩級的提升。
?
目前，DeepMind已將「伊薩卡」的代碼、訓練前的模型等全部開源。
?
項目鏈接：https://github.com/deepmind/ithaca#restoring-and-attributing-ancient-texts-using-deep-neural-networks
?
修復準確率加成47%
修復準確率加成47%
?
「伊薩卡」是一種基于Transformer的人工神經網絡。
其數據訓練集是帕卡德人文學院的希臘銘文文本數碼庫，這是世界上最大的古希臘銘文數據庫，其中包含大約78,608條已解讀好的古希臘銘文。
?
根據評估，「伊薩卡」的頭20條預測表現比前任「皮媞亞」優(yōu)化了1.5倍。
?
在單獨恢復受損文本方面，「伊薩卡」的字符錯誤率為26.3%、比單獨人工預測的結果好2.2倍，最確定預測結果的準確率達到了61.8%。
?
「伊薩卡」在識別銘文原始位置方面的準確率達到了70.8%，并且可以將文本的書寫時間確定在其真實時間區(qū)間的平均值差異29.3年、中位值差異3年的范圍內。而人工確定時間的精度是在真實時間區(qū)間的平均值差異144.4年、中位值差異94.5年的范圍內。
?
伊薩卡的架構
?
測試中，DeepMind將短語「δ?μο το αθηνα?ων」（雅典的人民）中的「δημ」被隱去。伊薩卡不僅修復了文本，而且還預測了寫作的時間和地點。
?
此外，「伊薩卡」也顯示出了人機合作在推進歷史解釋、確定歷史事件的相對年代、甚至為當前的歷史方法論探討做出貢獻的潛力。
?
歷史專家在單獨修復古代文本時達到了25%的準確率。但當使用「伊薩卡」時，字符錯誤率降低到18.3%、準確率提高到71.7%，在字符錯誤率上改善了3.2倍、在預測準確率上改善了2.8倍，超過了模型或個人各自的單獨表現。
?
在測試集上對文本修復、地理（地區(qū)）和時間歸屬（日期）進行了評估
?
AI當助手，歷史學得好
AI當助手，歷史學得好
?
自然語言處理模型通常使用單詞進行訓練，因為它們在句子中出現的順序、以及它們之間的關系提供了額外的上下文背景和含義。
例如，「很久很久之前」（once upon a time）的意思遠不是這個短語中的每個單字的意涵加總。
然而，歷史學家想分析的許多銘文都已損壞，其中大塊的文字佚失。
研究團隊為了確保AI模型在解讀這種缺損銘文時仍有效，就要用單詞/詞組和單個字母同時輸入，對AI進行訓練。
伊薩卡的輸出
?
(a) 對雅典銘文中6個缺失字符的修復預測，綠色表示正確的預測結果（συμμαχ?α，「聯盟」）。
?
注意這些字眼的預測輸出（?κκλησ?α，「公民大會」；προξεν?α，「城邦與異邦人之間的條約」），被AI自動用紅色標出。
?
這些字眼常會出現在雅典的政治諭令中，AI特別注意到這些字符，體現了伊薩卡對文本背景的理解能力。
?
(b) 來自阿摩爾戈斯的銘文的地域歸屬。伊薩卡的頭一個預測是正確的，其他最接近的預測也在鄰近地區(qū)。
?
(c) 德洛斯島銘文的日期分布。公元前300-250年的真實日期區(qū)間為灰色；伊薩卡的預測分布為黃色，其平均值為公元前273年（綠色）。
?
(d) 「伊薩卡」AI將銘文句子中的個人姓名(Νικ?α?，「尼基亞斯」)和個人頭銜(στρατεγο??，「將軍」)自動變色標出。尼基亞斯對西西里島的遠征是古典雅典史大事，這佐證了「伊薩卡」判讀句子的準確性。
?
為了最大限度地發(fā)揮「伊薩卡」作為研究工具的價值，DeepMind還創(chuàng)建了視覺輔助工具，以確保「伊薩卡」的研究結果易于被歷史學家解讀：
?
恢復假說：「伊薩卡」為文本恢復任務生成了幾個預測假說，供歷史學家利用他們的專業(yè)知識進一步精選。
?
地域歸屬：「伊薩卡」通過為歷史學家提供所有可能預測的概率分布，來顯示其判讀結果的不確定性，而非輸出單一的篤定結論。因此，它給出銘文可能出現的84個不同古代地區(qū)的概率分布，并在數字地圖上將這些結果可視化，以闡明古代世界可能存在的潛在地理聯系。
?
年代歸屬：在對文本進行時代估測時，「伊薩卡」會生成從公元前800年-公元800年間的所有可能時點的分布。這可以使歷史學家調整特定日期范圍的置信度。
?
顯著性映射：為了將結果更好地傳達給歷史學家，「伊薩卡」使用計算機視覺的常用技術，來識別哪些輸入序列對預測的貢獻最大。然后在輸出結果時，以不同顏色顯示出讓伊薩卡預測缺失文本、位置和日期的關鍵線索單詞。
?
?
圖中處理的古希臘文書記錄，是公元前361年雅典城邦與色薩利城邦間結盟的記錄。使用顯著性映射方法，DeepMind開發(fā)者讓「伊薩卡」AI在輸出佚失的「盟約」字樣時自動對「雅典人」和「色薩利人」字眼改變顏色。
?
銘文為古希臘的思想、語言和社會發(fā)展提供了第一手的證據
為了更加深入地測試伊薩卡的性能，DeepMind用一個不包含指向精確時間的字符的銘文數據集上對AI進行了重新訓練，然后提交了包含早期字符的文本讓「伊薩卡」再進行分析。
?
結果，「伊薩卡」對法令文本的平均預測日期是公元前421年，這與最新的史學界研究突破相一致，展示了機器學習如何為圍繞古希臘史上最重要時刻之一的研究發(fā)揮助益。
?
「伊薩卡」AI對處理的古希臘銘文的年代估測值、帕卡德人文學院的舊有銘文年代估計值、與歷史學界最新的銘文年代精確估計值對比
?
學界舊有估測與最新成果之間差了平均27年，而AI估測與學界最新成果之間只差平均5年。
為何選擇古希臘？
DeepMind選用古希臘銘文開發(fā)「伊薩卡」AI，是因為殘斷的古希臘銘文材料在種類與文字量上都足夠變化多樣，有測試AI的空間。并且古希臘字母與文本的今存語料數據也足夠詳實，方便用作AI的基礎訓練集。
與此同時，古希臘史在人類理解地中海世界方面有重大意。
目前的歷史學界對一系列重要的雅典法令的確切頒布日期存在分歧，這些法令是在蘇格拉底、伯里克利等名人生活的時代制定的。
?
長期以來，這些法令一直被認為是在公元前446/445年之前制定的，而最新的證據表明真實的日期其實為公元前420年代。
雖然這些時間看起來差異很小，但精確日期對于學界理解古典雅典的政治演變關鍵至為重要。
?
如果簡體中文讀者要更容易理解，不如想象微信公眾號走紅的日期是1991年、2001年、2011年還是2015年，對于百代后的傳媒史研究的意義如何。
除此之外，古希臘史只是廣闊的全球文明圖景的一部分。
?
DeepMind表示，目前正在研究使用其他古代語言訓練不同版本的「伊薩卡」，歷史學家已經能在當前架構中使用多種數據集來研究其他古代語言，從阿卡德語到古埃及語民書體、從希伯來語到瑪雅語，都包括在其中。
?
而「伊薩卡」，只是一個開始。
參考資料：
https://deepmind.com/blog/article/Predicting-the-past-with-Ithaca
https://www.nature.com/articles/s41586-022-04448-z
