【W(wǎng)WW2021】高效的非抽樣知識(shí)圖譜嵌入數(shù)據(jù)派THU關(guān)注共 679字,需瀏覽 2分鐘 ·2021-05-09 18:55 來(lái)源:專知本文附論文,建議閱讀5分鐘NS-KGE的基本思想是在模型學(xué)習(xí)中考慮KG中的所有負(fù)面實(shí)例,從而避免負(fù)面抽樣。知識(shí)圖譜(KG)是一種靈活的結(jié)構(gòu),能夠描述數(shù)據(jù)實(shí)體之間的復(fù)雜關(guān)系。目前,大多數(shù)KG嵌入模型都是基于負(fù)采樣進(jìn)行訓(xùn)練的,即模型的目標(biāo)是最大限度地增加KG內(nèi)被連接實(shí)體的某些相似度,同時(shí)最小化被采樣的斷開(kāi)實(shí)體的相似度。負(fù)抽樣通過(guò)只考慮負(fù)實(shí)例的子集,降低了模型學(xué)習(xí)的時(shí)間復(fù)雜度,這可能會(huì)由于抽樣過(guò)程的不確定性而無(wú)法提供穩(wěn)定的模型性能。為了避免這一缺陷,我們提出了一種新的KG嵌入高效非采樣知識(shí)圖譜嵌入框架(NS-KGE)。其基本思想是在模型學(xué)習(xí)中考慮KG中的所有負(fù)面實(shí)例,從而避免負(fù)面抽樣。框架可應(yīng)用于基于平方損失的知識(shí)圖譜嵌入模型或其損失可轉(zhuǎn)換為平方損失的模型。這種非抽樣策略的一個(gè)自然副作用是增加了模型學(xué)習(xí)的計(jì)算復(fù)雜度。為了解決這一問(wèn)題,我們利用數(shù)學(xué)推導(dǎo)來(lái)降低非采樣損失函數(shù)的復(fù)雜度,最終為我們提供了比現(xiàn)有模型更好的KG嵌入效率和精度。在基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明,NS-KGE框架在效率和準(zhǔn)確率方面均優(yōu)于傳統(tǒng)的基于負(fù)采樣的模型,該框架適用于大規(guī)模知識(shí)圖譜嵌入模型。鏈接:https://www.zhuanzhi.ai/paper/a63903c464665db631cd3167d395a238編輯:文婧 瀏覽 32點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào) 評(píng)論圖片表情視頻評(píng)價(jià)全部評(píng)論推薦 【W(wǎng)WW2021】高效的非抽樣知識(shí)圖譜嵌入視學(xué)算法0整合文本和知識(shí)圖譜嵌入提升RAG的性能來(lái)源:DeepHub IMBA本文約4600字,建議閱讀10分鐘本文中我們將文本和知識(shí)圖譜結(jié)合,來(lái)提升我們RAG的性能。我們以前的文章中介紹過(guò)將知識(shí)圖譜與RAG結(jié)合的示例,在本篇文章中我們將文本和知識(shí)圖譜結(jié)合,來(lái)提升我們RAG的性能。文本嵌入的RAG文本嵌入是單詞或短語(yǔ)的數(shù)字表示,可以有效地捕捉它們知識(shí)圖譜的5G追溯喔家ArchiSelf0知識(shí)圖譜的前世今生NLP專欄0北京知識(shí)圖譜北京知識(shí)圖譜0知識(shí)圖譜Schema知識(shí)圖譜Schema0達(dá)觀知識(shí)圖譜達(dá)觀知識(shí)圖譜0浙大圖譜講義 | 第一講-知識(shí)圖譜概論 — 第2節(jié)-知識(shí)圖譜的起源DayNightStudy0知識(shí)圖譜與事件類圖譜DayNightStudy0圖譜實(shí)戰(zhàn) | 知識(shí)圖譜構(gòu)建的一站式平臺(tái)gBuilder浪尖聊大數(shù)據(jù)0點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào)