小蓮子
0獲贊0關(guān)注0粉絲
基于對(duì)比學(xué)習(xí)(Contrastive Learning)的文本表示模型【為什么】能學(xué)到語(yǔ)義【相似】度？
我最近在做對(duì)比學(xué)習(xí)相關(guān)的實(shí)踐，折騰了好久，調(diào)來(lái)調(diào)去效果一般，甚是煩躁。以下主要是一些個(gè)人的體會(huì)，思路會(huì)比較逆向。
回答這個(gè)問(wèn)題，要從語(yǔ)義相似度計(jì)算的一般范式說(shuō)起。計(jì)算句子A和句子B的語(yǔ)義相似度，通常來(lái)說(shuō)，基于交互的方案結(jié)果更準(zhǔn)確：
如果一共有N個(gè)句子，那么就需要進(jìn)行 N × (N-1) 次相似度計(jì)算。在絕大多數(shù)的工程落地場(chǎng)景中，這樣的計(jì)算開(kāi)銷(xiāo)都是無(wú)法被接受的。因此，建模只能轉(zhuǎn)向基于表示的“兩步走”方案：
每個(gè)輸入句子，先要經(jīng)過(guò)一個(gè)編碼器進(jìn)行量化，再由一個(gè)輕量級(jí)的判定模塊進(jìn)行相似度輸出。這樣設(shè)計(jì)的好處是，偏“重”的編碼部分可以離線計(jì)算并緩存結(jié)果，只需計(jì)算 N 次。相似度判定部分，雖然仍是 N × (N-1) 次計(jì)算，但采用的是余
小蓮子
0