【深度學(xué)習(xí)】最新「深度學(xué)習(xí)社區(qū)發(fā)現(xiàn)」綜述論文，174篇文獻(xiàn)概述六大類方法(含Github資源)

社區(qū)發(fā)現(xiàn)能夠揭示各類網(wǎng)絡(luò)中成員的特征與聯(lián)系，在網(wǎng)絡(luò)分析中具有重要意義。近年來(lái)，深度學(xué)習(xí)技術(shù)在發(fā)現(xiàn)社區(qū)結(jié)構(gòu)時(shí)，以處理高維數(shù)據(jù)的優(yōu)勢(shì)得到了顯著的發(fā)展。

本文將為大家介紹一篇2021年最新深度學(xué)習(xí)社區(qū)發(fā)現(xiàn)綜述。該綜述囊括了基于深度學(xué)習(xí)的社區(qū)發(fā)現(xiàn)最新方法，并將其分為六大類：基于卷積網(wǎng)絡(luò)的方法、基于圖注意力網(wǎng)絡(luò)(GAT)的方法、基于生成對(duì)抗網(wǎng)絡(luò)(GAN)的方法、基于自動(dòng)編碼器(AE)的方法、基于深度非負(fù)矩陣分解(DNMF)的方法、基于深度稀疏濾波(DSF)的方法。此外，該綜述總結(jié)了相應(yīng)的基準(zhǔn)數(shù)據(jù)集、評(píng)估指標(biāo)和開源代碼，概述了深度社區(qū)發(fā)現(xiàn)在不同領(lǐng)域的實(shí)際應(yīng)用場(chǎng)景。最后，作者討論了深度學(xué)習(xí)為社區(qū)發(fā)現(xiàn)問題所帶來(lái)的各種機(jī)遇與挑戰(zhàn)，建議了十二個(gè)未來(lái)研究方向。

論文地址：https://arxiv.org/abs/2105.12584

Github鏈接：https://github.com/FanzhenLiu/Awesome-Deep-Community-Detection(全面匯總了該綜述所調(diào)研的文章鏈接、代碼、數(shù)據(jù)集下載地址等公開資源，將持續(xù)更新深度社區(qū)發(fā)現(xiàn)相關(guān)工作)

—1— 簡(jiǎn)介

俗話說(shuō)，物以類聚，人以群分。根據(jù)六度分離理論，世界上任何一個(gè)人都可以通過(guò)六個(gè)熟人認(rèn)識(shí)其他人，那么我們的世界則是一個(gè)由一系列「社區(qū)」組成的巨大網(wǎng)絡(luò)。例如，如圖1所示，通過(guò)發(fā)現(xiàn)社交網(wǎng)絡(luò)中的社區(qū)，平臺(tái)贊助商可以向目標(biāo)用戶推廣他們的產(chǎn)品。在引文網(wǎng)絡(luò)中，社區(qū)發(fā)現(xiàn)可以檢測(cè)研究方向的重要性、關(guān)聯(lián)性、演化，并能識(shí)別研究的發(fā)展趨勢(shì)。在代謝網(wǎng)絡(luò)和蛋白質(zhì)相互作用網(wǎng)絡(luò)中，社區(qū)發(fā)現(xiàn)揭示了具有相似生物學(xué)功能的代謝和蛋白質(zhì)。在腦網(wǎng)絡(luò)中，社區(qū)發(fā)現(xiàn)可以反映腦區(qū)域的功能和解剖分離。

由于社區(qū)發(fā)現(xiàn)可以廣泛應(yīng)用，許多傳統(tǒng)的技術(shù)（如譜聚類、統(tǒng)計(jì)推理）已被用于小型網(wǎng)絡(luò)和簡(jiǎn)單場(chǎng)景。然而，由于傳統(tǒng)技術(shù)的計(jì)算成本和空間成本巨大，它們無(wú)法擴(kuò)展到大型網(wǎng)絡(luò)或具有高維特征的網(wǎng)絡(luò)。同時(shí)，現(xiàn)實(shí)網(wǎng)絡(luò)中非線性結(jié)構(gòu)信息豐富，也使得傳統(tǒng)模型在實(shí)際應(yīng)用中不太適用。因此，我們需要更強(qiáng)大且具有良好計(jì)算性能的技術(shù)，深度學(xué)習(xí)從以下幾點(diǎn)為社區(qū)發(fā)現(xiàn)提供了靈活的解決方案：(1) 學(xué)習(xí)非線性網(wǎng)絡(luò)屬性，如節(jié)點(diǎn)之間的關(guān)系，(2) 提供能夠保留復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)特征的低維網(wǎng)絡(luò)表示，(3) 利用更多信息發(fā)現(xiàn)社區(qū)以提高性能。總而言之，深度學(xué)習(xí)用于社區(qū)發(fā)現(xiàn)是一種新的趨勢(shì)（如圖2所示），我們需要一個(gè)及時(shí)全面的綜述。

這篇綜述首次全面概述了深度學(xué)習(xí)在社區(qū)發(fā)現(xiàn)方面的貢獻(xiàn)，旨在幫助研究人員和從業(yè)者從以下幾個(gè)方面了解社區(qū)發(fā)現(xiàn)領(lǐng)域的過(guò)去、現(xiàn)在和未來(lái)趨勢(shì):

• 系統(tǒng)的分類和深入的調(diào)研。此綜述基于深度學(xué)習(xí)為社區(qū)發(fā)現(xiàn)方法提出了一個(gè)新的分類(見圖3)，并分析、總結(jié)、比較了每類的代表性工作。
• 豐富的資源和高影響力的參考文獻(xiàn)。此項(xiàng)綜述還整合了社區(qū)發(fā)現(xiàn)的基準(zhǔn)數(shù)據(jù)集、評(píng)估指標(biāo)、開源實(shí)現(xiàn)和實(shí)際應(yīng)用的資源。
• 未來(lái)的發(fā)展方向。由于深度學(xué)習(xí)對(duì)社區(qū)發(fā)現(xiàn)是一個(gè)新的研究趨勢(shì)，此綜述討論了當(dāng)前研究的局限性，以及未來(lái)研究的關(guān)鍵挑戰(zhàn)和開放性問題。

—2— 模型與算法

2.1 基于卷積網(wǎng)絡(luò)的方法

基于卷積網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)方法包括基于CNN的社區(qū)發(fā)現(xiàn)和基于GCN的社區(qū)發(fā)現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種為網(wǎng)格式拓?fù)鋽?shù)據(jù)提出的前饋深度神經(jīng)網(wǎng)絡(luò)，其中卷積層降低了計(jì)算成本，而池化操作保證了 CNN 在特征表達(dá)上的魯棒性。圖卷積網(wǎng)絡(luò)（GCN）是基于CNN和圖的局部譜濾波器的一階近似提出的用于圖結(jié)構(gòu)數(shù)據(jù)的卷積網(wǎng)絡(luò)。

2.1.1 基于CNN的社區(qū)發(fā)現(xiàn)

由于CNN模型通常僅處理圖像數(shù)據(jù)(image)，當(dāng)輸入數(shù)據(jù)為圖(graph)時(shí)，必須根據(jù)節(jié)點(diǎn)或邊對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。總體框架中(如圖4所示)，CNN的隱藏層可以對(duì)數(shù)據(jù)的d維潛在特征進(jìn)行卷積映射，接下來(lái)，由全連接層輸出每個(gè)節(jié)點(diǎn)或每條邊的表示以進(jìn)行社區(qū)的分類。

根據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)預(yù)處理時(shí)，圖4中的工作流1將節(jié)點(diǎn)分類為k類(即k個(gè)社區(qū))，具有相同標(biāo)簽的節(jié)點(diǎn)會(huì)被劃分到同一個(gè)社區(qū)中；根據(jù)邊進(jìn)行數(shù)據(jù)預(yù)處理時(shí)，工作流2將邊分為2類(即社區(qū)內(nèi)的邊、社區(qū)間的邊)。訓(xùn)練過(guò)程中，通過(guò)刪除社區(qū)間的邊形成社區(qū)結(jié)構(gòu)，并將其反向傳播回CNN嵌入進(jìn)行優(yōu)化，從而得到最佳的社區(qū)劃分結(jié)果。

2.1.2 基于GCN的社區(qū)發(fā)現(xiàn)

GCN 在圖卷積層中聚合節(jié)點(diǎn)的鄰域信息，因此可以從全局上捕獲用于社區(qū)發(fā)現(xiàn)的復(fù)雜特征?；贕CN的社區(qū)發(fā)現(xiàn)方法有兩類：(1)監(jiān)督/半監(jiān)督社區(qū)分類；(2)基于無(wú)監(jiān)督網(wǎng)絡(luò)表示的社區(qū)聚類。社區(qū)分類方法受到現(xiàn)實(shí)世界中缺乏標(biāo)簽的限制，相比之下，通過(guò)矩陣重構(gòu)和目標(biāo)優(yōu)化等技術(shù)，對(duì)網(wǎng)絡(luò)表示進(jìn)行聚類可以更靈活地發(fā)現(xiàn)社區(qū)結(jié)構(gòu)。

如圖5所示，基于GCN的社區(qū)發(fā)現(xiàn)方法的輸入為圖結(jié)構(gòu)(A)和節(jié)點(diǎn)屬性(X)。這類方法通過(guò)GCN層，基于社區(qū)發(fā)現(xiàn)的需求對(duì)圖的潛在特征進(jìn)行平滑（信息聚合）處理。在圖5的4條工作流中，工作流1和2使用了最終的節(jié)點(diǎn)表示，而工作流3和4則使用了隱層中的特征表示。工作流1基于給定節(jié)點(diǎn)標(biāo)簽，使用節(jié)點(diǎn)分類得到社區(qū)劃分；工作流2基于嵌入H對(duì)節(jié)點(diǎn)進(jìn)行聚類；工作流3通過(guò)互信息等評(píng)估手優(yōu)化節(jié)點(diǎn)表示，從而得到最佳的社區(qū)關(guān)系；工作流4則同時(shí)優(yōu)化聚類結(jié)果和節(jié)點(diǎn)表示。

2.2 基于圖注意力網(wǎng)絡(luò)(GAT)的方法

基于GAT的社區(qū)發(fā)現(xiàn)方法可以發(fā)現(xiàn)復(fù)雜的網(wǎng)絡(luò)場(chǎng)景下的社區(qū)結(jié)構(gòu)。如圖6所示，GAT通過(guò)可訓(xùn)練的權(quán)重聚合鄰域內(nèi)的節(jié)點(diǎn)特征，該權(quán)重通過(guò)考慮多種因素（特別是具有多種關(guān)系類型的網(wǎng)絡(luò)）的注意力來(lái)計(jì)算。

在圖6所示的框架中，GAT在每個(gè)隱層l中為每個(gè)節(jié)點(diǎn)及其相連的節(jié)點(diǎn)之間分配注意力系數(shù)（圖中綠色、藍(lán)色、紫色的箭頭所示）。不同工作流所表示的向量分別聚合了所有可用信息：(1)多層網(wǎng)絡(luò)中同一對(duì)節(jié)點(diǎn)之間的多種關(guān)系；(2)異構(gòu)網(wǎng)絡(luò)中的語(yǔ)義元路徑。將嵌入信息整合到GAT的表征中后，即可對(duì)最后輸出的表征進(jìn)行社區(qū)聚類。

2.3 基于生成對(duì)抗網(wǎng)絡(luò)(GAN)的方法

在基于GAN的社區(qū)發(fā)現(xiàn)方法中，GAN通過(guò)生成器生成人造樣本來(lái)欺騙判別器，判別器將多層感知機(jī)、圖神經(jīng)網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)作用于表征上。因此，真實(shí)樣本和人造樣本會(huì)通過(guò)競(jìng)爭(zhēng)博弈進(jìn)行調(diào)優(yōu)，從而得到最優(yōu)的社區(qū)特征。

為了獲得具有競(jìng)爭(zhēng)性的表征，圖6的GAN中使用的真實(shí)樣本包括：(1)拓?fù)浣Y(jié)構(gòu)A；(2)拓?fù)浣Y(jié)構(gòu)與節(jié)點(diǎn)屬性(A,X)；(3)節(jié)點(diǎn)嵌入；(4)節(jié)點(diǎn)的社團(tuán)歸屬。網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以三元組、派系、社區(qū)等形式在表征或GAN模型中得到分析。這類方法能夠在融合網(wǎng)絡(luò)拓?fù)?、屬性和表征的過(guò)程中發(fā)現(xiàn)社區(qū)。

2.4 基于自動(dòng)編碼器(AE)的方法

自編碼器(AE)是最常被用于無(wú)監(jiān)督社區(qū)發(fā)現(xiàn)的模型，社區(qū)發(fā)現(xiàn)中常見的AE變體包括棧式AE、稀疏AE、去躁AE、卷積AE、變分AE。AE通常由一個(gè)編碼器和一個(gè)解碼器組成，編碼器將網(wǎng)絡(luò)結(jié)構(gòu)和可獲取的屬性信息映射到一個(gè)低維潛在空間中，解碼器則根據(jù)編碼得到的表示進(jìn)行網(wǎng)絡(luò)重構(gòu)。

棧式AE在多個(gè)隱層中將一組AE堆疊起來(lái)，以更加靈活地處理豐富的輸入。圖6總結(jié)了棧式AE中5種具有代表性的工作流程，其分別考慮了靜態(tài)圖、動(dòng)態(tài)圖、跨域圖、異構(gòu)圖中的多種信息，5種工作流都使用了成對(duì)約束和重建損失優(yōu)化。其余4類基于AE的方法介紹見原文(https://arxiv.org/abs/2105.12584)。

2.5 基于深度非負(fù)矩陣分解(DNMF)的方法

非負(fù)矩陣分解旨在將一個(gè)矩陣分解成兩個(gè)小的非負(fù)矩陣，該方法具有高度的可解釋性，能夠發(fā)現(xiàn)如何將節(jié)點(diǎn)分配給社區(qū)。在深度社區(qū)發(fā)現(xiàn)中，深度自編碼器式非負(fù)矩陣分解(DANMF)是無(wú)監(jiān)督學(xué)習(xí)環(huán)境下影響最大的模型。與傳統(tǒng)的基于NMF的社區(qū)發(fā)現(xiàn)方法映射簡(jiǎn)單的社區(qū)成員不同，DANMF使用AE框架在分層映射上進(jìn)行網(wǎng)絡(luò)重構(gòu)。盡管深度NMF提供了一種在形成社區(qū)的過(guò)程中映射多個(gè)變量的方案，但是其矩陣分解的計(jì)算成本相對(duì)較高。為此，研究者們提出了模塊化的深度非負(fù)矩陣分解（MDNMF），直接將模塊度應(yīng)用于基本的多層深度學(xué)習(xí)結(jié)構(gòu)中。

2.6 基于深度稀疏濾波(DSF)的方法

稀疏濾波是一種簡(jiǎn)單的雙層學(xué)習(xí)模型，它可以處理高維的圖數(shù)據(jù)，將高度稀疏的輸入表征為低維特征向量。為了探索節(jié)點(diǎn)的社團(tuán)歸屬等更深入的信息，深度SF將多個(gè)隱層堆疊起來(lái)，從而對(duì)更多超參數(shù)和大量的平滑數(shù)據(jù)分布進(jìn)行調(diào)優(yōu)，其代表性的算法為DSFCD。

—3— 公開資源

該綜述總結(jié)了深度社區(qū)發(fā)現(xiàn)相關(guān)的實(shí)驗(yàn)資源，包括：

• 數(shù)據(jù)集：整理了現(xiàn)實(shí)世界數(shù)據(jù)集和人工合成數(shù)據(jù)集的分類、來(lái)源、下載鏈接、生成工具等。
• 評(píng)價(jià)指標(biāo)：詳細(xì)介紹了10個(gè)最流行的社區(qū)發(fā)現(xiàn)評(píng)價(jià)指標(biāo)的使用方法與含義。
• 開源代碼：整理了公布開源實(shí)現(xiàn)的深度社區(qū)發(fā)現(xiàn)方法的Github鏈接。

(實(shí)驗(yàn)資源詳情見原文附錄及Github)

—4— 應(yīng)用

該綜述總結(jié)了社區(qū)發(fā)現(xiàn)在各類任務(wù)和領(lǐng)域的廣泛應(yīng)用，如推薦系統(tǒng)、生物化學(xué)、社交網(wǎng)絡(luò)、社區(qū)欺詐、社區(qū)搜索等。

—5— 未來(lái)研究方向

本文總結(jié)了深度學(xué)習(xí)技術(shù)為社區(qū)發(fā)現(xiàn)帶來(lái)的機(jī)遇與挑戰(zhàn)，分析了該領(lǐng)域的公開問題并建議了12個(gè)未來(lái)研究方向：

• 社區(qū)個(gè)數(shù)未知問題
• 社區(qū)嵌入問題
• 不同粒度的社區(qū)發(fā)現(xiàn)問題
• 多層網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)問題
• 異質(zhì)網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)問題
• 社區(qū)發(fā)現(xiàn)中的網(wǎng)絡(luò)Heterophily問題
• 拓?fù)洳蝗W(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題
• 跨域網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題
• 多屬性視角網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題
• 符號(hào)網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題
• 動(dòng)態(tài)網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題
• 大規(guī)模網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題