本文約4000字，建議閱讀10+分鐘
本文與你討論一種新的半監(jiān)督，多任務(wù)醫(yī)學(xué)成像方法。
在本文中，我將討論一種新的半監(jiān)督，多任務(wù)醫(yī)學(xué)成像方法，稱為Multimix，Ayana Haque（ME），Abdullah-Al-Zubaer Imran，Adam Wang、Demetri Terzopoulos。該論文被ISBI 2021收錄，并于4月的會(huì)議上發(fā)表。MultiMix通過采用基于置信的增強(qiáng)策略和新型橋模塊來執(zhí)行聯(lián)合半監(jiān)督分類和分割，該模塊還為多任務(wù)提供了可解釋性。在完全監(jiān)督的情況下深度學(xué)習(xí)的模型可以有效地執(zhí)行復(fù)雜的圖像分析任務(wù)，但它的性能嚴(yán)重依賴于大型標(biāo)記數(shù)據(jù)集的可用性。特別是在醫(yī)學(xué)成像領(lǐng)域，人工標(biāo)注不僅費(fèi)錢，而且還耗時(shí)。因此允許從有限數(shù)量的標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)，被認(rèn)為是解決標(biāo)注任務(wù)的一個(gè)方案。在同一模型中學(xué)習(xí)多個(gè)任務(wù)可以進(jìn)一步提高了模型的通用性。多任務(wù)允許在任務(wù)之間進(jìn)行共享表示的學(xué)習(xí)，同時(shí)需要更少的參數(shù)和更少的計(jì)算，從而使模型更有效，更不容易過擬合。對(duì)不同數(shù)量的標(biāo)記數(shù)據(jù)和多源數(shù)據(jù)進(jìn)行了廣泛的實(shí)驗(yàn)，論文證明了其方法的有效性。還提供了跨任務(wù)的域內(nèi)和跨域評(píng)估，以展示模型適應(yīng)具有挑戰(zhàn)性的泛化場景的潛力，這對(duì)醫(yī)學(xué)成像方法來說是一個(gè)具有挑戰(zhàn)性但重要的任務(wù)。背景知識(shí)
近年來，由于深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的醫(yī)學(xué)成像技術(shù)得到了發(fā)展。然而深度學(xué)習(xí)的根本問題一直存在，那就是它們需要大量的標(biāo)記數(shù)據(jù)才能有效。但是這在醫(yī)學(xué)成像領(lǐng)域是一個(gè)更大的問題，因?yàn)槭占笮蛿?shù)據(jù)集和標(biāo)注是非常困難的，因?yàn)樗鼈冃枰I(lǐng)域?qū)I(yè)知識(shí)，昂貴、耗時(shí)，并且很難在集中的數(shù)據(jù)集中組織起來。另外在醫(yī)學(xué)成像領(lǐng)域中，泛化也是一個(gè)關(guān)鍵問題，因?yàn)閬碜圆煌瑏碓吹膱D像在定性和定量上都有很大的差異，所以很難在多個(gè)領(lǐng)域中使用一個(gè)模型獲得較強(qiáng)的性能，這些問題促使了該論文的研究：希望通過一些以半監(jiān)督和多任務(wù)學(xué)習(xí)為中心的關(guān)鍵方法來解決這些基本問題。為了解決有限的標(biāo)簽數(shù)據(jù)問題，半監(jiān)督學(xué)習(xí)(SSL)作為一種有前途的替代方法受到了廣泛的關(guān)注。在半監(jiān)督學(xué)習(xí)中，將無標(biāo)記示例與有標(biāo)記示例結(jié)合使用，使信息收益最大化。關(guān)于半監(jiān)督學(xué)習(xí)已有大量的研究，包括一般的和醫(yī)學(xué)領(lǐng)域特有的。我不會(huì)詳細(xì)討論這些方法，但如果你感興趣，這里有一個(gè)突出的方法列表供你參考[1,2,3,4]。解決有限樣本學(xué)習(xí)的另一個(gè)解決方案是使用來自多個(gè)來源的數(shù)據(jù)，因?yàn)檫@增加了數(shù)據(jù)中的樣本數(shù)量以及數(shù)據(jù)的多樣性。但是這樣做是具有挑戰(zhàn)性的，因?yàn)樾枰囟ǖ挠?xùn)練方法，但是如果做得正確，它可以非常有效。多任務(wù)學(xué)習(xí)(multitask Learning, MTL)已被證明可以提高許多模型的泛化能力。多任務(wù)學(xué)習(xí)被定義為在單個(gè)模型中優(yōu)化多個(gè)損失，通過共享表示學(xué)習(xí)完成多個(gè)相關(guān)任務(wù)。在一個(gè)模型中聯(lián)合訓(xùn)練多個(gè)任務(wù)可以提高模型的泛化性，因?yàn)槊總€(gè)任務(wù)都相互影響（要選擇有相關(guān)性的任務(wù)）。假設(shè)訓(xùn)練數(shù)據(jù)來自不同的分布，這樣可以用于有限的不同任務(wù)，多任務(wù)在這樣的場景中對(duì)于以很少監(jiān)督的方式學(xué)習(xí)是有用的。將多任務(wù)與半監(jiān)督學(xué)習(xí)相結(jié)合可以提高性能，并在這兩個(gè)任務(wù)中取得成功。同時(shí)完成這兩項(xiàng)任務(wù)是非常有益的，因?yàn)橐粋€(gè)單獨(dú)的深度學(xué)習(xí)模型可以非常準(zhǔn)確地完成這兩項(xiàng)任務(wù)。關(guān)于醫(yī)學(xué)領(lǐng)域的相關(guān)工作，具體方法如下:[1,2,3,4,5,6,7,8,9,10]。然而，這些發(fā)現(xiàn)的主要局限性是它們沒有使用來自多個(gè)來源的數(shù)據(jù)，限制了它們的泛化性，并且大多數(shù)方法都是單一任務(wù)方法。因此，論文提出了一種新的、更通用的多任務(wù)模型MultiMix，該模型結(jié)合基于置信度的橋接塊，從多源數(shù)據(jù)中共同學(xué)習(xí)診斷分類和解剖結(jié)構(gòu)分割。顯著圖可以通過可視化有意義的視覺特征來分析模型預(yù)測。有幾種方法可以生成顯著性映射，最顯著的方法是從輸入圖像計(jì)算類分?jǐn)?shù)的梯度。雖然任何深度學(xué)習(xí)模型都可以通過顯著性圖來研究更好的解釋性，但據(jù)我們所知，在單一模型中兩個(gè)共享任務(wù)之間的顯著性橋梁還沒有被探索。算法
讓我們首先定義我們的問題。使用兩個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練，一個(gè)用于分割，一個(gè)用于分類。對(duì)于分割數(shù)據(jù)，我們可以使用符號(hào)XS和Y，分別是圖像和分割掩碼。對(duì)于分類數(shù)據(jù)，我們可以使用符號(hào)XC和C，即圖像和類標(biāo)簽。模型體系結(jié)構(gòu)使用基線U-NET架構(gòu)，該結(jié)構(gòu)是常用分割模型。編碼器的功能類似于標(biāo)準(zhǔn)CNN。要使用U-NET執(zhí)行多任務(wù)處理，我們將從編碼器上分支，并使用池化和全連接的層分支以獲取最終的分類輸出。對(duì)于分類方法，利用數(shù)據(jù)增強(qiáng)和偽標(biāo)記。受[1]的啟發(fā)，使用了一個(gè)未標(biāo)記的圖像并執(zhí)行兩個(gè)單獨(dú)的增強(qiáng)。首先，未標(biāo)記的圖像被弱增強(qiáng)，并且從圖像的弱增強(qiáng)版本中，將模型當(dāng)前狀態(tài)的預(yù)測定為偽標(biāo)簽。這就是為什么該方法被半監(jiān)督的原因，但是我們將稍后再討論偽標(biāo)記的標(biāo)簽。其次，強(qiáng)增強(qiáng)相同未標(biāo)記的圖像，并用弱增強(qiáng)圖像和強(qiáng)增強(qiáng)圖像本身的偽標(biāo)記計(jì)算損失。這樣的操作理論基礎(chǔ)是，希望該模型將弱增強(qiáng)圖像映射到強(qiáng)增強(qiáng)的圖像中，這樣可以迫使模型學(xué)習(xí)診斷分類所需的基本基礎(chǔ)特征。增強(qiáng)圖像兩次還可以最大化唯一圖像的潛在知識(shí)收益。這也有助于改善模型的概括能力，就好像模型被迫學(xué)習(xí)圖像中最重要的部分一樣，它將能夠克服由于不同域而出現(xiàn)的圖像中出現(xiàn)的差異。論文使用常規(guī)的增強(qiáng)方法來進(jìn)行弱增強(qiáng)的圖像，例如水平翻轉(zhuǎn)和輕微旋轉(zhuǎn)。而強(qiáng)增強(qiáng)策略要有趣得多：創(chuàng)建一個(gè)非常規(guī)，強(qiáng)大的增強(qiáng)池，并將隨機(jī)數(shù)量的增強(qiáng)量應(yīng)用于任何給定的圖像。這些增強(qiáng)非?！白儜B(tài)”，比如裁剪、自對(duì)比度、亮度、對(duì)比度、均衡、一致性、旋轉(zhuǎn)、銳度、剪切等等。通過應(yīng)用任意數(shù)量的這些元素，我們可以創(chuàng)建非常廣泛的圖像，這在處理低樣本數(shù)據(jù)集時(shí)尤為重要。我們最終發(fā)現(xiàn)，這種增強(qiáng)策略對(duì)于強(qiáng)大的性能非常重要。現(xiàn)在讓我們回過頭來討論偽標(biāo)記的過程。如果模型生成偽標(biāo)簽的置信度超過了一個(gè)調(diào)優(yōu)的閾值，則該圖像標(biāo)簽可以防止模型從錯(cuò)誤和糟糕的標(biāo)簽中學(xué)習(xí)。因?yàn)楫?dāng)預(yù)測在一開始不太確認(rèn)時(shí)，模型主要從標(biāo)記的數(shù)據(jù)中學(xué)習(xí)。慢慢地，該模型對(duì)未標(biāo)記圖像的標(biāo)簽生成變得更加自信，因此該模型變得更加高效。在提高性能方面，這也是一個(gè)非常重要的特性。現(xiàn)在我們來看看損失函數(shù)。分類損失可以用以下公式來建模:其中L-sub-l為監(jiān)督損失，c-hat-l為分類預(yù)測，c-l為標(biāo)簽，lambda為無監(jiān)督分類權(quán)重，L-sub-u為無監(jiān)督損失，c-hat-s為強(qiáng)增強(qiáng)圖像的預(yù)測，argmax(c-hat-w)為弱增強(qiáng)圖像的偽標(biāo)簽，t為偽標(biāo)簽閾值。這基本上總結(jié)了分類方法，現(xiàn)在我們繼續(xù)講分割方法。對(duì)于分割，通過帶有跳過連接的編碼器-解碼器體系結(jié)構(gòu)進(jìn)行預(yù)測，這非常簡單。論文對(duì)分割的主要貢獻(xiàn)是合并了一個(gè)橋接模塊來連接兩個(gè)任務(wù)，如上圖所示。根據(jù)模型預(yù)測的類生成顯著映射，使用從編碼器擴(kuò)展到分類分支的梯度。整個(gè)過程如上所示，但本質(zhì)上強(qiáng)調(diào)了模型用于對(duì)肺炎圖像進(jìn)行分類的圖像的哪些部分。雖然我們不知道分割圖像是否代表肺炎，但生成的地圖卻突出了肺部。因此當(dāng)使用顯著圖產(chǎn)生和可視化圖像的類預(yù)測時(shí)，它在某種程度上類似于肺面膜。所以我們假設(shè)這些圖可用于指導(dǎo)解碼器階段的分割，并且能夠改善分割效果，同時(shí)從有限的標(biāo)記數(shù)據(jù)中學(xué)習(xí)。在MultiMix中，生成的顯著性映射與輸入圖像連接，進(jìn)行下采樣，并添加到輸入到第一解碼器階段的特征映射。與輸入映像的連接可以增強(qiáng)兩個(gè)任務(wù)之間的連接，并提高橋接模塊的有效性（提供了上下文）。同時(shí)添加輸入圖像和顯著性映射為解碼器提供了更多的上下文和信息，這在處理低樣本數(shù)據(jù)時(shí)非常重要。現(xiàn)在我們來討論一下訓(xùn)練和損失。對(duì)于標(biāo)記樣本，我們通常使用參考肺面面膜和預(yù)測分割之間的dice 損失來計(jì)算分割損失。由于我們沒有未標(biāo)記的分割樣本的分割掩碼，我們不能直接計(jì)算它們的分割損失。因此計(jì)算標(biāo)記和未標(biāo)記示例的分割預(yù)測之間的KL散度。這使得模型做出與已標(biāo)記數(shù)據(jù)越來越不同的預(yù)測越來越接近，這可以使模型更恰當(dāng)?shù)剡m合未標(biāo)記數(shù)據(jù)。雖然這是一種間接計(jì)算損失的方法，但它仍然允許模型從未標(biāo)記的分割數(shù)據(jù)中學(xué)到很多東西。與分類相比，alpha是分割減少權(quán)重，y-hat-l是標(biāo)記的分割預(yù)測，y-l是相應(yīng)的掩碼，beta是無監(jiān)督的分割權(quán)重，而y-hat-u是未標(biāo)記的分段預(yù)測。模型使用分類和分割損失的組合目標(biāo)進(jìn)行訓(xùn)練。
數(shù)據(jù)集
對(duì)模型進(jìn)行了分類和分割任務(wù)的訓(xùn)練和測試，每個(gè)任務(wù)的數(shù)據(jù)來自兩個(gè)不同的來源：肺炎檢測數(shù)據(jù)集，我們將其稱為Chex [11]和日本放射學(xué)技術(shù)學(xué)會(huì)或JSRT [12] [12] ，分別用于分類和分割。為了驗(yàn)證了模型，使用了兩個(gè)外部數(shù)據(jù)集蒙哥馬利縣胸部X射線或MCU [13]，以及NIH胸部X射線數(shù)據(jù)集的子集，我們將其稱為NIHX [14]。來源的多樣性對(duì)模型構(gòu)成了重大挑戰(zhàn)，因?yàn)閳D像質(zhì)量，大小，正常圖像和異常圖像的比例以及四個(gè)數(shù)據(jù)集的強(qiáng)度分布的差異都大不相同。下圖顯示了強(qiáng)度分布的差異以及每個(gè)數(shù)據(jù)集的圖像示例。所有4個(gè)數(shù)據(jù)集均使用CC BY 4.0許可證。
結(jié)果
論文進(jìn)行了許多實(shí)驗(yàn)，并在多個(gè)數(shù)據(jù)集中和跨域上使用了不同數(shù)量的標(biāo)記數(shù)據(jù)。在測試中使用了多個(gè)基線，從Arale-net和標(biāo)準(zhǔn)分類器（ENC）開始，該分類器是具有密集層的編碼器提取器。然后，我們將兩者組合為基線多任務(wù)模型（UMTL）。還使用半監(jiān)督方法（ENCSL），（UMTLS）以及多任務(wù)模型和半監(jiān)督方法（UMTLS-SSL）的多任務(wù)模型。在訓(xùn)練方面，在多個(gè)標(biāo)記的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。為了進(jìn)行分類，我們使用了100、1000和所有標(biāo)簽，對(duì)于分割，我們使用了10、50和所有標(biāo)簽。對(duì)于結(jié)果，將使用符號(hào)：模型 - 標(biāo)簽（例如Multimix-10–100）的方式進(jìn)行標(biāo)記。為了進(jìn)行評(píng)估，使用準(zhǔn)確性（ACC）和F1分?jǐn)?shù)（F1-N和F1-P）進(jìn)行分類，分割則使用了DS相似性（DS），JACCARD相似性評(píng)分（JS），結(jié)構(gòu)相似性指數(shù)（SSIM） ，平均Hausdorff距離（HD），精度（P）和召回（R）。該表顯示了添加了每個(gè)新組件的模型性能如何改善。對(duì)于分類任務(wù)，與基線模型相比，基于置信的增強(qiáng)方法可顯著提高性能。Multimix-10–100也以準(zhǔn)確性的方式優(yōu)于完全監(jiān)督的基線編碼器。為了進(jìn)行分割，橋模塊對(duì)基線U-NET和UMTL模型產(chǎn)生巨大改進(jìn)。即使具有最低分段標(biāo)簽，我們也可以看到其性能增長30％，這證明了論文提出的Multimix模型的有效性。如表所示，多模中的性能與內(nèi)域一樣有希望。在所有基線模型上，Multimix在分類任務(wù)中的得分更好。由于NIHX和CHEX數(shù)據(jù)集存在顯著差異，如前所述，得分不如內(nèi)域模型結(jié)果好。但是它的確比其他模型更好。上圖顯示了分割結(jié)果對(duì)內(nèi)域和跨域評(píng)估的一致性。我數(shù)據(jù)集中的每個(gè)圖像顯示了模型的dice分?jǐn)?shù)。從圖中，可以看到，與基線相比，Multimix是最強(qiáng)的模型。最后一個(gè)圖是模型的分割預(yù)測的可視化。展示了的預(yù)測的邊界使為每一個(gè)提出的分割任務(wù)添加對(duì)不同標(biāo)記數(shù)據(jù)的真值對(duì)比。圖中顯示了與MultiMix針對(duì)真實(shí)邊界的邊界預(yù)測的強(qiáng)烈一致性，特別是與基線相比。對(duì)于跨域MultiMix在很大程度上也是最好的，顯示了強(qiáng)大的泛化能力。總結(jié)
在這篇文章中，我們解釋了一個(gè)可用于聯(lián)合學(xué)習(xí)分類和分割任務(wù)的新的稀疏監(jiān)督多任務(wù)學(xué)習(xí)模型MultiMix。該論文使用四種不同的胸部x射線數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)，證明了MultiMix在域內(nèi)和跨域評(píng)估中的有效性。https://arxiv.org/abs/2010.14731https://github.com/ayaanzhaque/MultiMix
下載APP