從39個(gè)kaggle競(jìng)賽中總結(jié)出來(lái)的圖像分割的Tips和Tricks（附資源）

• Data Science Bowl 2017 – $1,000,000
• Intel & MobileODT Cervical Cancer Screening – $100,000
• 2018 Data Science Bowl – $100,000
• Airbus Ship Detection Challenge – $60,000
• Planet: Understanding the Amazon from Space – $60,000
• APTOS 2019 Blindness Detection – $50,000
• Human Protein Atlas Image Classification – $37,000
• SIIM-ACR Pneumothorax Segmentation – $30,000
• Inclusive Images Challenge – $25,000

外部數(shù)據(jù)

• 使用 LUng Node Analysis Grand Challenge 數(shù)據(jù)，因?yàn)檫@個(gè)數(shù)據(jù)集包含了來(lái)自放射學(xué)的標(biāo)注細(xì)節(jié)；
• 使用 LIDC-IDRI 數(shù)據(jù)，因?yàn)樗哂姓业搅四[瘤的所有放射學(xué)的描述；
• 使用Flickr CC，維基百科通用數(shù)據(jù)集；
• 使用Human Protein Atlas Dataset；
• 使用IDRiD數(shù)據(jù)集。

數(shù)據(jù)探索和直覺

• 使用0.5的閾值對(duì)3D分割進(jìn)行聚類；
• 確認(rèn)在訓(xùn)練集和測(cè)試集的標(biāo)簽分布上有沒(méi)有不一樣的地方。

預(yù)處理

• 使用DoG（Difference of Gaussian）方法進(jìn)行blob檢測(cè)，使用skimage中的方法；
• 使用基于patch的輸入進(jìn)行訓(xùn)練，為了減少訓(xùn)練時(shí)間；
• 使用cudf加載數(shù)據(jù)，不要用Pandas，因?yàn)樽x數(shù)據(jù)更快；
• 確保所有的圖像具有相同的方向；
• 在進(jìn)行直方圖均衡化的時(shí)候，使用對(duì)比度限制；
• 使用OpenCV進(jìn)行通用的圖像預(yù)處理；
• 使用自動(dòng)化主動(dòng)學(xué)習(xí)，添加手工標(biāo)注；
• 將所有的圖像縮放成相同的分辨率，可以使用相同的模型來(lái)掃描不同的厚度；
• 將掃描圖像歸一化為3D的numpy數(shù)組；
• 對(duì)單張圖像使用暗通道先驗(yàn)方法進(jìn)行圖像去霧；
• 將所有圖像轉(zhuǎn)化成Hounsfield單位（放射學(xué)中的概念）；
• 使用RGBY的匹配系數(shù)來(lái)找到冗余的圖像；
• 開發(fā)一個(gè)采樣器，讓標(biāo)簽更加的均衡；
• 對(duì)測(cè)試圖像打偽標(biāo)簽來(lái)提升分?jǐn)?shù)；
• 將圖像/Mask降采樣到320x480；
• 直方圖均衡化（CLAHE）的時(shí)候使用kernel size為32×32；
• 將DCM轉(zhuǎn)化為PNG；
• 當(dāng)有冗余圖像的時(shí)候，為每個(gè)圖像計(jì)算md5 hash值。

數(shù)據(jù)增強(qiáng)

• 使用 albumentations 進(jìn)行數(shù)據(jù)增強(qiáng)；
• 使用隨機(jī)90度旋轉(zhuǎn)；
• 使用水平翻轉(zhuǎn)，上下翻轉(zhuǎn)；
• 可以嘗試較大的幾何變換：彈性變換，仿射變換，樣條仿射變換，枕形畸變；
• 使用隨機(jī)HSV；
• 使用loss-less增強(qiáng)來(lái)進(jìn)行泛化，防止有用的圖像信息出現(xiàn)大的loss；
• 應(yīng)用channel shuffling；
• 基于類別的頻率進(jìn)行數(shù)據(jù)增強(qiáng)；
• 使用高斯噪聲；
• 對(duì)3D圖像使用lossless重排來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)；
• 0到45度隨機(jī)旋轉(zhuǎn)；
• 從0.8到1.2隨機(jī)縮放；
• 亮度變換；
• 隨機(jī)變化hue和飽和度；
• 使用D4：https://en.wikipedia.org/wiki/Dihedral_group增強(qiáng)；
• 在進(jìn)行直方圖均衡化的時(shí)候使用對(duì)比度限制；
• 使用AutoAugment：https://arxiv.org/pdf/1805.09501.pdf增強(qiáng)策略。

模型結(jié)構(gòu)

• 使用U-net作為基礎(chǔ)結(jié)構(gòu)，并調(diào)整以適應(yīng)3D的輸入；
• 使用自動(dòng)化主動(dòng)學(xué)習(xí)并添加人工標(biāo)注；
• 使用inception-ResNet v2 architecture結(jié)構(gòu)使用不同的感受野訓(xùn)練特征；
• 使用Siamese networks進(jìn)行對(duì)抗訓(xùn)練；
• 使用ResNet50, Xception, Inception ResNet v2 x 5，最后一層用全連接；
• 使用global max-pooling layer，無(wú)論什么輸入尺寸，返回固定長(zhǎng)度的輸出；
• 使用stacked dilated convolutions；
• VoxelNet；
• 在LinkNet的跳躍連接中將相加替換為拼接和conv1x1；
• Generalized mean pooling；
• 使用224x224x3的輸入，用Keras NASNetLarge從頭訓(xùn)練模型；
• 使用3D卷積網(wǎng)絡(luò)；
• 使用ResNet152作為預(yù)訓(xùn)練的特征提取器；
• 將ResNet的最后的全連接層替換為3個(gè)使用dropout的全連接層；
• 在decoder中使用轉(zhuǎn)置卷積；
• 使用VGG作為基礎(chǔ)結(jié)構(gòu)；
• 使用C3D網(wǎng)絡(luò)，使用adjusted receptive fields，在網(wǎng)絡(luò)的最后使用64 unit bottleneck layer ；
• 使用帶預(yù)訓(xùn)練權(quán)重的UNet類型的結(jié)構(gòu)在8bit RGB輸入圖像上提升收斂性和二元分割的性能；
• 使用LinkNet，因?yàn)橛挚煊质?nèi)存；
• MASKRCNN；
• BN-Inception；
• Fast Point R-CNN；
• Seresnext；
• UNet and Deeplabv3；
• Faster RCNN；
• SENet154；
• ResNet152；
• NASNet-A-Large；
• EfficientNetB4；
• ResNet101；
• GAPNet；
• PNASNet-5-Large；
• Densenet121；
• AC-GAN；
• XceptionNet (96), XceptionNet (299), Inception v3 (139), InceptionResNet v2 (299), DenseNet121 (224)；
• AlbuNet (resnet34) from ternausnets；
• SpaceNet；
• Resnet50 from selim_sef SpaceNet 4；
• SCSEUnet (seresnext50) from selim_sef SpaceNet 4；
• A custom Unet and Linknet architecture；
• FPNetResNet50 (5 folds)；
• FPNetResNet101 (5 folds)；
• FPNetResNet101 (7 folds with different seeds)；
• PANetDilatedResNet34 (4 folds)；
• PANetResNet50 (4 folds)；
• EMANetResNet101 (2 folds)；
• RetinaNet；
• Deformable R-FCN；
• Deformable Relation Networks；

硬件設(shè)置

• Use of the AWS GPU instance p2.xlarge with a NVIDIA K80 GPU；
• Pascal Titan-X GPU；
• Use of 8 TITAN X GPUs；
• 6 GPUs: 21080Ti + 41080；
• Server with 8×NVIDIA Tesla P40, 256 GB RAM and 28 CPU cores；
• Intel Core i7 5930k, 2×1080, 64 GB of RAM, 2x512GB SSD, 3TB HDD；
• GCP 1x P100, 8x CPU, 15 GB RAM, SSD or 2x P100, 16x CPU, 30 GB RAM；
• NVIDIA Tesla P100 GPU with 16GB of RAM；
• Intel Core i7 5930k, 2×1080, 64 GB of RAM, 2x512GB SSD, 3TB HDD；
• 980Ti GPU, 2600k CPU, and 14GB RAM。

損失函數(shù)

• Dice Coefficient ，因?yàn)樵诓痪鈹?shù)據(jù)上工作很好；
• Weighted boundary loss 目的是減少預(yù)測(cè)的分割和ground truth之間的距離；
• MultiLabelSoftMarginLoss 使用one-versus-all損失優(yōu)化多標(biāo)簽；
• Balanced cross entropy (BCE) with logit loss 通過(guò)系數(shù)來(lái)分配正負(fù)樣本的權(quán)重；
• Lovasz 基于sub-modular損失的convex Lovasz擴(kuò)展來(lái)直接優(yōu)化平均IoU損失；
• FocalLoss + Lovasz 將Focal loss和Lovasz losses相加得到；
• Arc margin loss 通過(guò)添加margin來(lái)最大化人臉類別的可分性；
• Npairs loss 計(jì)算y_true 和 y_pred之間的npairs損失；
• 將BCE和Dice loss組合起來(lái)；
• LSEP – 一種成對(duì)的排序損失，處處平滑因此容易優(yōu)化；
• Center loss 同時(shí)學(xué)習(xí)每個(gè)類別的特征中心，并對(duì)距離特征中心距離太遠(yuǎn)的樣本進(jìn)行懲罰；
• Ring Loss 對(duì)標(biāo)準(zhǔn)的損失函數(shù)進(jìn)行了增強(qiáng)，如Softmax；
• Hard triplet loss 訓(xùn)練網(wǎng)絡(luò)進(jìn)行特征嵌入，最大化不同類別之間的特征的距離；
• 1 + BCE – Dice 包含了BCE和DICE損失再加1；
• Binary cross-entropy – ?log(dice) 二元交叉熵減去dice loss的log；
• BCE, dice和focal 損失的組合；
• BCE + DICE - Dice損失通過(guò)計(jì)算平滑的dice系數(shù)得到；
• Focal loss with Gamma 2 標(biāo)準(zhǔn)交叉熵?fù)p失的升級(jí)；
• BCE + DICE + Focal – 3種損失相加；
• Active Contour Loss 加入了面積和尺寸信息，并集成到深度學(xué)習(xí)模型中；
• 1024 * BCE(results, masks) + BCE(cls, cls_target)；
• Focal + kappa – Kappa是一種用于多類別分類的損失，這里和Focal loss相加；
• ArcFaceLoss?—? 用于人臉識(shí)別的Additive Angular Margin Loss；
• soft Dice trained on positives only – 使用預(yù)測(cè)概率的Soft Dice；
• 2.7 * BCE(pred_mask, gt_mask) + 0.9 * DICE(pred_mask, gt_mask) + 0.1 * BCE(pred_empty, gt_empty) 一種自定義損失；
• nn.SmoothL1Loss()；
• 使用Mean Squared Error objective function，在某些場(chǎng)景下比二元交叉熵?fù)p失好。

訓(xùn)練技巧

• 嘗試不同的學(xué)習(xí)率；
• 嘗試不同的batch size；
• 使用SGD + 動(dòng)量并手工設(shè)計(jì)學(xué)習(xí)率策略；
• 太多的增強(qiáng)會(huì)降低準(zhǔn)確率；
• 在圖像上進(jìn)行裁剪做訓(xùn)練，全尺寸圖像做預(yù)測(cè)；
• 使用Keras的ReduceLROnPlateau()作為學(xué)習(xí)率策略；
• 不使用數(shù)據(jù)增強(qiáng)訓(xùn)練到平臺(tái)期，然后對(duì)一些epochs使用軟硬增強(qiáng)；
• 凍結(jié)除了最后一層外的所有層，使用1000張圖像進(jìn)行微調(diào)，作為第一步；
• 使用分類別采樣；
• 在調(diào)試最后一層的時(shí)候使用dropout和增強(qiáng)；
• 使用偽標(biāo)簽來(lái)提高分?jǐn)?shù)；
• 使用Adam在plateau的時(shí)候衰減學(xué)習(xí)率；
• 用SGD使用Cyclic學(xué)習(xí)率策略；
• 如果驗(yàn)證損失持續(xù)2個(gè)epochs沒(méi)有降低，將學(xué)習(xí)率進(jìn)行衰減；
• 將10個(gè)batches里的最差的batch進(jìn)行重復(fù)訓(xùn)練；
• 使用默認(rèn)的UNET進(jìn)行訓(xùn)練；
• 對(duì)patch進(jìn)行重疊，這樣邊緣像素被覆蓋兩次；
• 超參數(shù)調(diào)試：訓(xùn)練時(shí)候的學(xué)習(xí)率，非極大值抑制以及推理時(shí)候的分?jǐn)?shù)閾值；
• 將低置信度得分的包圍框去掉；
• 訓(xùn)練不同的卷積網(wǎng)絡(luò)進(jìn)行模型集成；
• 在F1score開始下降的時(shí)候就停止訓(xùn)練；
• 使用不同的學(xué)習(xí)率；
• 使用層疊的方法用5 folds的方法訓(xùn)練ANN，重復(fù)30次。

評(píng)估和驗(yàn)證

• 按類別非均勻的劃分訓(xùn)練和測(cè)試集；
• 當(dāng)調(diào)試最后一層的時(shí)候，使用交叉驗(yàn)證來(lái)避免過(guò)擬合；
• 使用10折交叉驗(yàn)證集成來(lái)進(jìn)行分類；
• 檢測(cè)的時(shí)候使用5-10折交叉驗(yàn)證來(lái)集成。

集成方法

• 使用簡(jiǎn)單的投票方法進(jìn)行集成；
• 對(duì)于類別很多的模型使用LightGBM，使用原始特征；
• 對(duì)2層模型使用CatBoost；
• 使用 ‘curriculum learning’ 來(lái)加速模型訓(xùn)練，這種訓(xùn)練模式下，模型先在簡(jiǎn)單樣本上訓(xùn)練，再在困難樣本上訓(xùn)練；
• 使用ResNet50, InceptionV3, and InceptionResNetV2進(jìn)行集成；
• 對(duì)物體檢測(cè)使用集成；
• 對(duì)Mask RCNN, YOLOv3, 和Faster RCNN 進(jìn)行集成。

后處理

• 使用test time augmentation?，對(duì)一張圖像進(jìn)行隨機(jī)變換多次測(cè)試后對(duì)結(jié)果進(jìn)行平均；
• 對(duì)測(cè)試的預(yù)測(cè)概率進(jìn)行均衡化，而不是使用預(yù)測(cè)的類別；
• 對(duì)預(yù)測(cè)結(jié)果進(jìn)行幾何平均；
• 在推理的時(shí)候分塊重疊，因?yàn)閁Net對(duì)邊緣區(qū)域的預(yù)測(cè)不是很好；
• 進(jìn)行非極大值抑制和包圍框的收縮；
• 在實(shí)例分割中使用分水嶺算法后處理來(lái)分離物體。

—版權(quán)聲明—

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請(qǐng)聯(lián)系微信號(hào):yiyang-sy 刪除或修改！