從39個(gè)kaggle競(jìng)賽中總結(jié)出來(lái)的圖像分割的Tips和Tricks

想象一下，如果你能得到所有的tips和tricks，你需要去參加一個(gè)Kaggle比賽。我已經(jīng)超過(guò)39個(gè)Kaggle比賽，包括：

• Data Science Bowl 2017 – $1,000,000
• Intel & MobileODT Cervical Cancer Screening – $100,000
• 2018 Data Science Bowl – $100,000
• Airbus Ship Detection Challenge – $60,000
• Planet: Understanding the Amazon from Space – $60,000
• APTOS 2019 Blindness Detection – $50,000
• Human Protein Atlas Image Classification – $37,000
• SIIM-ACR Pneumothorax Segmentation – $30,000
• Inclusive Images Challenge – $25,000

現(xiàn)在把這些知識(shí)都挖出來(lái)給你們！

外部數(shù)據(jù)

• 使用 LUng Node Analysis Grand Challenge 數(shù)據(jù)，因?yàn)檫@個(gè)數(shù)據(jù)集包含了來(lái)自放射學(xué)的標(biāo)注細(xì)節(jié)。
• 使用 LIDC-IDRI 數(shù)據(jù)，因?yàn)樗哂姓业搅四[瘤的所有放射學(xué)的描述。
• 使用Flickr CC，維基百科通用數(shù)據(jù)集
• 使用Human Protein Atlas Dataset
• 使用IDRiD數(shù)據(jù)集

數(shù)據(jù)探索和直覺

• 使用0.5的閾值對(duì)3D分割進(jìn)行聚類
• 確認(rèn)在訓(xùn)練集和測(cè)試集的標(biāo)簽分布上有沒有不一樣的地方

預(yù)處理

• 使用DoG（Difference of Gaussian）方法進(jìn)行blob檢測(cè)，使用skimage中的方法。
• 使用基于patch的輸入進(jìn)行訓(xùn)練，為了減少訓(xùn)練時(shí)間。
• 使用cudf加載數(shù)據(jù)，不要用Pandas，因?yàn)樽x數(shù)據(jù)更快。
• 確保所有的圖像具有相同的方向。
• 在進(jìn)行直方圖均衡化的時(shí)候，使用對(duì)比度限制。
• 使用OpenCV進(jìn)行通用的圖像預(yù)處理。
• 使用自動(dòng)化主動(dòng)學(xué)習(xí)，添加手工標(biāo)注。
• 將所有的圖像縮放成相同的分辨率，可以使用相同的模型來(lái)掃描不同的厚度。
• 將掃描圖像歸一化為3D的numpy數(shù)組。
• 對(duì)單張圖像使用暗通道先驗(yàn)方法進(jìn)行圖像去霧。
• 將所有圖像轉(zhuǎn)化成Hounsfield單位（放射學(xué)中的概念）。
• 使用RGBY的匹配系數(shù)來(lái)找到冗余的圖像。
• 開發(fā)一個(gè)采樣器，讓標(biāo)簽更加的均衡。
• 對(duì)測(cè)試圖像打偽標(biāo)簽來(lái)提升分?jǐn)?shù)。
• 將圖像/Mask降采樣到320x480。
• 直方圖均衡化（CLAHE）的時(shí)候使用kernel size為32×32
• 將DCM轉(zhuǎn)化為PNG。
• 當(dāng)有冗余圖像的時(shí)候，為每個(gè)圖像計(jì)算md5 hash值。

數(shù)據(jù)增強(qiáng)

• 使用 albumentations 進(jìn)行數(shù)據(jù)增強(qiáng)。
• 使用隨機(jī)90度旋轉(zhuǎn)。
• 使用水平翻轉(zhuǎn)，上下翻轉(zhuǎn)。
• 可以嘗試較大的幾何變換：彈性變換，仿射變換，樣條仿射變換，枕形畸變。
• 使用隨機(jī)HSV。
• 使用loss-less增強(qiáng)來(lái)進(jìn)行泛化，防止有用的圖像信息出現(xiàn)大的loss。
• 應(yīng)用channel shuffling。
• 基于類別的頻率進(jìn)行數(shù)據(jù)增強(qiáng)。
• 使用高斯噪聲。
• 對(duì)3D圖像使用lossless重排來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)。
• 0到45度隨機(jī)旋轉(zhuǎn)。
• 從0.8到1.2隨機(jī)縮放。
• 亮度變換。
• 隨機(jī)變化hue和飽和度。
• 使用D4：https://en.wikipedia.org/wiki/Dihedral_group增強(qiáng)。
• 在進(jìn)行直方圖均衡化的時(shí)候使用對(duì)比度限制。
• 使用AutoAugment：https://arxiv.org/pdf/1805.09501.pdf增強(qiáng)策略。

模型

結(jié)構(gòu)

• 使用U-net作為基礎(chǔ)結(jié)構(gòu)，并調(diào)整以適應(yīng)3D的輸入。
• 使用自動(dòng)化主動(dòng)學(xué)習(xí)并添加人工標(biāo)注。
• 使用inception-ResNet v2 architecture結(jié)構(gòu)使用不同的感受野訓(xùn)練特征。
• 使用Siamese networks進(jìn)行對(duì)抗訓(xùn)練。
• 使用ResNet50, Xception, Inception ResNet v2 x 5，最后一層用全連接。
• 使用global max-pooling layer，無(wú)論什么輸入尺寸，返回固定長(zhǎng)度的輸出。
• 使用stacked dilated convolutions。
• VoxelNet。
• 在LinkNet的跳躍連接中將相加替換為拼接和conv1x1。
• Generalized mean pooling。
• 使用224x224x3的輸入，用Keras NASNetLarge從頭訓(xùn)練模型。
• 使用3D卷積網(wǎng)絡(luò)。
• 使用ResNet152作為預(yù)訓(xùn)練的特征提取器。
• 將ResNet的最后的全連接層替換為3個(gè)使用dropout的全連接層。
• 在decoder中使用轉(zhuǎn)置卷積。
• 使用VGG作為基礎(chǔ)結(jié)構(gòu)。
• 使用C3D網(wǎng)絡(luò)，使用adjusted receptive fields，在網(wǎng)絡(luò)的最后使用64 unit bottleneck layer 。
• 使用帶預(yù)訓(xùn)練權(quán)重的UNet類型的結(jié)構(gòu)在8bit RGB輸入圖像上提升收斂性和二元分割的性能。
• 使用LinkNet，因?yàn)橛挚煊质?nèi)存。
• MASKRCNN
• BN-Inception
• Fast Point R-CNN
• Seresnext
• UNet and Deeplabv3
• Faster RCNN
• SENet154
• ResNet152
• NASNet-A-Large
• EfficientNetB4
• ResNet101
• GAPNet
• PNASNet-5-Large
• Densenet121
• AC-GAN
• XceptionNet (96), XceptionNet (299), Inception v3 (139), InceptionResNet v2 (299), DenseNet121 (224)
• AlbuNet (resnet34) from ternausnets
• SpaceNet
• Resnet50 from selim_sef SpaceNet 4
• SCSEUnet (seresnext50) from selim_sef SpaceNet 4
• A custom Unet and Linknet architecture
• FPNetResNet50 (5 folds)
• FPNetResNet101 (5 folds)
• FPNetResNet101 (7 folds with different seeds)
• PANetDilatedResNet34 (4 folds)
• PANetResNet50 (4 folds)
• EMANetResNet101 (2 folds)
• RetinaNet
• Deformable R-FCN
• Deformable Relation Networks

硬件設(shè)置

• Use of the AWS GPU instance p2.xlarge with a NVIDIA K80 GPU
• Pascal Titan-X GPU
• Use of 8 TITAN X GPUs
• 6 GPUs: 21080Ti + 41080
• Server with 8×NVIDIA Tesla P40, 256 GB RAM and 28 CPU cores
• Intel Core i7 5930k, 2×1080, 64 GB of RAM, 2x512GB SSD, 3TB HDD
• GCP 1x P100, 8x CPU, 15 GB RAM, SSD or 2x P100, 16x CPU, 30 GB RAM
• NVIDIA Tesla P100 GPU with 16GB of RAM
• Intel Core i7 5930k, 2×1080, 64 GB of RAM, 2x512GB SSD, 3TB HDD
• 980Ti GPU, 2600k CPU, and 14GB RAM

損失函數(shù)

• Dice Coefficient ，因?yàn)樵诓痪鈹?shù)據(jù)上工作很好。
• Weighted boundary loss 目的是減少預(yù)測(cè)的分割和ground truth之間的距離。
• MultiLabelSoftMarginLoss 使用one-versus-all損失優(yōu)化多標(biāo)簽。
• Balanced cross entropy (BCE) with logit loss 通過(guò)系數(shù)來(lái)分配正負(fù)樣本的權(quán)重。
• Lovasz 基于sub-modular損失的convex Lovasz擴(kuò)展來(lái)直接優(yōu)化平均IoU損失。
• FocalLoss + Lovasz 將Focal loss和Lovasz losses相加得到。
• Arc margin loss 通過(guò)添加margin來(lái)最大化人臉類別的可分性。
• Npairs loss 計(jì)算y_true 和 y_pred之間的npairs損失。
• 將BCE和Dice loss組合起來(lái)。
• LSEP – 一種成對(duì)的排序損失，處處平滑因此容易優(yōu)化。
• Center loss 同時(shí)學(xué)習(xí)每個(gè)類別的特征中心，并對(duì)距離特征中心距離太遠(yuǎn)的樣本進(jìn)行懲罰。
• Ring Loss 對(duì)標(biāo)準(zhǔn)的損失函數(shù)進(jìn)行了增強(qiáng)，如Softmax。
• Hard triplet loss 訓(xùn)練網(wǎng)絡(luò)進(jìn)行特征嵌入，最大化不同類別之間的特征的距離。
• 1 + BCE – Dice 包含了BCE和DICE損失再加1。
• Binary cross-entropy – ?log(dice) 二元交叉熵減去dice loss的log。
• BCE, dice和focal 損失的組合。
• BCE + DICE - Dice損失通過(guò)計(jì)算平滑的dice系數(shù)得到。
• Focal loss with Gamma 2 標(biāo)準(zhǔn)交叉熵?fù)p失的升級(jí)。
• BCE + DICE + Focal – 3種損失相加。
• Active Contour Loss 加入了面積和尺寸信息，并集成到深度學(xué)習(xí)模型中。
• 1024 * BCE(results, masks) + BCE(cls, cls_target)
• Focal + kappa – Kappa是一種用于多類別分類的損失，這里和Focal loss相加。
• ArcFaceLoss?—? 用于人臉識(shí)別的Additive Angular Margin Loss。
• soft Dice trained on positives only – 使用預(yù)測(cè)概率的Soft Dice。
• 2.7 * BCE(pred_mask, gt_mask) + 0.9 * DICE(pred_mask, gt_mask) + 0.1 * BCE(pred_empty, gt_empty) 一種自定義損失。
• nn.SmoothL1Loss()。
• 使用Mean Squared Error objective function，在某些場(chǎng)景下比二元交叉熵?fù)p失好。

訓(xùn)練技巧

• 嘗試不同的學(xué)習(xí)率。
• 嘗試不同的batch size。
• 使用SGD + 動(dòng)量 并手工設(shè)計(jì)學(xué)習(xí)率策略。
• 太多的增強(qiáng)會(huì)降低準(zhǔn)確率。
• 在圖像上進(jìn)行裁剪做訓(xùn)練，全尺寸圖像做預(yù)測(cè)。
• 使用Keras的ReduceLROnPlateau()作為學(xué)習(xí)率策略。
• 不使用數(shù)據(jù)增強(qiáng)訓(xùn)練到平臺(tái)期，然后對(duì)一些epochs使用軟硬增強(qiáng)。
• 凍結(jié)除了最后一層外的所有層，使用1000張圖像進(jìn)行微調(diào)，作為第一步。
• 使用分類別采樣
• 在調(diào)試最后一層的時(shí)候使用dropout和增強(qiáng)
• 使用偽標(biāo)簽來(lái)提高分?jǐn)?shù)
• 使用Adam在plateau的時(shí)候衰減學(xué)習(xí)率
• 用SGD使用Cyclic學(xué)習(xí)率策略
• 如果驗(yàn)證損失持續(xù)2個(gè)epochs沒有降低，將學(xué)習(xí)率進(jìn)行衰減
• 將10個(gè)batches里的最差的batch進(jìn)行重復(fù)訓(xùn)練
• 使用默認(rèn)的UNET進(jìn)行訓(xùn)練
• 對(duì)patch進(jìn)行重疊，這樣邊緣像素被覆蓋兩次
• 超參數(shù)調(diào)試：訓(xùn)練時(shí)候的學(xué)習(xí)率，非極大值抑制以及推理時(shí)候的分?jǐn)?shù)閾值
• 將低置信度得分的包圍框去掉。
• 訓(xùn)練不同的卷積網(wǎng)絡(luò)進(jìn)行模型集成。
• 在F1score開始下降的時(shí)候就停止訓(xùn)練。
• 使用不同的學(xué)習(xí)率。
• 使用層疊的方法用5 folds的方法訓(xùn)練ANN，重復(fù)30次。

評(píng)估和驗(yàn)證

• 按類別非均勻的劃分訓(xùn)練和測(cè)試集
• 當(dāng)調(diào)試最后一層的時(shí)候，使用交叉驗(yàn)證來(lái)避免過(guò)擬合。
• 使用10折交叉驗(yàn)證集成來(lái)進(jìn)行分類。
• 檢測(cè)的時(shí)候使用5-10折交叉驗(yàn)證來(lái)集成。

集成方法

• 使用簡(jiǎn)單的投票方法進(jìn)行集成
• 對(duì)于類別很多的模型使用LightGBM，使用原始特征。
• 對(duì)2層模型使用CatBoost。
• 使用 ‘curriculum learning’ 來(lái)加速模型訓(xùn)練，這種訓(xùn)練模式下，模型先在簡(jiǎn)單樣本上訓(xùn)練，再在困難樣本上訓(xùn)練。
• 使用ResNet50, InceptionV3, and InceptionResNetV2進(jìn)行集成。
• 對(duì)物體檢測(cè)使用集成。
• 對(duì)Mask RCNN, YOLOv3, 和Faster RCNN 進(jìn)行集成。

后處理

• 使用test time augmentation?，對(duì)一張圖像進(jìn)行隨機(jī)變換多次測(cè)試后對(duì)結(jié)果進(jìn)行平均。
• 對(duì)測(cè)試的預(yù)測(cè)概率進(jìn)行均衡化，而不是使用預(yù)測(cè)的類別。
• 對(duì)預(yù)測(cè)結(jié)果進(jìn)行幾何平均。
• 在推理的時(shí)候分塊重疊，因?yàn)閁Net對(duì)邊緣區(qū)域的預(yù)測(cè)不是很好。
• 進(jìn)行非極大值抑制和包圍框的收縮。
• 在實(shí)例分割中使用分水嶺算法后處理來(lái)分離物體。