99 re在线,老牛嫩草破苞视频A片,www.色大屌,综合日逼网,超碰九九,免费看黄色电影,青娱乐草草,国精产品秘成人一区二视频

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

選自 | arXiv

作者 |?Alexia Jolicoeur-Martineau

SVM 是機器學習領(lǐng)域的經(jīng)典算法之一。如果將 SVM 推廣到神經(jīng)網(wǎng)絡，會發(fā)生什么呢？

支持向量機（Support Vector Machine，SVM）是大多數(shù) AI 從業(yè)者比較熟悉的概念。它是一種在分類與回歸分析中分析數(shù)據(jù)的監(jiān)督式學習模型與相關(guān)的學習算法。給定一組訓練實例，每個訓練實例被標記為屬于兩個類別中的一個或另一個，SVM 訓練算法創(chuàng)建一個將新的實例分配給兩個類別之一的模型，使其成為非概率二元線性分類器。SVM 模型將實例表示為空間中的點，這樣映射就使得單獨類別的實例被盡可能寬的明顯的間隔分開。然后，將新的實例映射到同一空間，并基于它們落在間隔的哪一側(cè)來預測所屬類別。

除了進行線性分類之外，SVM 還可以使用所謂的核技巧有效地進行非線性分類，將其輸入隱式映射到高維特征空間中。

本文將介紹一篇來自蒙特利爾大學的論文《SVM、Wasserstein 距離、梯度懲罰 GAN 之間的聯(lián)系》。在這篇論文中，研究者闡述了如何從同一框架中得到 SVM 和梯度懲罰 GAN。

據(jù)論文一作介紹，這項研究的靈感來自她的博士資格考試。在準備過程中，她學習了 SVM，并思考了這個問題：「如果將 SVM 推廣到神經(jīng)網(wǎng)絡會發(fā)生什么？」順著這個思路，研究者發(fā)現(xiàn)了 SVM、GAN、Wasserstein 距離之間的關(guān)系。

論文地址：https://arxiv.org/abs/1910.06922
代碼地址：https://github.com/AlexiaJM/MaximumMarginGANs

該研究將最大間隔分類器（MMC）的概念擴展到任意范數(shù)和非線性函數(shù)。支持向量機是 MMC 的一個特例。研究者發(fā)現(xiàn)，MMC 可以形式化為積分概率度量（Integral Probability Metrics，IPM）或具備某種形式梯度范數(shù)懲罰的分類器。這表明它與梯度懲罰 GAN 有直接關(guān)聯(lián)。

該研究表明，Wasserstein GAN、標準 GAN、最小二乘 GAN 和具備梯度懲罰的 Hinge GAN 中的判別器都是 MMC，并解釋了 GAN 中最大化間隔的作用。研究者假設(shè) L^∞ 范數(shù)懲罰和 Hinge 損失生成的 GAN 優(yōu)于 L^2 范數(shù)懲罰生成的 GAN，并通過實驗進行了驗證。此外，該研究還導出了 Relativistic paired (Rp) 和 average (Ra) GAN 的間隔。

這篇論文共包含幾部分：在第二章中，研究者回顧了 SVM 和 GAN；第三章，研究者概述了最大間隔分類器（MMC）的概念；第四章，研究者用梯度懲罰解釋了 MMC 和 GAN 之間的聯(lián)系。其中 4.1 提到了強制 1-Lipschitz 等價于假設(shè)一個有界梯度，這意味著 Wasserstein 距離可以用 MMC 公式來近似估算；4.2 描述了在 GAN 中使用 MMC 的好處；4.3 假定 L1 范數(shù)間隔能夠?qū)е赂唪敯粜缘姆诸惼鳎?.4 推導了 Relativistic paired GAN 和 Relativistic average GAN 的間隔。最后，第五章提供了實驗結(jié)果以支持文章假設(shè)。

SVM 是 MMC 的一個特例。MMC 是使間隔最大化的分類器 f（間隔指的是決策邊界與數(shù)據(jù)點之間的距離）。決策邊界是指我們無法分辨出樣本類別的區(qū)域（所有 x 使得 f(x)=0）。

Soft-SVM 是一種特殊情況，它可以使最小 L2 范數(shù)間隔最大化。下圖展示了實際使用中的 Soft-SVM：

在解釋這一結(jié)果之前，我們需要了解一個關(guān)鍵要素。關(guān)于「間隔」有多種定義：

（1）樣本與邊界之間的最小距離；

（2）距邊界最近的點與邊界之間的最小距離。

定義（2）更為常用。但是如果使用此定義，那么 SVM 文獻中所謂的「函數(shù)間隔（functional margin）」和「幾何間隔（geometric margin）」就都不能被視為間隔。這可能會讓人十分困惑。

理解這種差異更好的一種方式是：

將（1）視為「樣本的間隔」；
將（2）視為「數(shù)據(jù)集的間隔」。

但是，為了消除這兩種情況的歧義，本文將前者稱為「間隔（margin）」，將后者稱為「最小間隔（minimum margin）」。

Hard-SVM（原始形式）解決了最大化最小間隔的問題。Soft-SVM 解決了另一個更簡單的問題——最大化期望 soft-margin（最小化期望 Hinge 損失）。這個問題很容易解決，hinge 損失確保遠離邊界的樣本不會對假重復 Hard-SVM 效果的嘗試產(chǎn)生任何影響。

從這個角度看，最大化期望間隔（而不是最大化最小間隔）仍會導致最大間隔分類器，但是分類器可能會受到遠離邊界的點的影響（如果不使用 Hinge 損失的話）。因此，最大化期望間隔意味著最大化任何樣本（即數(shù)據(jù)點）與決策邊界之間的平均距離。這些方法就是最大間隔分類器（MMC）的示例。

為了盡可能地通用化，該研究設(shè)計了一個框架來導出 MMC 的損失函數(shù)。研究者觀察到，該框架可以導出帶有梯度懲罰的基于間隔的目標函數(shù)（目標函數(shù) F 的形式為 F(yf(x))）。這就意味著標準 GAN、最小二乘 GAN、WGAN 或 HingeGAN-GP 都是 MMC。所有這些方法（和 WGAN-GP 一樣使用 L2 梯度規(guī)范懲罰時）都能最大化期望 L2 范數(shù)間隔。

研究者還展示了，使用 Lipschitz-1 判別器的大多數(shù) GAN（譜歸一化 HingeGAN、WGAN、WGAN-GP 等）都可被表示為 MMC，因為假定 1-Lipschitz 等效于假定有界梯度（因此可作為一種梯度懲罰形式）。

重要的是，這意味著我們可以將最成功的 GAN（BigGAN、StyleGAN）看作 MMC。假定 Lipschitz-1 判別器一直被看作實現(xiàn)優(yōu)秀 GAN 的關(guān)鍵因素，但它可能需要一個能夠最大化間隔的判別器和相對判別器（Relativistic Discriminator）。該研究基于 MMC 判別器給偽生成樣本帶來更多梯度信號的事實，闡述了其優(yōu)點。

在這一點上，讀者可能有疑問：「是不是某些間距比其它間距更好？是的話，我們能做出更好的 GAN 嗎？」

這兩個問題的答案都是肯定的。最小化 L1 范數(shù)的損失函數(shù)比最小化 L2 范數(shù)的損失函數(shù)對異常值更具魯棒性。基于這一事實，研究者提出質(zhì)疑：L1 范數(shù)間隔會帶來魯棒性更強的分類器，生成的 GAN 也可能比 L2 范數(shù)間隔更佳。

重要的是，L1 范數(shù)間隔會造成 L∞ 梯度范數(shù)懲罰，L2 范數(shù)間隔會造成 L2 梯度范數(shù)懲罰。該研究進行了一些實驗，表明 L∞ 梯度范數(shù)懲罰（因使用 L1 間隔產(chǎn)生）得到的 GAN 性能更優(yōu)。

此外，實驗表明， HingeGAN-GP 通常優(yōu)于 WGAN-GP（這是說得通的，因為 hinge 損失對遠離邊界的異常值具有魯棒性），并且僅懲罰大于 1 的梯度范數(shù)效果更好（而不是像 WGAN-GP 一樣，使所有的梯度范數(shù)逼近 1）。因此，盡管這是一項理論研究，但研究者發(fā)現(xiàn)了一些對改進 GAN 非常有用的想法。

使用該框架，研究者能夠為 Relativistic paired (Rp) GAN 和 Relativistic average (Ra) GAN 定義決策邊界和間隔。人們常常想知道為什么 RpGAN 的性能不如 RaGAN，在這篇文章中，研究者對此進行了闡述。

使用 L1 范數(shù)間隔的想法只是冰山一角，該框架還能通過更具魯棒性的間隔，設(shè)計出更優(yōu)秀的 GAN（從而提供更好的梯度懲罰或「光譜」歸一化技術(shù)）。最后，對于為什么梯度懲罰或 1-Lipschitz 對不估計 Wasserstein 距離的 GAN 有效，該研究也提供了明確的理論依據(jù)，更多細節(jié)可參考原論文。

好消息，小白學視覺團隊的知識星球開通啦，為了感謝大家的支持與厚愛，團隊決定將價值149元的知識星球現(xiàn)時免費加入。各位小伙伴們要抓住機會哦！

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~

當支持向量機遇上神經(jīng)網(wǎng)絡......