7分鐘搞懂邏輯回歸的來龍去脈

邏輯回歸（Logistic Regression）是一種統(tǒng)計機器學習方法，簡單易用，卻涉及很多知識點。正所謂麻雀雖小，五臟俱全。

大多數教程都是從定義和原理出發(fā)，來講解邏輯回歸，容易顯得晦澀難懂。本文將結合實例和圖示，幫助讀者在7分鐘內搞懂邏輯回歸算法。

功能

邏輯回歸一般用于二分類任務，并能給出兩個類的相應概率。

常見的應用包括垃圾郵件判別、銀行判斷是否給用戶貸款等等。當然，二分類問題可以擴展到多分類問題。

做二分類任務，最簡單的判別函數是階躍函數，如下圖紅線所示。當?時判斷為正類（1），反之為負類（0）。

但階躍函數不連續(xù)，過于“死板”，不便于后續(xù)求導優(yōu)化。因此用logistic function（上圖黑線）代替，因為呈現“S”形，也稱為 sigmoid function，對應公式：

??

定義域為整個實數集合，值域為0～1，相當于概率值。

為何不叫邏輯分類？

既然是做分類任務，為什么不叫它“邏輯分類”呢？

首先，“邏輯”指的是“l(fā)ogistic”（音譯），“回歸”來源于線性回歸的??，使用線性回歸去擬合逼近一個決策邊界，使得按照這個邊界進行數據分類后的總損失最小。

以概率0.5作為界線，將數據分為正例和反例。當??，對應正例（趨近于概率1）；當??，對應負例（趨近于概率0）。

這是在使用回歸的思想去解決分類問題，所以稱為邏輯回歸。等價于在線性回歸外包裹了一層sigmoid函數，將離散值映射為0和1之間的概率，以0.5為界。

核心問題

理解邏輯回歸的一個核心問題是，如何求解決策邊界???

對于二維輸入樣本點，??等價于：

??

求最優(yōu)決策邊界，等價于求??的值。當樣本的真實標簽??是1和0時，我們分別定義一個損失函數：

以??為例，當模型的預測值??趨向1時，損失函數取值也應該越來越小；反之，當??趨向0時，損失函數值越來越大，可以通過函數??體現。模型的訓練目的是盡可能減小損失，所以會讓輸出值朝著1的方向學習。

是否可以將兩類的cost函數合并到一塊，方便計算總損失呢？

通過一個“聰明”的對數似然函數，我們達到了目的：

??

其中：??

對于下圖的樣本點，綠線是決策邊界。綠線上部??，距離綠線越遠??越大，預測值??越接近1。

求解邊界

明確了損失函數后，我們來計算模型參數的最優(yōu)值。首先需要計算cost對參數??的導數，再借助梯度下降等算法微調參數值，不斷逼近最優(yōu)解。

假設我們有10個樣本點，每個樣本包含3個特征，則??維度為[10, 3]，??維度為[3, 1]，??和??的維度為[10, 1]。

??

損失函數：

??

cost的維度也是[10, 1]。cost和H相關，H和Z相關，Z和WX相關，存在關系映射：cost~H~Z~X。根據鏈式求導法則，整個計算過程如下：

最終的結果是：??，維度是[3, 1]，即參數??。

梯度下降法

剛剛我們使用了梯度下降法迭代求解最優(yōu)的??，一共分為3步：

• 初始化??
  
• 更新??:??
• 迭代到一定次數或閾值，結束

當cost函數是凸函數時，可以保證cost降到全局最小，否則可能只走到局部最小。

在cost不斷減小的過程中，將求得最優(yōu)的分界線。

使用邏輯回歸，我們可以使用python、C++等語言自己實現，或借助機器學習工具包Sklearn中的接口 LogisticRegression [2]。

現在，大家是不是理解了邏輯回歸的思想呢？如有疑問，歡迎交流（vx:cs-yechen）

---

深度學習資源下載

在NLP情報局公眾號后臺回復“三件套”，即可獲取深度學習三件套：

《PyTorch深度學習》，《Hands-on Machine Learning》，《Python深度學習》

推 薦 閱 讀

• 天池NLP賽道top指南
• 學好偏導竟能追到心儀的妹子
• 萬萬沒想到，BERT學會寫SQL了
• 認真的聊一聊決策樹和隨機森林

參 考 文 獻

[1] 文小刀機器學習｜邏輯回歸：https://www.bilibili.com/video/BV1As411j7zw

[2]?LogisticRegression:?https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

歡? 迎? 關? 注 ??

原創(chuàng)不易，有收獲的話請幫忙點擊分享、點贊、在看吧??