【關于 邏輯回歸】那些你不知道的事

貢獻者：姚鑫、艾春輝，芙蕖，李玲

個人github：https://github.com/km1994/nlp_paper_study

論文標題：Self-training Improves Pre-training for Natural Language Understanding

論文地址：https://arxiv.org/abs/2010.02194

個人介紹：大佬們好，我叫楊夕，該項目主要是本人在研讀頂會論文和復現經典論文過程中，所見、所思、所想、所聞，可能存在一些理解錯誤，希望大佬們多多指正。

【注：手機閱讀可能圖片打不開！！！】

一、介紹篇

1.1什么是邏輯回歸

LR是Logistic Regression Classifier，本質上是線性回歸，特殊之處在于特征到結果的映射中加入了一層邏輯函數g(z)，即先把特征線性求和，然后使用函數g(z)作為假設函數來預測。g(z)可以將連續(xù)值映射到0 和1。邏輯回歸使用的g(z)函數是sigmoid函數。因此邏輯回歸=線性回歸 + sigmoid。

邏輯回歸的表達式為

\sigma(w^Tx)=\frac{1}{1+e^{-w^Tx}}

圖像

1.2邏輯回歸的優(yōu)勢

邏輯回歸的優(yōu)點：

1. 它是直接對分類可能性進行建模，無需實現假設數據分布，這樣就避免了假設分布不準確所帶來的問題；

2. 它不是僅預測出“類別”，而是可得到近似概率預測，這對許多需利用概率輔助決策的任務很有用；

3. 邏輯回歸函數是任意階可導的凸函數，有很好的數學性質，現有的許多數值優(yōu)化算法都可直接用于求取最優(yōu)解。

4. 對于線性數據，（大部分時候）邏輯回歸的擬合和計算都非常快，計算效率優(yōu)于SVM和隨機森林

二、推導篇

2.1邏輯回歸推導

假設數據集為

Data: {\{(x_i, y_i)\}}^{N}_{i=1} \\ x_i\in \mathbb{R}^p,y_i\in\{0,1\}

sigmoid函數為

sigmoid:\sigma(z)=\frac{1}{1+e^{-z}}

在線性回歸中有

y=w^Tx+b

2.2求解優(yōu)化