5分鐘解析 XGBoost 算法

編輯：ShowMeAI編輯部

XGBoost Algorithm Explained in Less Than 5 Minutes5分鐘解析 XGBoost 算法

https://medium.com/@techynilesh/xgboost-algorithm-explained-in-less-than-5-minutes-b561dcc1ccee

XGBoost 是許多數(shù)據(jù)科學(xué)家的首選算法，最初是由陳天奇開發(fā)，工作原理是將多個(gè)『弱學(xué)習(xí)器』組合成一個(gè)『強(qiáng)學(xué)習(xí)器』，通過訓(xùn)練許多決策樹來工作——每棵樹都在數(shù)據(jù)的一個(gè)子集上進(jìn)行訓(xùn)練，然后將每棵樹的預(yù)測組合起來形成最終的預(yù)測。

XGBoost 的設(shè)計(jì)目標(biāo)是高效、靈活、便攜，在分類、回歸和排名等各種任務(wù)中的表現(xiàn)優(yōu)于其他機(jī)器學(xué)習(xí)算法。作為對 GBM 算法的改進(jìn)，XGBoost 使用的正則化模型有助于防止過擬合，也有許多可調(diào)整的參數(shù)能提高算法的性能：

• max_depth：決策樹的最大深度
• eta：學(xué)習(xí)率
• gamma：進(jìn)行拆分所需的最小損失減少
• subsample：用于訓(xùn)練每棵樹的訓(xùn)練數(shù)據(jù)的一部分

推薦閱讀
【2022新書】深度學(xué)習(xí)R語言實(shí)戰(zhàn)，568頁電子書
用數(shù)學(xué)和Python入門機(jī)器學(xué)習(xí)核方法 · 電子書
超全干貨2萬字全文！李航《統(tǒng)計(jì)學(xué)習(xí)方法》讀書筆記
《機(jī)器學(xué)習(xí)算法與Python實(shí)戰(zhàn)》：搭建機(jī)器學(xué)習(xí)開發(fā)環(huán)境