↓推薦關(guān)注↓

會上探討了一系列熱門話題，包括大模型發(fā)展趨勢、算法落地實踐、面經(jīng)總結(jié)，以及如何做好面試準備和應對常見考點。

基于經(jīng)驗交流與實戰(zhàn)經(jīng)驗，我們總結(jié)如下：

《機器學習算法面試寶典》1.0 發(fā)布！

今天我來分享一位我們社群成員的校招面經(jīng)總結(jié)，內(nèi)容寫的比較齊全。

喜歡記得收藏、點贊、關(guān)注，更多技術(shù)交流，文末加入我們社群。

背景：女生，top985 CS本碩，研究生的方向偏向于NLP/搜索推薦，秋招拿了阿里、百度、聯(lián)想等offer，最終決定去阿里了。

今年校招太難了，互聯(lián)網(wǎng)大廠更是幾乎不招人，面試前我已在星球社群半年有余，面試前做了很多準備，同時感謝社群中大佬的無私幫助。

面試過程中大概記錄和整理面試問的高頻問題，分享給大家，希望能夠?qū)Ω魑挥兴鶐椭?/p>

我的最大感覺，就是面試題特別的新，大模型相關(guān)的內(nèi)容也會經(jīng)常出現(xiàn)，難度略有差異，祝大家收獲心儀的offer！

機器學習

SVM 原理

1. SVM原理介紹
2. 為什么激活函數(shù)用sigmoid?
3. 為什么損失函數(shù)用交叉熵? (兩個角度: 極大似然估計、KL散度)
4. 交叉熵公式推導

LR 邏輯回歸

1. 原理介紹
2. 為什么激活函數(shù)用sigmoid?
3. 為什么損失函數(shù)用交叉熵?

集成學習

1. Bagging和boosting的區(qū)別(樣本選擇上、樣例權(quán)重組、預測函數(shù)、并行計算、方差偏分解)
2. 隨機森林、GBDT、XGBoost、LightGBM等模型介紹和優(yōu)缺點
3. GBDT如何做分類?

決策樹

1. 常見的樹模型及其簡介
2. 各種生成和剪枝方法

EM 算法

1. 算法原理
2. 收斂性：EM是局部最優(yōu)還是全局最優(yōu)？

過擬合

1. 解決過擬合的方法（正則化、BatchNorm和LayerNorm、Dropout、增加訓練數(shù)據(jù)、數(shù)據(jù)增強、標簽平滑、引入先驗知識、交叉驗證、預訓練等）
2. Dropout為什么可以解決過擬合？

方差偏差分解

1. 解釋什么是方差什么是偏差
2. 為什么bagging降低方差（偏差不變），而boosting降低偏差？
3. 公式推導

歸一化

1. 為什么要歸一化
2. 各種歸一化的區(qū)別和優(yōu)缺點
3. 為什么 NLP 不用 BatchNorm？*出現(xiàn)頻率極高

正則化

1. L1 和 L2 正則化怎么做
2. L1 和 L2 分別會有什么現(xiàn)象，代表什么先驗分布

初始化

1. 不同網(wǎng)絡的初始化有什么區(qū)別？
2. 神經(jīng)網(wǎng)絡隱層可以全部初始化為 0 嗎？

激活函數(shù)

1. 優(yōu)缺點
2. sigmoid、tanh、relu、gelu 的區(qū)別

損失函數(shù)

1. 二分類的損失函數(shù)
2. 為什么分類不用 MSE？

信息論

1. 信息熵、條件熵、聯(lián)合熵、相對熵、互信息的概念
2. 交叉熵和 KL 散度的區(qū)別

樣本不均衡

(降/過采樣，帶權(quán)重的 loss)

數(shù)據(jù)預處理

(離散特征和連續(xù)特征)

梯度消失和梯度爆炸

1. 梯度消失和梯度爆炸的原因
2. 處理方法

優(yōu)化器

1. 原理、發(fā)展過程、公式、公式符號的意思
2. SGD、AdaGrad、RMSProp、AdaDelta、Adam、AdamW
3. 從 SGM 到 Adam 做了哪些改進 (自適應的學習率、動量)
4. Adam 和 AdamW 有什么區(qū)別

評價指標

1. Acc、Precision、Recall、F1、ROC、AUC
2. AUC 為什么好，工業(yè)界為什么選擇用 AUC
3. 代碼實現(xiàn) AUC，需要寫出工業(yè)界的實現(xiàn)方案

深度學習

BERT 和 Transformer

1. 簡單介紹一下 BERT/Transformer

2. BERT 的兩個訓練任務是什么？(MLM 和 Next Sentence Prediction)

3. BERT 的優(yōu)化器(AdamW)？和 Adam 的區(qū)別？

4. Attention 和 self-attention 有什么區(qū)別？

5. Self-attention 的公式、計算過程 *出現(xiàn)頻率極高

6. 多頭的意義，多注意力會增加模型的計算時間嗎

7. Transformer 的復雜度

8. 對比 LSTM、CNN 和 Transformer，Transformer 的優(yōu)點是什么(上下文感知、并行處理)

9. BERT 中如何解決 OOV(Out of Vocabulary)

大模型

1. 講一下GPT系列模型是如何演進的？
2. 為什么現(xiàn)在的大模型大多是decoder-only的架構(gòu)？
3. 講一下生成式語言模型的工作機理
4. 哪些因素會導致LLM的偏見？
5. LLM中的因果語言建模與掩碼語言建模有什么區(qū)別？
6. 如何減輕LLM中的幻覺現(xiàn)象？
7. 解釋ChatGPT的零樣本和少樣本學習的概念
8. 你了解大型語言模型中的哪些分詞技術(shù)？
9. 如何評估大語言模型（LLMs）的性能？
10. 如何緩解LLMs復讀機問題？

- EOF -

星球服務

知識星球是一個面向 全體學生和在職人員 的技術(shù)交流平臺，旨在為大家提供社招/校招準備攻略、面試題庫、面試經(jīng)驗、學習路線、求職答疑、項目實戰(zhàn)案例、內(nèi)推機會等內(nèi)容，幫你快速成長、告別迷茫。

涉及Python，數(shù)據(jù)分析，數(shù)據(jù)挖掘，機器學習，深度學習，大數(shù)據(jù)，搜光推、自然語言處理、計算機視覺、web 開發(fā)、大模型、多模態(tài)、Langchain、擴散模型、知識圖譜等方向。

我們會不定期開展知識星球立減優(yōu)惠活動，加入星球前可以添加城哥微信：dkl88191，咨詢詳情。

技術(shù)學習資料如下，星球成員可免費獲取2個，非星球成員，添加城哥微信：dkl88191，可以單獨購買。