LLMs 千面郎君 更新版

!! 介紹：本項目是作者們根據個人面試和經驗總結出的 大模型(LLMs)面試準備的學習筆記與資料，該資料目前包含 大模型(LLMs)各領域的 面試題積累。

Github 地址：https://github.com/km1994/LLMs_interview_notes

!! NLP 面無不過 面試交流群 (注：人滿 可 添加 小編wx：yzyykm666 加群！)

大模型（LLMs）基礎面

1. 目前 主流的開源模型體系 有哪些？
2. prefix Decoder 和 causal Decoder 和 Encoder-Decoder 區(qū)別是什么？
3. 大模型LLM的 訓練目標 是什么？
4. 涌現(xiàn)能力是啥原因？
5. 為何現(xiàn)在的大模型大部分是Decoder only結構？
6. 簡單 介紹一下 大模型【LLMs】？
7. 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？
8. 大模型【LLMs】具有什么優(yōu)點？
9. 大模型【LLMs】具有什么缺點？

• 點擊查看答案

大模型（LLMs）進階面

1. LLMs 復讀機問題
1. 什么是 LLMs 復讀機問題？
2. 為什么會出現(xiàn) LLMs 復讀機問題？
3. 如何緩解 LLMs 復讀機問題？
2. llama 系列問題
1. llama 輸入句子長度理論上可以無限長嗎？
3. 什么情況用Bert模型，什么情況用LLaMA、ChatGLM類大模型，咋選？
4. 各個專業(yè)領域是否需要各自的大模型來服務？
5. 如何讓大模型處理更長的文本？

• 點擊查看答案

大模型（LLMs）微調面

大模型（LLMs）微調面

1. 如果想要在某個模型基礎上做全參數微調，究竟需要多少顯存？
2. 為什么SFT之后感覺LLM傻了?
3. SFT 指令微調數據 如何構建?
4. 領域模型Continue PreTrain 數據選取？
5. 領域數據訓練后，通用能力往往會有所下降，如何緩解模型遺忘通用能力？
6. 領域模型Continue PreTrain ，如何 讓模型在預訓練過程中就學習到更多的知識？
7. 進行SFT操作的時候，基座模型選用Chat還是Base?
8. 領域模型微調 指令&數據輸入格式 要求？
9. 領域模型微調 領域評測集 構建？
10. 領域模型詞表擴增是不是有必要的？
11. 如何訓練自己的大模型？
12. 訓練中文大模型有啥經驗？
13. 指令微調的好處？
14. 預訓練和微調哪個階段注入知識的？
15. 想讓模型學習某個領域或行業(yè)的知識，是應該預訓練還是應該微調？
16. 多輪對話任務如何微調模型？
17. 微調后的模型出現(xiàn)能力劣化，災難性遺忘是怎么回事？
18. 微調模型需要多大顯存？
19. 大模型LLM進行SFT操作的時候在學習什么？
20. 預訓練和SFT操作有什么不同
21. 樣本量規(guī)模增大，訓練出現(xiàn)OOM錯
22. 大模型LLM進行SFT 如何對樣本進行優(yōu)化？
23. 模型參數迭代實驗
24. 微調大模型的一些建議

• 點擊查看答案

大模型（LLMs）訓練經驗帖

• 分布式訓練框架選擇？
• LLMs 訓練時 有哪些有用的建議？
• 模型大小如何選擇？
• 加速卡如何選擇？
• 點擊查看答案

大模型（LLMs）langchain 面

大模型（LLMs）langchain 面

• 什么是 LangChain?

• 2.1 LangChain 中 Components and Chains 是什么？
• 2.2 LangChain 中 Prompt Templates and Values 是什么？
• 2.3 LangChain 中 Example Selectors 是什么？
• 2.4 LangChain 中 Output Parsers 是什么？
• 2.5 LangChain 中 Indexes and Retrievers 是什么？
• 2.6 LangChain 中  Chat Message History 是什么？
• 2.7 LangChain 中  Agents and Toolkits 是什么？
2. LangChain 包含哪些 核心概念？
3. 什么是 LangChain Agent?
4. 如何使用 LangChain ?
5. LangChain 支持哪些功能?
6. 什么是 LangChain model?
7. LangChain 包含哪些特點?
• 8.1 LangChain 如何調用 LLMs 生成回復？
• 8.2 LangChain 如何修改 提示模板？
• 8.3 LangChain 如何鏈接多個組件處理一個特定的下游任務？
• 8.4 LangChain 如何Embedding & vector store？
8. LangChain 如何使用?

• LangChain 存在哪些問題及方法方案？

5. LangChain 缺乏標準的可互操作數據類型問題
4. LangChain 行為不一致并且隱藏細節(jié)問題
3. LangChain 太多概念容易混淆，過多的“輔助”函數問題
2. LangChain 文檔的問題
1. LangChain 低效的令牌使用問題

• LangChain 替代方案？

• 點擊查看答案

基于LLM+向量庫的文檔對話 經驗面

• 一、基于LLM+向量庫的文檔對話 基礎面

• 1.1 為什么 大模型 需要 外掛(向量)知識庫？
• 1.2. 基于LLM+向量庫的文檔對話 思路是怎么樣？
• 1.3. 基于LLM+向量庫的文檔對話 核心技術是什么？
• 1.4. 基于LLM+向量庫的文檔對話 prompt 模板 如何構建？

• 二、基于LLM+向量庫的文檔對話 存在哪些痛點？

• 三、基于LLM+向量庫的文檔對話 工程示例面

• 點擊查看答案

LLM文檔對話 —— pdf解析關鍵問題

• 一、為什么需要進行pdf解析？

• 二、為什么需要 對 pdf 進行解析？

• 三、pdf解析 有哪些方法，對應的區(qū)別是什么？

• 四、pdf解析 存在哪些問題？

• 五、如何 長文檔（書籍）中關鍵信息？

• 六、為什么要提取標題甚至是多級標題？

• 七、如何提取 文章標題？

• 八、如何區(qū)分單欄還是雙欄pdf？如何重新排序？

• 九、如何提取表格和圖片中的數據？

• 十、基于AI的文檔解析有什么優(yōu)缺點？

• 點擊查看答案

基于LLM+向量庫的文檔對話 經驗面

• 一、基于LLM+向量庫的文檔對話 基礎面

• 1.1 為什么 大模型 需要 外掛(向量)知識庫？
• 1.2. 基于LLM+向量庫的文檔對話 思路是怎么樣？
• 1.3. 基于LLM+向量庫的文檔對話 核心技術是什么？
• 1.4. 基于LLM+向量庫的文檔對話 prompt 模板 如何構建？

• 二、基于LLM+向量庫的文檔對話 存在哪些痛點？

• 三、基于LLM+向量庫的文檔對話 工程示例面

• 點擊查看答案

大模型（LLMs）參數高效微調(PEFT) 面

大模型（LLMs）參數高效微調(PEFT) 面

• 微調方法是啥？如何微調？

• 為什么需要 PEFT？

• 介紹一下 PEFT？

• PEFT 有什么優(yōu)點？

• 微調方法批處理大小模式GPU顯存速度？

• Peft 和 全量微調區(qū)別？

• 多種不同的高效微調方法對比

• 當前高效微調技術存在的一些問題

• 高效微調技術最佳實踐

• PEFT 存在問題？

• 能不能總結一下各種參數高效微調方法？

• 點擊查看答案

配器微調（Adapter-tuning）篇

• 一、為什么 需要 適配器微調（Adapter-tuning）？

• 二、適配器微調（Adapter-tuning）思路？

• 三、 適配器微調（Adapter-tuning）特點是什么？

• 四、AdapterFusion 思路 是什么？

• 五、AdapterDrop 思路 是什么？

• 六、AdapterDrop 特點 是什么？

• 七、MAM Adapter 思路 是什么？

• 八、MAM Adapter 特點 是什么？

• 點擊查看答案

提示學習（Prompting）

• 一、為什么需要 提示學習（Prompting）？

• 二、什么是 提示學習（Prompting）？

• 三、提示學習（Prompting） 有什么優(yōu)點？

• 四、提示學習（Prompting）有哪些方法，能不能稍微介紹一下它們間？

• 4.4.1 為什么需要 P-tuning v2？
• 4.4.2 P-tuning v2 思路是什么？
• 4.4.3 P-tuning v2 優(yōu)點是什么？
• 4.4.4 P-tuning v2 缺點是什么？
• 4.3.1 為什么需要 P-tuning？
• 4.3.2 P-tuning 思路是什么？
• 4.3.3 P-tuning 優(yōu)點是什么？
• 4.3.4 P-tuning 缺點是什么？
• 4.2.1 為什么需要 指示微調（Prompt-tuning）？
• 4.2.2 指示微調（Prompt-tuning）思路是什么？
• 4.2.3 指示微調（Prompt-tuning）優(yōu)點是什么？
• 4.2.4 指示微調（Prompt-tuning）缺點是什么？
• 4.2.5 指示微調（Prompt-tuning）與 Prefix-tuning 區(qū)別 是什么？
• 4.2.6 指示微調（Prompt-tuning）與 fine-tuning 區(qū)別 是什么？
• 4.1.1 為什么需要 前綴微調（Prefix-tining）？
• 4.1.2 前綴微調（Prefix-tining）思路是什么？
• 4.1.3 前綴微調（Prefix-tining）的優(yōu)點是什么？
• 4.1.4 前綴微調（Prefix-tining）的缺點是什么？
• 4.1 前綴微調（Prefix-tining）篇
• 4.2 指示微調（Prompt-tuning）篇
• 4.3 P-tuning 篇
• 4.4 P-tuning v2 篇

• 點擊查看答案

LoRA 系列篇

• 一、LoRA篇

• 1.1 什么是 LoRA？
• 1.2 LoRA 的思路是什么？
• 1.3 LoRA 的特點是什么？

• 二、QLoRA篇

• 2.1 QLoRA 的思路是怎么樣的？
• 2.2 QLoRA 的特點是什么？

• 三、AdaLoRA篇

• 3.1 AdaLoRA 的思路是怎么樣的？

• 四、LoRA權重是否可以合入原模型？

• 五、ChatGLM-6B LoRA后的權重多大？

• 六、LoRA 微調優(yōu)點是什么？

• 七、LoRA微調方法為啥能加速訓練？

• 八、如何在已有LoRA模型上繼續(xù)訓練？

• 九、LoRA 缺點是什么？

• 十、LoRA這種微調方法和全參數比起來有什么劣勢嗎？

• 點擊查看答案

大模型（LLMs）推理面

大模型（LLMs）推理面

• 
  
1. 為什么大模型推理時顯存漲的那么多還一直占著？
2.  模型在gpu和cpu上推理速度如何？
3. 推理速度上，int8和fp16比起來怎么樣？
4. 大模型有推理能力嗎？
5. 大模型生成時的參數怎么設置？
• 
  
6. 有哪些省內存的大語言模型訓練/微調/推理方法？
   6.1 如何 估算模型所需的RAM？
   6.2 Fp16-mixed precision
   6.3 Int8-bitsandbytes
   6.4 LoRA
   6.5 Gradient Checkpointing
   6.6 Torch FSDP+CPU offload
7. 如何讓大模型輸出合規(guī)化
8. 應用模式變更

• 點擊查看答案

大模型（LLMs）預訓練面

大模型（LLMs）增量預訓練篇

1. 為什么要增量預訓練？
2. 進行 增量預訓練 需要做哪些準備工作？
3. 增量預訓練 所用 訓練框架？
4. 增量預訓練 訓練流程 是怎么樣？

• 點擊查看答案

大模型（LLMs）評測面

1. 大模型怎么評測？
2. 大模型的honest原則是如何實現(xiàn)的？模型如何判斷回答的知識是訓練過的已知的知識，怎么訓練這種能力？
3. 如何衡量大模型水平？
4. 大模型評估方法 有哪些？
5. 大模型評估工具 有哪些？

• 點擊查看答案

大模型（LLMs）強化學習面

• 
  
1. 簡單介紹強化學習？
2. 簡單介紹一下 RLHF？
3. 獎勵模型需要和基礎模型一致嗎？
4. RLHF 在實踐過程中存在哪些不足？
5. 如何解決 人工產生的偏好數據集成本較高，很難量產問題？
6. 如何解決三個階段的訓練（SFT->RM->PPO）過程較長，更新迭代較慢問題？
7. 如何解決 PPO 的訓練過程同時存在4個模型（2訓練，2推理），對計算資源的要求較高 問題？

• 點擊查看答案

大模型（LLMs）軟硬件配置面

1. 建議的軟件環(huán)境是什么？

• 點擊查看答案

大模型（LLMs）訓練集面

1. SFT（有監(jiān)督微調）的數據集格式？
2. RM（獎勵模型）的數據格式？
3. PPO（強化學習）的數據格式？
4. 找數據集哪里找？
5. 微調需要多少條數據？
6. 有哪些大模型的訓練集？
7. 進行領域大模型預訓練應用哪些數據集比較好？

• 點擊查看答案

大模型（LLMs）顯存問題面

1. 大模型大概有多大，模型文件有多大?
2. 能否用4 * v100 32G訓練vicuna 65b？
3. 如果就是想要試試65b模型，但是顯存不多怎么辦？
4. nB模型推理需要多少顯存？
5. nB模型訓練需要多少顯存？
6. 如何 估算模型所需的RAM？
7. 如何評估你的顯卡利用率?
8. 測試你的顯卡利用率 實現(xiàn)細節(jié)篇
1. 如何查看多機訓練時的網速？
2. 如何查看服務器上的多卡之間的NVLINK topo？
3. 如何查看服務器上顯卡的具體型號?
4. 如何查看訓練時的flops？（也就是每秒的計算量）
5. 如何查看對deepspeed的環(huán)境配置是否正確？
6. tf32格式有多長？
7. 哪里看各類顯卡算力比較？
8. （torch profiler）如何查看自己的訓練中通信開銷？

• 點擊查看答案

大模型（LLMs）分布式訓練面

大模型（LLMs）分布式訓練面

• 理論篇

  
  
• 1.1 訓練 大語言模型 存在問題？
• 1.2 什么是 點對點通信？
• 1.3 什么是 集體通信？
• 1.4 什么是 數據并行？
• 1.5 數據并行 如何 提升效率？
• 1.6 什么是 流水線并行？
• 1.7 什么是 張量并行 (intra-layer)？
• 1.8 數據并行 vs 張量并行 vs 流水線并行?
• 1.9 什么是 3D并行？
• 1.10 想要訓練1個LLM，如果只想用1張顯卡，那么對顯卡的要求是什么？
• 1.11 如果有N張顯存足夠大的顯卡，怎么加速訓練？
• 1.12 如果顯卡的顯存不夠裝下一個完整的模型呢？
• 1.13 PP推理時，是一個串行的過程，1個GPU計算，其他空閑，有沒有其他方式？
• 1.14 3種并行方式可以疊加嗎？
• 1.15 Colossal-AI 有1D/2D/2.5D/3D，是什么情況？
• 1.16 除了3D并行有沒有其他方式大規(guī)模訓練？
• 1.17 有了ZeRO系列，為什么還需要3D并行？
• 1.18 平民適不適合玩3D并行？
• 1.19 平民適不適合直接上多機多卡的ZeRO3（萬兆網）？
• 1.20 分布式并行及顯存優(yōu)化技術并行技術有哪一些，都有什么特點？
• 1.21 顯存優(yōu)化技術有哪一些，都有什么特點？
• 1.22 常見的分布式訓練框架哪一些，都有什么特點？
2. 實踐篇
• 2.1 假如有超多的8卡A100節(jié)點（DGX A100），如何應用3D并行策略？
• 2.2 如果想構這樣一個大規(guī)模并行訓練系統(tǒng)，訓練框架如何選？
• 2.3 訓練框架如何選？
2. 并行化策略選擇篇
• 3.1 如何選擇一款分布式訓練框架？
• 3.2 如何選擇一款分布式訓練框架？
• 3.3 單GPU
• 3.4 單節(jié)點多卡
• 3.5 多節(jié)點多卡
3. 問題篇
• 4.1 推理速度驗證
• 4.2 并行化訓練加速
• 4.3 deepspeed 訓練過程，報找不主機
• 4.4 為什么 多機訓練效率不如單機？
• 4.5 多機訓練不通，DeepSPeed配置問題

• 點擊查看答案

圖解分布式訓練（一） —— 流水線并行（Pipeline Parallelism）面

• 為什么需要流水線并行（Pipeline Parallelism）？

• 一、流水線并行（Pipeline Parallelism） 優(yōu)化目標是什么？

• 二、圖解 流水線并行（Pipeline Parallelism）模型并行 必要性？

• 三、流水線并行（Pipeline Parallelism） 圖解？

• 四、流水線并行（Pipeline Parallelism）優(yōu)缺點？

• 點擊查看答案

圖解分布式訓練（二） —— nn.DataParallel面

• 為什么需要nn.DataParallel？

• 一、pytorch中的GPU操作默認是什么樣？

• 二、介紹一下 nn.DataParallel 函數？

• 三、nn.DataParallel 函數 處理邏輯 介紹一下？

• 四、nn.DataParallel 函數 常見問題及解答 有哪些？

• 4.1 多GPU計算減少了程序運行的時間？
• 4.2 如何保存和加載多GPU訓練模型呢？
• 4.3 為什么第一塊卡的顯存會占用的更多一些？
• 4.4 直接使用nn.DataParallel的時候，訓練采用多卡訓練，會出現(xiàn)一個warning？
• 4.5 device_ids 0 被占用問題

• 五、nn.DataParallel 函數 參數更新方式 ？

• 六、nn.DataParallel 函數 優(yōu)點 介紹一下？

• 七、nn.DataParallel 函數 缺點 介紹一下？

• 八、nn.DataParallel 函數 實戰(zhàn)？

• 點擊查看答案

圖解分布式訓練（三） ——  nn.parallel.DistributedDataParallel

• 為什么需要 nn.parallel.DistributedDataParallel ？

• 一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？

• 二、nn.parallel.DistributedDataParallel 函數 介紹一下？

• 三、nn.parallel.DistributedDataParallel 函數 如何多卡加速訓練？

• 四、nn.parallel.DistributedDataParallel 實現(xiàn)流程介紹一下？

• 五、nn.parallel.DistributedDataParallel 參數更新介紹一下？

• 六、nn.DataParallel(以下簡稱DP) vs DistributedDataParallel(以下簡稱DDP)介紹一下？

• 七、DistributedDataParallel(以下簡稱DDP) 優(yōu)點有哪些？

• 八、DistributedDataParallel(以下簡稱DDP) 缺點有哪些？

• 點擊查看答案

圖解分布式訓練（四） ——  torch.multiprocessing 詳細解析

• 一、torch.multiprocessing 函數介紹一下？

• 二、torch.multiprocessing 函數如何使用？

• 三、介紹一下 共享CUDA張量？

• 四、介紹一下 共享策略？

• 五、torch.multiprocessing 函數使用

• 點擊查看答案

圖解分布式訓練（五） ——  AMP混合精度訓練 詳細解析

• 為什么需要 AMP混合精度訓練？

• 一、什么是自動混合精度訓練(AMP)

• 二、為什么需要自動混合精度？

• 三、混合精度訓練的優(yōu)點是什么？

• 四、混合精度訓練的缺點是什么？

• 五、混合精度訓練的關鍵技術是什么？

• 六、介紹一下 混合精度訓練 動態(tài)損失縮放？

• 七、如何在PyTorch中使用自動混合精度？

• 八、如何使用 AMP混合精度訓練 ？

• 點擊查看答案

圖解分布式訓練（六） —— Pytorch的 DeepSpeed 詳細解析

• 一、為什么需要 Deepspeed？

• 二、DeepSpeed 基本概念 介紹一下？

• 三、DeepSpeed 通信策略 介紹一下？

• 四、DeepSpeed 如何使用？

• 五、DeepSpeed 代碼實現(xiàn)？

• 七、訓練精度 介紹一下？

• 八、獲取模型參數 介紹一下？

• 點擊查看答案

圖解分布式訓練（七）—— accelerate 分布式訓練 詳細解析

• 一、為什么需要 accelerate 分布式訓練？

• 二、什么是 accelerate 分布式訓練?

• 三、accelerate 分布式訓練 原理講解？

• 四、accelerate 分布式訓練 如何實踐？

• 點擊查看答案

圖解分布式訓練（八）—— ZeRO 學習

• 一、什么是 3D 并行？

• 二、3D 并行 策略有哪些？

• 三、為什么需要 ZeRO？

• 四、ZeRO 的 核心思想是什么？

• 五、ZeRO 顯存如何分配？

• 六、ZeRO 優(yōu)化策略是怎么樣？

• 七、ZeRO Offload后的計算流程是怎么樣？

• 點擊查看答案

大模型（LLMs）agent 面

1. 如何給LLM注入領域知識？
2. 如果想要快速體驗各種模型，該怎么辦？

• 點擊查看答案

Token及模型參數準備篇

1. 預訓練數據 Token 重復 是否影響 模型性能？
2. SFT需要訓練Token數？

• 點擊查看答案

LLMs 位置編碼篇

• 1 什么是位置編碼？

• 2 什么是絕對位置編碼？

• 3 什么是相對位置編碼？

• 4 旋轉位置編碼 RoPE篇

• 4.1 旋轉位置編碼 RoPE 思路是什么？
• 4.2 推導一下 旋轉位置編碼 RoPE ？
• 4.3 旋轉位置編碼 RoPE 有什么優(yōu)點？
• 4.4 旋轉位置編碼 RoPE 被哪些 LLMs 應用？

• 5 長度外推問題篇

• 5.1 什么是 長度外推問題？
• 5.2 長度外推問題 的 解決方法 有哪些？

• 6 ALiBi (Attention with Linear Biases)篇

• 6.1 ALiBi (Attention with Linear Biases) 思路是什么？
• 6.2 ALiBi (Attention with Linear Biases) 的偏置矩陣是什么？有什么作用？
• 6.3 ALiBi (Attention with Linear Biases) 有什么優(yōu)點？
• 6.4 ALiBi (Attention with Linear Biases)  被哪些 LLMs 應用？

• 點擊查看答案

LLMs Tokenizer 篇

LLMs Tokenizer 篇

• Byte-Pair Encoding(BPE)篇

• 1 Byte-Pair Encoding(BPE) 如何構建詞典？

• WordPiece 篇

• 1 WordPiece 與 BPE 異同點是什么？

• SentencePiece 篇

• 簡單介紹一下 SentencePiece 思路？

• 對比篇

• 1 舉例 介紹一下 不同 大模型LLMs 的分詞方式？
• 2 介紹一下 不同 大模型LLMs 的分詞方式 的區(qū)別？

• 點擊查看答案

怎么讓英文大語言模型支持中文？（一） —— 構建中文tokenization

• 一、為什么需要 構建中文tokenization？

• 二、如何對 原始數據預處理？

• 三、如何構建中文的詞庫？

• 四、如何使用transformers庫加載sentencepiece模型？

• 五、如何合并英文詞表和中文詞表？

• 六、怎么使用修改后的詞表？

• 總結一下 構建中文tokenization？

• 點擊查看答案

怎么讓英文大語言模型支持中文？（二） —— 繼續(xù)預訓練篇

• 一、為什么需要進行繼續(xù)預訓練？

• 二、如何對 繼續(xù)預訓練 數據預處理？

• 三、如何 構建模型？

• 四、如何 使用模型？

• 點擊查看答案

怎么讓英文大語言模型支持中文？（三） —— 對預訓練模型進行指令微調

• 一、為什么需要對預訓練模型進行指令微調？

• 二、對預訓練模型進行指令微調 數據 如何處理？

• 三、對預訓練模型進行指令微調 tokenization 如何構建？

• 四、對預訓練模型進行指令微調 模型 如何構建？

• 五、是否可以結合 其他庫 使用？

• 點擊查看答案

Layer normalization 篇

• Layer normalization-方法篇

• Deep Norm 思路？
• 寫一下 Deep Norm 代碼實現(xiàn)？
• RMS Norm 的計算公式寫一下？
• RMS Norm 相比于 Layer Norm 有什么特點？
• Layer Norm 的計算公式寫一下？
• Layer Norm 篇
• RMS Norm 篇 （均方根 Norm）
• Deep Norm 篇
• Deep Norm 有什么優(yōu)點？

• Layer normalization-位置篇

• 1 LN 在 LLMs 中的不同位置 有什么區(qū)別么？如果有，能介紹一下區(qū)別么？

• Layer normalization 對比篇

• LLMs 各模型分別用了 哪種 Layer normalization？

• 點擊查看答案

LLMs 激活函數篇

• 1 介紹一下 FFN 塊 計算公式？

• 2 介紹一下 GeLU 計算公式？

• 3 介紹一下 Swish 計算公式？

• 4 介紹一下 使用 GLU 線性門控單元的 FFN 塊 計算公式？

• 5 介紹一下 使用 GeLU 的 GLU 塊 計算公式？

• 6 介紹一下 使用 Swish 的 GLU 塊 計算公式？

• 各LLMs 都使用哪種激活函數？

• 點擊查看答案

LLMs 激活函數篇

• 1 介紹一下 FFN 塊 計算公式？

• 2 介紹一下 GeLU 計算公式？

• 3 介紹一下 Swish 計算公式？

• 4 介紹一下 使用 GLU 線性門控單元的 FFN 塊 計算公式？

• 5 介紹一下 使用 GeLU 的 GLU 塊 計算公式？

• 6 介紹一下 使用 Swish 的 GLU 塊 計算公式？

• 各LLMs 都使用哪種激活函數？

• 點擊查看答案

大模型（LLMs）加速篇

大模型（LLMs）加速篇

• 當前優(yōu)化模型最主要技術手段有哪些？

  
  

• 推理加速框架有哪一些？都有什么特點？

  
  

• 3 vLLM 篇

• 3.1 vLLM 的 功能有哪些？
• 3.2 vLLM 的 優(yōu)點有哪些？
• 3.3 vLLM 的 缺點有哪些？
• 3.4 vLLM 離線批量推理？
• 3.5 vLLM API Server？

• 4 Text generation inference 篇

• 4.1 介紹一下 Text generation inference？
• 4.2 Text generation inference 的 功能有哪些？
• 4.3 Text generation inference 的 優(yōu)點有哪些？
• 4.4 Text generation inference 的 缺點有哪些？
• 4.5 Text generation inference 的 使用docker運行web server？

• 點擊查看答案

LLM（大語言模型）部署加速方法——PagedAttention篇

• 一、vLLM 用于大模型并行推理加速 存在什么問題？

• 二、vLLM 如何 優(yōu)化 大模型并行推理加速？

• 三、什么是 PagedAttention？

• 四、 PagedAttention 如何存儲 連續(xù)的key和value？

• 五、 PagedAttention 技術細節(jié)？

• 六、 PagedAttention 如何 實現(xiàn)安全共享？

• 七、 PagedAttention 源碼介紹？

• 點擊查看答案

大模型推理加速工具 —— vLLM

• 一、引言

• 1.1 前言
• 1.2 為什么 需要 vLLM ?
• 1.3 vLLM 具有哪些特點 ?
• 1.4 vLLM 支持哪些 Huggingface 模型 ?

• 二、vLLM 性能如何？

• 三、vLLM 依賴包

• 四、vLLM 如何安裝？

• 五、vLLM 如何使用？

• 六、vLLM 分布式推理與服務

• 點擊查看答案

LLM（大語言模型）部署加速方法——Faster Transformer篇

• 一、為什么需要 FasterTransformer？

• 二、FasterTransformer 介紹一下？

• 三、FasterTransformer 核心是什么？

• 四、FasterTransformer 優(yōu)化？

• 點擊查看答案

純Python超輕量高性能LLM推理框架 —— LightLLM

• 一、引言

• 1.1 前言
• 1.2 為什么 需要 LightLLM ?
• 1.3 目前 LLM推理框架 有 哪些?

• 二、LightLLM 介紹一下？

• 2.1 什么是 LightLLM ？
• 2.2 Token Attention 介紹？
• 2.3 Efficient Router 介紹？

• 三、LightLLM 性能表現(xiàn) 介紹？

• 四、LightLLM 依賴包 有哪些？

• 五、LightLLM  如何安裝？

• 5.1 下載 LightLLM
• 5.2 安裝 LightLLM 依賴
• 5.3 安裝 LightLLM

• 六、LightLLM 如何使用？

• 6.1 啟動 LightLLM 服務

• 填坑筆記

• LightLLM 支持模型 LLMs 模型？

• 點擊查看答案

Attention 升級面

• 1 傳統(tǒng) Attention 存在哪些問題？

• 2 Attention 優(yōu)化方向

• 3 Attention 變體有哪些？

• 4 Multi-Query Attention 篇

• 4.1 Multi-head Attention 存在什么問題？
• 4.2 介紹一下 Multi-Query Attention？
• 4.3 對比一下 Multi-head Attention 和 Multi-Query Attention？
• 4.4 Multi-Query Attention 這樣做的好處是什么？
• 4.5 有 哪些模型 是 使用 Multi-Query Attention？

• 5 Grouped-query Attention

• 5.1 什么是 Grouped-query Attention？
• 5.2 有哪些大模型使用 Grouped-query Attention？

• 6 FlashAttention 介紹一下

• 7 并行 transformer block 介紹一下？

• 點擊查看答案

大模型幻覺（LLM Hallucination）面

大模型幻覺（LLM Hallucination）面

• 一、什么是大模型幻覺？

• 二、為什么LLM會產生幻覺？

• 三、為什么需要解決LLM的幻覺問題？

• 四、幻覺一定是有害的嗎？

• 五、幻覺有哪些不同類型？

• 六、如何度量幻覺？

• 七、如何緩解LLM幻覺？

• 7.1 通過使用外部知識驗證主動檢測和減輕幻覺
• 7.2 事實核心采樣
• 7.3 SelfCheckGPT

• 八、LLMs什么時候最容易產生幻覺？

• 點擊查看答案

大模型的幻覺問題篇

• 一、什么是 大模型幻覺問題？

• 二、為什么 會 出現(xiàn) 大模型幻覺問題？

• 三、如何 評估 大模型幻覺問題？

• 四、如何 緩解 大模型幻覺問題？

• 點擊查看答案

大模型的幻覺問題篇

• 一、為什么 會 出現(xiàn) 大模型幻覺？

• 二、如何 緩解 大模型幻覺？

• 點擊查看答案

LLMs 對比篇

LLMs 對比篇

• LLMs 訓練數據 和 數據量 對比如何？

• 點擊查看答案

百川智能baichuan7B、13B、53B、baichuan2 總結篇

• 一、baichuan-7B篇

3. baichuan-7B 如何 提高 訓練穩(wěn)定性和吞吐？
2. baichuan-7B 如何 收集原始數據并 構建 訓練數據？
1. 你了解baichuan-7B解構么？介紹一下？

• 二、baichuan-13B篇

3. 如何 對 baichuan-13B 進行微調？
2. 如何 對 baichuan-13B 進行推理和部署？
1. 相比于 baichuan-7B，baichuan-13B 的 特點體現(xiàn)在哪里？

• 三、baichuan-53B篇

• 3.1 baichuan-53B 相比于 baichuan-7B 和 baichuan-13B 有哪些優(yōu)勢？
• 3.2 baichuan-53B 如何對 預訓練數據 做處理？
• 3.3 baichuan-53B 如何進行 搜索增強？

• 四、baichuan2篇

• 4.1 baichuan2 與 其他大模型 對比

• 五、baichuan 數據構建篇

• 5.1 baichuan 進行微調時，領域數據：通用數據配比？

• 點擊查看答案

思維鏈 Chain-of-Thought（COT）篇

思維鏈 Chain-of-Thought（COT）篇

• 一、什么是思維鏈提示？

• 二、思維鏈提示本質是什么？

• 三、思維鏈提示 與 標準的提示學習方法有什么不同?

• 四、思維鏈提示 為什么可以提高語言模型的復雜推理能力?它的優(yōu)勢在哪里?

• 五、思維鏈提示 適用場景 有 哪些？

• 六、思維鏈提示 目前還存在哪些不足點？

• 七、思維鏈提示 對推動語言模型復雜推理能力研究有哪些啟發(fā)和影響?

• 八、思維鏈提示 對實現(xiàn)真正的通用人工智能仍面臨哪些挑戰(zhàn)?

• 九、如何通過增加模型規(guī)模來獲得語言模型強大的思路鏈推理能力的?這與模型獲得的哪些能力有關?

• 十、你認為可以在哪些其他方面應用“思路鏈提示”這一思路來提升語言模型的能力?

• 十一、如果需要你對 思維鏈提示 進行改進，你覺得你會改進哪些地方？

• 十二、思維鏈提示 未來研究方向？

• 點擊查看答案

思維鏈 Chain-of-Thought（COT）變體篇

• 思維鏈 Chain-of-Thought（COT）：思維鏈的啟蒙

3. 思維鏈 Chain-of-Thought（COT）存在問題？
2. 思維鏈 Chain-of-Thought（COT）是思路是什么？
1. 什么是 思維鏈 Chain-of-Thought（COT）？

• 思維樹 Tree of Thoughts（TOT）：一種用樹結構解決復雜問題的方法

3. 思維樹 Tree of Thoughts（TOT）涉及問題有哪些？
2. 什么是 思維樹 Tree of Thoughts（TOT）？
1. 為什么需要 思維樹 Tree of Thoughts（TOT）？

• 思維圖 Graph of Thoughts（GOT）：一種把思維鏈過程建模層圖結構的方法

3. 思維圖 Graph of Thoughts（GOT）核心思想是什么 ？
2. 什么是 思維圖 Graph of Thoughts（GOT） ？
1. 為什么 需要 思維圖 Graph of Thoughts（GOT）？

• 思維算法 Algorithm of Thoughts（AOT）：一種用DFS/BFS示例解決問題的方法

3. 思維算法 Algorithm of Thoughts（AOT） vs 其他 COT 的 區(qū)別？
2. 思維算法 Algorithm of Thoughts（AOT）思路是什么？
1. 為什么 需要 思維算法 Algorithm of Thoughts（AOT）？

• 思維鏈 Chain-of-Thought（COT） 有哪些 應用場景？

• 思維鏈 Chain-of-Thought（COT） 有哪些 局限性？

• 點擊查看答案

思維鏈 Chain-of-Thought（COT）變體篇

• 一、為什么需要 Graph RAG？

• 二、什么是 Graph RAG？

• 三、Graph RAG 思路介紹？

• 四、用代碼 介紹 Graph RAG ？

• 五、用 示例 介紹 Graph RAG ？

• 六、Graph RAG 排序優(yōu)化方式？

• 點擊查看答案