LLMs 千面郎君 更新版

!! 介紹：本項(xiàng)目是作者們根據(jù)個(gè)人面試和經(jīng)驗(yàn)總結(jié)出的 大模型(LLMs)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 大模型(LLMs)各領(lǐng)域的 面試題積累。

Github 地址：https://github.com/km1994/LLMs_interview_notes

!! NLP 面無(wú)不過(guò) 面試交流群 (注：人滿 可 添加 小編wx：yzyykm666 加群！)

大模型（LLMs）基礎(chǔ)面

1. 目前 主流的開(kāi)源模型體系 有哪些？
2. prefix Decoder 和 causal Decoder 和 Encoder-Decoder 區(qū)別是什么？
3. 大模型LLM的 訓(xùn)練目標(biāo) 是什么？
4. 涌現(xiàn)能力是啥原因？
5. 為何現(xiàn)在的大模型大部分是Decoder only結(jié)構(gòu)？
6. 簡(jiǎn)單 介紹一下 大模型【LLMs】？
7. 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？
8. 大模型【LLMs】具有什么優(yōu)點(diǎn)？
9. 大模型【LLMs】具有什么缺點(diǎn)？

• 點(diǎn)擊查看答案

大模型（LLMs）進(jìn)階面

1. LLMs 復(fù)讀機(jī)問(wèn)題
1. 什么是 LLMs 復(fù)讀機(jī)問(wèn)題？
2. 為什么會(huì)出現(xiàn) LLMs 復(fù)讀機(jī)問(wèn)題？
3. 如何緩解 LLMs 復(fù)讀機(jī)問(wèn)題？
2. llama 系列問(wèn)題
1. llama 輸入句子長(zhǎng)度理論上可以無(wú)限長(zhǎng)嗎？
3. 什么情況用Bert模型，什么情況用LLaMA、ChatGLM類大模型，咋選？
4. 各個(gè)專業(yè)領(lǐng)域是否需要各自的大模型來(lái)服務(wù)？
5. 如何讓大模型處理更長(zhǎng)的文本？

• 點(diǎn)擊查看答案

大模型（LLMs）微調(diào)面

大模型（LLMs）微調(diào)面

1. 如果想要在某個(gè)模型基礎(chǔ)上做全參數(shù)微調(diào)，究竟需要多少顯存？
2. 為什么SFT之后感覺(jué)LLM傻了?
3. SFT 指令微調(diào)數(shù)據(jù) 如何構(gòu)建?
4. 領(lǐng)域模型Continue PreTrain 數(shù)據(jù)選取？
5. 領(lǐng)域數(shù)據(jù)訓(xùn)練后，通用能力往往會(huì)有所下降，如何緩解模型遺忘通用能力？
6. 領(lǐng)域模型Continue PreTrain ，如何 讓模型在預(yù)訓(xùn)練過(guò)程中就學(xué)習(xí)到更多的知識(shí)？
7. 進(jìn)行SFT操作的時(shí)候，基座模型選用Chat還是Base?
8. 領(lǐng)域模型微調(diào) 指令&數(shù)據(jù)輸入格式 要求？
9. 領(lǐng)域模型微調(diào) 領(lǐng)域評(píng)測(cè)集 構(gòu)建？
10. 領(lǐng)域模型詞表擴(kuò)增是不是有必要的？
11. 如何訓(xùn)練自己的大模型？
12. 訓(xùn)練中文大模型有啥經(jīng)驗(yàn)？
13. 指令微調(diào)的好處？
14. 預(yù)訓(xùn)練和微調(diào)哪個(gè)階段注入知識(shí)的？
15. 想讓模型學(xué)習(xí)某個(gè)領(lǐng)域或行業(yè)的知識(shí)，是應(yīng)該預(yù)訓(xùn)練還是應(yīng)該微調(diào)？
16. 多輪對(duì)話任務(wù)如何微調(diào)模型？
17. 微調(diào)后的模型出現(xiàn)能力劣化，災(zāi)難性遺忘是怎么回事？
18. 微調(diào)模型需要多大顯存？
19. 大模型LLM進(jìn)行SFT操作的時(shí)候在學(xué)習(xí)什么？
20. 預(yù)訓(xùn)練和SFT操作有什么不同
21. 樣本量規(guī)模增大，訓(xùn)練出現(xiàn)OOM錯(cuò)
22. 大模型LLM進(jìn)行SFT 如何對(duì)樣本進(jìn)行優(yōu)化？
23. 模型參數(shù)迭代實(shí)驗(yàn)
24. 微調(diào)大模型的一些建議

• 點(diǎn)擊查看答案

大模型（LLMs）訓(xùn)練經(jīng)驗(yàn)帖

• 分布式訓(xùn)練框架選擇？
• LLMs 訓(xùn)練時(shí) 有哪些有用的建議？
• 模型大小如何選擇？
• 加速卡如何選擇？
• 點(diǎn)擊查看答案

大模型（LLMs）langchain 面

大模型（LLMs）langchain 面

• 什么是 LangChain?

• 2.1 LangChain 中 Components and Chains 是什么？
• 2.2 LangChain 中 Prompt Templates and Values 是什么？
• 2.3 LangChain 中 Example Selectors 是什么？
• 2.4 LangChain 中 Output Parsers 是什么？
• 2.5 LangChain 中 Indexes and Retrievers 是什么？
• 2.6 LangChain 中  Chat Message History 是什么？
• 2.7 LangChain 中  Agents and Toolkits 是什么？
2. LangChain 包含哪些 核心概念？
3. 什么是 LangChain Agent?
4. 如何使用 LangChain ?
5. LangChain 支持哪些功能?
6. 什么是 LangChain model?
7. LangChain 包含哪些特點(diǎn)?
• 8.1 LangChain 如何調(diào)用 LLMs 生成回復(fù)？
• 8.2 LangChain 如何修改 提示模板？
• 8.3 LangChain 如何鏈接多個(gè)組件處理一個(gè)特定的下游任務(wù)？
• 8.4 LangChain 如何Embedding & vector store？
8. LangChain 如何使用?

• LangChain 存在哪些問(wèn)題及方法方案？

5. LangChain 缺乏標(biāo)準(zhǔn)的可互操作數(shù)據(jù)類型問(wèn)題
4. LangChain 行為不一致并且隱藏細(xì)節(jié)問(wèn)題
3. LangChain 太多概念容易混淆，過(guò)多的“輔助”函數(shù)問(wèn)題
2. LangChain 文檔的問(wèn)題
1. LangChain 低效的令牌使用問(wèn)題

• LangChain 替代方案？

• 點(diǎn)擊查看答案

基于LLM+向量庫(kù)的文檔對(duì)話 經(jīng)驗(yàn)面

• 一、基于LLM+向量庫(kù)的文檔對(duì)話 基礎(chǔ)面

• 1.1 為什么 大模型 需要 外掛(向量)知識(shí)庫(kù)？
• 1.2. 基于LLM+向量庫(kù)的文檔對(duì)話 思路是怎么樣？
• 1.3. 基于LLM+向量庫(kù)的文檔對(duì)話 核心技術(shù)是什么？
• 1.4. 基于LLM+向量庫(kù)的文檔對(duì)話 prompt 模板 如何構(gòu)建？

• 二、基于LLM+向量庫(kù)的文檔對(duì)話 存在哪些痛點(diǎn)？

• 三、基于LLM+向量庫(kù)的文檔對(duì)話 工程示例面

• 點(diǎn)擊查看答案

LLM文檔對(duì)話 —— pdf解析關(guān)鍵問(wèn)題

• 一、為什么需要進(jìn)行pdf解析？

• 二、為什么需要 對(duì) pdf 進(jìn)行解析？

• 三、pdf解析 有哪些方法，對(duì)應(yīng)的區(qū)別是什么？

• 四、pdf解析 存在哪些問(wèn)題？

• 五、如何 長(zhǎng)文檔（書(shū)籍）中關(guān)鍵信息？

• 六、為什么要提取標(biāo)題甚至是多級(jí)標(biāo)題？

• 七、如何提取 文章標(biāo)題？

• 八、如何區(qū)分單欄還是雙欄pdf？如何重新排序？

• 九、如何提取表格和圖片中的數(shù)據(jù)？

• 十、基于AI的文檔解析有什么優(yōu)缺點(diǎn)？

• 點(diǎn)擊查看答案

基于LLM+向量庫(kù)的文檔對(duì)話 經(jīng)驗(yàn)面

• 一、基于LLM+向量庫(kù)的文檔對(duì)話 基礎(chǔ)面

• 1.1 為什么 大模型 需要 外掛(向量)知識(shí)庫(kù)？
• 1.2. 基于LLM+向量庫(kù)的文檔對(duì)話 思路是怎么樣？
• 1.3. 基于LLM+向量庫(kù)的文檔對(duì)話 核心技術(shù)是什么？
• 1.4. 基于LLM+向量庫(kù)的文檔對(duì)話 prompt 模板 如何構(gòu)建？

• 二、基于LLM+向量庫(kù)的文檔對(duì)話 存在哪些痛點(diǎn)？

• 三、基于LLM+向量庫(kù)的文檔對(duì)話 工程示例面

• 點(diǎn)擊查看答案

大模型（LLMs）參數(shù)高效微調(diào)(PEFT) 面

大模型（LLMs）參數(shù)高效微調(diào)(PEFT) 面

• 微調(diào)方法是啥？如何微調(diào)？

• 為什么需要 PEFT？

• 介紹一下 PEFT？

• PEFT 有什么優(yōu)點(diǎn)？

• 微調(diào)方法批處理大小模式GPU顯存速度？

• Peft 和 全量微調(diào)區(qū)別？

• 多種不同的高效微調(diào)方法對(duì)比

• 當(dāng)前高效微調(diào)技術(shù)存在的一些問(wèn)題

• 高效微調(diào)技術(shù)最佳實(shí)踐

• PEFT 存在問(wèn)題？

• 能不能總結(jié)一下各種參數(shù)高效微調(diào)方法？

• 點(diǎn)擊查看答案

配器微調(diào)（Adapter-tuning）篇

• 一、為什么 需要 適配器微調(diào)（Adapter-tuning）？

• 二、適配器微調(diào)（Adapter-tuning）思路？

• 三、 適配器微調(diào)（Adapter-tuning）特點(diǎn)是什么？

• 四、AdapterFusion 思路 是什么？

• 五、AdapterDrop 思路 是什么？

• 六、AdapterDrop 特點(diǎn) 是什么？

• 七、MAM Adapter 思路 是什么？

• 八、MAM Adapter 特點(diǎn) 是什么？

• 點(diǎn)擊查看答案

提示學(xué)習(xí)（Prompting）

• 一、為什么需要 提示學(xué)習(xí)（Prompting）？

• 二、什么是 提示學(xué)習(xí)（Prompting）？

• 三、提示學(xué)習(xí)（Prompting） 有什么優(yōu)點(diǎn)？

• 四、提示學(xué)習(xí)（Prompting）有哪些方法，能不能稍微介紹一下它們間？

• 4.4.1 為什么需要 P-tuning v2？
• 4.4.2 P-tuning v2 思路是什么？
• 4.4.3 P-tuning v2 優(yōu)點(diǎn)是什么？
• 4.4.4 P-tuning v2 缺點(diǎn)是什么？
• 4.3.1 為什么需要 P-tuning？
• 4.3.2 P-tuning 思路是什么？
• ...
  

• 點(diǎn)擊查看答案

LoRA 系列篇

• 一、LoRA篇

• 1.1 什么是 LoRA？
• 1.2 LoRA 的思路是什么？
• 1.3 LoRA 的特點(diǎn)是什么？

• 二、QLoRA篇

• 2.1 QLoRA 的思路是怎么樣的？
• 2.2 QLoRA 的特點(diǎn)是什么？

• 三、AdaLoRA篇

• 3.1 AdaLoRA 的思路是怎么樣的？

• 四、LoRA權(quán)重是否可以合入原模型？

• ...

• 點(diǎn)擊查看答案

大模型（LLMs）推理面

大模型（LLMs）推理面

1. 為什么大模型推理時(shí)顯存漲的那么多還一直占著？
2.  模型在gpu和cpu上推理速度如何？
3. 推理速度上，int8和fp16比起來(lái)怎么樣？
4. 大模型有推理能力嗎？
5. 大模型生成時(shí)的參數(shù)怎么設(shè)置？
• ...
  
有哪些省內(nèi)存的大語(yǔ)言模型訓(xùn)練/微調(diào)/推理方法？
...
6. 
   

• 點(diǎn)擊查看答案

大模型（LLMs）預(yù)訓(xùn)練面

大模型（LLMs）增量預(yù)訓(xùn)練篇

1. 為什么要增量預(yù)訓(xùn)練？
2. 進(jìn)行 增量預(yù)訓(xùn)練 需要做哪些準(zhǔn)備工作？
3. 增量預(yù)訓(xùn)練 所用 訓(xùn)練框架？
4. 增量預(yù)訓(xùn)練 訓(xùn)練流程 是怎么樣？

• 點(diǎn)擊查看答案

大模型（LLMs）評(píng)測(cè)面

1. 大模型怎么評(píng)測(cè)？
2. 大模型的honest原則是如何實(shí)現(xiàn)的？模型如何判斷回答的知識(shí)是訓(xùn)練過(guò)的已知的知識(shí)，怎么訓(xùn)練這種能力？
3. 如何衡量大模型水平？
4. 大模型評(píng)估方法 有哪些？
5. 大模型評(píng)估工具 有哪些？

• 點(diǎn)擊查看答案

大模型（LLMs）強(qiáng)化學(xué)習(xí)面

1. 簡(jiǎn)單介紹強(qiáng)化學(xué)習(xí)？
2. 簡(jiǎn)單介紹一下 RLHF？
3. 獎(jiǎng)勵(lì)模型需要和基礎(chǔ)模型一致嗎？
4. RLHF 在實(shí)踐過(guò)程中存在哪些不足？

5. ...

   點(diǎn)擊查看答案

大模型（LLMs）軟硬件配置面

1. 建議的軟件環(huán)境是什么？
2. ...
   

• 點(diǎn)擊查看答案

大模型（LLMs）訓(xùn)練集面

1. SFT（有監(jiān)督微調(diào)）的數(shù)據(jù)集格式？
2. RM（獎(jiǎng)勵(lì)模型）的數(shù)據(jù)格式？
3. ...
   
   

• 點(diǎn)擊查看答案

大模型（LLMs）顯存問(wèn)題面

1. 大模型大概有多大，模型文件有多大?
2. 能否用4 * v100 32G訓(xùn)練vicuna 65b？
3. 如果就是想要試試65b模型，但是顯存不多怎么辦？
4. nB模型推理需要多少顯存？
5. nB模型訓(xùn)練需要多少顯存？
6. 如何 估算模型所需的RAM？
7. 如何評(píng)估你的顯卡利用率?
8. 測(cè)試你的顯卡利用率 實(shí)現(xiàn)細(xì)節(jié)篇
1. ...
   
   

• 點(diǎn)擊查看答案

大模型（LLMs）分布式訓(xùn)練面

大模型（LLMs）分布式訓(xùn)練面

• 理論篇

  
  
• 1.1 訓(xùn)練 大語(yǔ)言模型 存在問(wèn)題？
• 1.2 什么是 點(diǎn)對(duì)點(diǎn)通信？
• 1.3 什么是 集體通信？
• 1.4 什么是 數(shù)據(jù)并行？
• 1.5 數(shù)據(jù)并行 如何 提升效率？
• 1.6 什么是 流水線并行？
• 
  

  ...

  
  
2. 實(shí)踐篇
• 2.1 假如有超多的8卡A100節(jié)點(diǎn)（DGX A100），如何應(yīng)用3D并行策略？
• 2.2 如果想構(gòu)這樣一個(gè)大規(guī)模并行訓(xùn)練系統(tǒng)，訓(xùn)練框架如何選？
  ...
  
  

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（一） —— 流水線并行（Pipeline Parallelism）面

• 為什么需要流水線并行（Pipeline Parallelism）？

• 一、流水線并行（Pipeline Parallelism） 優(yōu)化目標(biāo)是什么？

• 二、圖解 流水線并行（Pipeline Parallelism）模型并行 必要性？

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（二） —— nn.DataParallel面

• 為什么需要nn.DataParallel？

• 一、pytorch中的GPU操作默認(rèn)是什么樣？

• 二、介紹一下 nn.DataParallel 函數(shù)？

• 三、nn.DataParallel 函數(shù) 處理邏輯 介紹一下？

• 四、nn.DataParallel 函數(shù) 常見(jiàn)問(wèn)題及解答 有哪些？

• ...
  
  

• 五、nn.DataParallel 函數(shù) 參數(shù)更新方式 ？

• 六、nn.DataParallel 函數(shù) 優(yōu)點(diǎn) 介紹一下？

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（三） ——  nn.parallel.DistributedDataParallel

• 為什么需要 nn.parallel.DistributedDataParallel ？

• 一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？

• 二、nn.parallel.DistributedDataParallel 函數(shù) 介紹一下？

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（四） ——  torch.multiprocessing 詳細(xì)解析

• 一、torch.multiprocessing 函數(shù)介紹一下？

• 二、torch.multiprocessing 函數(shù)如何使用？

• 三、介紹一下 共享CUDA張量？

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（五） ——  AMP混合精度訓(xùn)練 詳細(xì)解析

• 為什么需要 AMP混合精度訓(xùn)練？

• 一、什么是自動(dòng)混合精度訓(xùn)練(AMP)

• 二、為什么需要自動(dòng)混合精度？

• 三、混合精度訓(xùn)練的優(yōu)點(diǎn)是什么？

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（六） —— Pytorch的 DeepSpeed 詳細(xì)解析

• 一、為什么需要 Deepspeed？

• 二、DeepSpeed 基本概念 介紹一下？

• 三、DeepSpeed 通信策略 介紹一下？

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（七）—— accelerate 分布式訓(xùn)練 詳細(xì)解析

• 一、為什么需要 accelerate 分布式訓(xùn)練？

• 二、什么是 accelerate 分布式訓(xùn)練?

• ...

• 點(diǎn)擊查看答案

圖解分布式訓(xùn)練（八）—— ZeRO 學(xué)習(xí)

• 一、什么是 3D 并行？

• 二、3D 并行 策略有哪些？

• 三、為什么需要 ZeRO？

• ...

• 點(diǎn)擊查看答案

大模型（LLMs）agent 面

1. 如何給LLM注入領(lǐng)域知識(shí)？
2. ...
3. 點(diǎn)擊查看答案

Token及模型參數(shù)準(zhǔn)備篇

1. 預(yù)訓(xùn)練數(shù)據(jù) Token 重復(fù) 是否影響 模型性能？
2. ...

• 點(diǎn)擊查看答案

LLMs 位置編碼篇

• 1 什么是位置編碼？

• 2 什么是絕對(duì)位置編碼？

• 3 什么是相對(duì)位置編碼？

• 4 旋轉(zhuǎn)位置編碼 RoPE篇

...

• 點(diǎn)擊查看答案

LLMs Tokenizer 篇

LLMs Tokenizer 篇

• Byte-Pair Encoding(BPE)篇

• 1 Byte-Pair Encoding(BPE) 如何構(gòu)建詞典？

• WordPiece 篇

• ...

• 點(diǎn)擊查看答案

怎么讓英文大語(yǔ)言模型支持中文？（一） —— 構(gòu)建中文tokenization

• 一、為什么需要 構(gòu)建中文tokenization？

• 二、如何對(duì) 原始數(shù)據(jù)預(yù)處理？

• 三、如何構(gòu)建中文的詞庫(kù)？

• ...

• 點(diǎn)擊查看答案

怎么讓英文大語(yǔ)言模型支持中文？（二） —— 繼續(xù)預(yù)訓(xùn)練篇

• 一、為什么需要進(jìn)行繼續(xù)預(yù)訓(xùn)練？

• 二、如何對(duì) 繼續(xù)預(yù)訓(xùn)練 數(shù)據(jù)預(yù)處理？

• ...

• 點(diǎn)擊查看答案

怎么讓英文大語(yǔ)言模型支持中文？（三） —— 對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào)

• 一、為什么需要對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào)？

• 二、對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào) 數(shù)據(jù) 如何處理？

• 三、對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào) tokenization 如何構(gòu)建？

• ...

• 點(diǎn)擊查看答案

Layer normalization 篇

• Layer normalization-方法篇

• Deep Norm 思路？
• 寫(xiě)一下 Deep Norm 代碼實(shí)現(xiàn)？
• RMS Norm 的計(jì)算公式寫(xiě)一下？
• RMS Norm 相比于 Layer Norm 有什么特點(diǎn)？
• ...

• Layer normalization-位置篇

• 1 LN 在 LLMs 中的不同位置 有什么區(qū)別么？如果有，能介紹一下區(qū)別么？

• Layer normalization 對(duì)比篇

• LLMs 各模型分別用了 哪種 Layer normalization？

• 點(diǎn)擊查看答案

LLMs 激活函數(shù)篇

• 1 介紹一下 FFN 塊 計(jì)算公式？

• 2 介紹一下 GeLU 計(jì)算公式？

• 3 介紹一下 Swish 計(jì)算公式？

• ...

• 點(diǎn)擊查看答案

LLMs 激活函數(shù)篇

• 1 介紹一下 FFN 塊 計(jì)算公式？

• 2 介紹一下 GeLU 計(jì)算公式？

• 3 介紹一下 Swish 計(jì)算公式？

• ...

• 點(diǎn)擊查看答案

大模型（LLMs）加速篇

大模型（LLMs）加速篇

• 當(dāng)前優(yōu)化模型最主要技術(shù)手段有哪些？推理加速框架有哪一些？都有什么特點(diǎn)？

• 
  

• 3 vLLM 篇

• 3.1 vLLM 的 功能有哪些？
• 3.2 vLLM 的 優(yōu)點(diǎn)有哪些？
• 3.3 vLLM 的 缺點(diǎn)有哪些？
• 3.4 vLLM 離線批量推理？
• 3.5 vLLM API Server？

• 4 Text generation inference 篇

• 4.1 介紹一下 Text generation inference？
• 4.2 Text generation inference 的 功能有哪些？
• 
  

  ...

  
  

• 點(diǎn)擊查看答案

LLM（大語(yǔ)言模型）部署加速方法——PagedAttention篇

• 一、vLLM 用于大模型并行推理加速 存在什么問(wèn)題？

• 二、vLLM 如何 優(yōu)化 大模型并行推理加速？

• 三、什么是 PagedAttention？

• ...

• 點(diǎn)擊查看答案

大模型推理加速工具 —— vLLM

• 一、引言

• 1.1 前言
• 1.2 為什么 需要 vLLM ?
• 1.3 vLLM 具有哪些特點(diǎn) ?
• 1.4 vLLM 支持哪些 Huggingface 模型 ?

• 二、vLLM 性能如何？

• 三、vLLM 依賴包

• 
  

  ...

• 點(diǎn)擊查看答案

LLM（大語(yǔ)言模型）部署加速方法——Faster Transformer篇

• 一、為什么需要 FasterTransformer？

• 二、FasterTransformer 介紹一下？

• 三、FasterTransformer 核心是什么？

• ...

• 點(diǎn)擊查看答案

純Python超輕量高性能LLM推理框架 —— LightLLM

• 一、引言

• 1.1 前言
• 1.2 為什么 需要 LightLLM ?
• 1.3 目前 LLM推理框架 有 哪些?

• ...

• 點(diǎn)擊查看答案

Attention 升級(jí)面

• 1 傳統(tǒng) Attention 存在哪些問(wèn)題？

• 2 Attention 優(yōu)化方向

• 3 Attention 變體有哪些？

• ...
  

• 點(diǎn)擊查看答案

大模型幻覺(jué)（LLM Hallucination）面

大模型幻覺(jué)（LLM Hallucination）面

• 一、什么是大模型幻覺(jué)？

• 二、為什么LLM會(huì)產(chǎn)生幻覺(jué)？

• 三、為什么需要解決LLM的幻覺(jué)問(wèn)題？

• 四、幻覺(jué)一定是有害的嗎？

• ...

• 點(diǎn)擊查看答案

大模型的幻覺(jué)問(wèn)題篇

• 一、什么是 大模型幻覺(jué)問(wèn)題？

• 二、為什么 會(huì) 出現(xiàn) 大模型幻覺(jué)問(wèn)題？

• 
  

  ...

• 點(diǎn)擊查看答案

大模型的幻覺(jué)問(wèn)題篇

• 一、為什么 會(huì) 出現(xiàn) 大模型幻覺(jué)？

• ...

• 點(diǎn)擊查看答案

LLMs 對(duì)比篇

LLMs 對(duì)比篇

• LLMs 訓(xùn)練數(shù)據(jù) 和 數(shù)據(jù)量 對(duì)比如何？

• ...

• 點(diǎn)擊查看答案

百川智能baichuan7B、13B、53B、baichuan2 總結(jié)篇

• 一、baichuan-7B篇

3. baichuan-7B 如何 提高 訓(xùn)練穩(wěn)定性和吞吐？
2. baichuan-7B 如何 收集原始數(shù)據(jù)并 構(gòu)建 訓(xùn)練數(shù)據(jù)？
1. 你了解baichuan-7B解構(gòu)么？介紹一下？

• 二、baichuan-13B篇

3. 如何 對(duì) baichuan-13B 進(jìn)行微調(diào)？
2. 如何 對(duì) baichuan-13B 進(jìn)行推理和部署？
1. 相比于 baichuan-7B，baichuan-13B 的 特點(diǎn)體現(xiàn)在哪里？

• ...

• 點(diǎn)擊查看答案

思維鏈 Chain-of-Thought（COT）篇

思維鏈 Chain-of-Thought（COT）篇

• 一、什么是思維鏈提示？

• 二、思維鏈提示本質(zhì)是什么？

• 三、思維鏈提示 與 標(biāo)準(zhǔn)的提示學(xué)習(xí)方法有什么不同?

• ...

  
  

• 點(diǎn)擊查看答案

思維鏈 Chain-of-Thought（COT）變體篇

• 思維鏈 Chain-of-Thought（COT）：思維鏈的啟蒙

3. 思維鏈 Chain-of-Thought（COT）存在問(wèn)題？

4. ..

• 思維樹(shù) Tree of Thoughts（TOT）：一種用樹(shù)結(jié)構(gòu)解決復(fù)雜問(wèn)題的方法

3. 思維樹(shù) Tree of Thoughts（TOT）涉及問(wèn)題有哪些？

4. ...

• 思維圖 Graph of Thoughts（GOT）：一種把思維鏈過(guò)程建模層圖結(jié)構(gòu)的方法

3. 思維圖 Graph of Thoughts（GOT）核心思想是什么 ？

4. ...

• ...

• 點(diǎn)擊查看答案

思維鏈 Chain-of-Thought（COT）變體篇

• 一、為什么需要 Graph RAG？

• 二、什么是 Graph RAG？

• ...

• 點(diǎn)擊查看答案