LLMs 千面郎君 更新版
!! 介紹：本項(xiàng)目是作者們根據(jù)個(gè)人面試和經(jīng)驗(yàn)總結(jié)出的 大模型(LLMs)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 大模型(LLMs)各領(lǐng)域的 面試題積累。
Github 地址：https://github.com/km1994/LLMs_interview_notes
!! NLP 面無不過 面試交流群 (注：人滿 可 添加 小編wx：yzyykm666 加群！)
大模型（LLMs）基礎(chǔ)面
-
目前 主流的開源模型體系 有哪些？ -
prefix Decoder 和 causal Decoder 和 Encoder-Decoder 區(qū)別是什么？ -
大模型LLM的 訓(xùn)練目標(biāo) 是什么？ -
涌現(xiàn)能力是啥原因？ -
為何現(xiàn)在的大模型大部分是Decoder only結(jié)構(gòu)？ -
簡(jiǎn)單 介紹一下 大模型【LLMs】？ -
大模型【LLMs】后面跟的 175B、60B、540B等 指什么？ -
大模型【LLMs】具有什么優(yōu)點(diǎn)？ -
大模型【LLMs】具有什么缺點(diǎn)？
-
點(diǎn)擊查看答案
大模型（LLMs）進(jìn)階面
-
LLMs 復(fù)讀機(jī)問題 -
什么是 LLMs 復(fù)讀機(jī)問題？ -
為什么會(huì)出現(xiàn) LLMs 復(fù)讀機(jī)問題？ -
如何緩解 LLMs 復(fù)讀機(jī)問題？ -
llama 系列問題 -
llama 輸入句子長(zhǎng)度理論上可以無限長(zhǎng)嗎？ -
什么情況用Bert模型，什么情況用LLaMA、ChatGLM類大模型，咋選？ -
各個(gè)專業(yè)領(lǐng)域是否需要各自的大模型來服務(wù)？ -
如何讓大模型處理更長(zhǎng)的文本？
-
點(diǎn)擊查看答案
大模型（LLMs）微調(diào)面
大模型（LLMs）微調(diào)面
-
如果想要在某個(gè)模型基礎(chǔ)上做全參數(shù)微調(diào)，究竟需要多少顯存？ -
為什么SFT之后感覺LLM傻了? -
SFT 指令微調(diào)數(shù)據(jù) 如何構(gòu)建? -
領(lǐng)域模型Continue PreTrain 數(shù)據(jù)選取？ -
領(lǐng)域數(shù)據(jù)訓(xùn)練后，通用能力往往會(huì)有所下降，如何緩解模型遺忘通用能力？ -
領(lǐng)域模型Continue PreTrain ，如何 讓模型在預(yù)訓(xùn)練過程中就學(xué)習(xí)到更多的知識(shí)？ -
進(jìn)行SFT操作的時(shí)候，基座模型選用Chat還是Base? -
領(lǐng)域模型微調(diào) 指令&數(shù)據(jù)輸入格式 要求？ -
領(lǐng)域模型微調(diào) 領(lǐng)域評(píng)測(cè)集 構(gòu)建？ -
領(lǐng)域模型詞表擴(kuò)增是不是有必要的？ -
如何訓(xùn)練自己的大模型？ -
訓(xùn)練中文大模型有啥經(jīng)驗(yàn)？ -
指令微調(diào)的好處？ -
預(yù)訓(xùn)練和微調(diào)哪個(gè)階段注入知識(shí)的？ -
想讓模型學(xué)習(xí)某個(gè)領(lǐng)域或行業(yè)的知識(shí)，是應(yīng)該預(yù)訓(xùn)練還是應(yīng)該微調(diào)？ -
多輪對(duì)話任務(wù)如何微調(diào)模型？ -
微調(diào)后的模型出現(xiàn)能力劣化，災(zāi)難性遺忘是怎么回事？ -
微調(diào)模型需要多大顯存？ -
大模型LLM進(jìn)行SFT操作的時(shí)候在學(xué)習(xí)什么？ -
預(yù)訓(xùn)練和SFT操作有什么不同 -
樣本量規(guī)模增大，訓(xùn)練出現(xiàn)OOM錯(cuò) -
大模型LLM進(jìn)行SFT 如何對(duì)樣本進(jìn)行優(yōu)化？ -
模型參數(shù)迭代實(shí)驗(yàn) -
微調(diào)大模型的一些建議
-
點(diǎn)擊查看答案
大模型（LLMs）訓(xùn)練經(jīng)驗(yàn)帖
-
分布式訓(xùn)練框架選擇？ -
LLMs 訓(xùn)練時(shí) 有哪些有用的建議？ -
模型大小如何選擇？ -
加速卡如何選擇？ -
點(diǎn)擊查看答案
大模型（LLMs）langchain 面
大模型（LLMs）langchain 面
什么是 LangChain?
-
2.1 LangChain 中 Components and Chains 是什么？ -
2.2 LangChain 中 Prompt Templates and Values 是什么？ -
2.3 LangChain 中 Example Selectors 是什么？ -
2.4 LangChain 中 Output Parsers 是什么？ -
2.5 LangChain 中 Indexes and Retrievers 是什么？ -
2.6 LangChain 中 Chat Message History 是什么？ -
2.7 LangChain 中 Agents and Toolkits 是什么？ -
LangChain 包含哪些 核心概念？ -
什么是 LangChain Agent? -
如何使用 LangChain ? -
LangChain 支持哪些功能? -
什么是 LangChain model? -
LangChain 包含哪些特點(diǎn)? -
8.1 LangChain 如何調(diào)用 LLMs 生成回復(fù)？ -
8.2 LangChain 如何修改 提示模板？ -
8.3 LangChain 如何鏈接多個(gè)組件處理一個(gè)特定的下游任務(wù)？ -
8.4 LangChain 如何Embedding & vector store？ -
LangChain 如何使用? -
LangChain 存在哪些問題及方法方案？
-
LangChain 缺乏標(biāo)準(zhǔn)的可互操作數(shù)據(jù)類型問題 -
LangChain 行為不一致并且隱藏細(xì)節(jié)問題 -
LangChain 太多概念容易混淆，過多的“輔助”函數(shù)問題 -
LangChain 文檔的問題 -
LangChain 低效的令牌使用問題 -
LangChain 替代方案？
-
點(diǎn)擊查看答案
基于LLM+向量庫(kù)的文檔對(duì)話 經(jīng)驗(yàn)面
-
一、基于LLM+向量庫(kù)的文檔對(duì)話 基礎(chǔ)面
-
1.1 為什么 大模型 需要 外掛(向量)知識(shí)庫(kù)？ -
1.2. 基于LLM+向量庫(kù)的文檔對(duì)話 思路是怎么樣？ -
1.3. 基于LLM+向量庫(kù)的文檔對(duì)話 核心技術(shù)是什么？ -
1.4. 基于LLM+向量庫(kù)的文檔對(duì)話 prompt 模板 如何構(gòu)建？ -
二、基于LLM+向量庫(kù)的文檔對(duì)話 存在哪些痛點(diǎn)？
-
三、基于LLM+向量庫(kù)的文檔對(duì)話 工程示例面
-
點(diǎn)擊查看答案
LLM文檔對(duì)話 —— pdf解析關(guān)鍵問題
-
一、為什么需要進(jìn)行pdf解析？
-
二、為什么需要 對(duì) pdf 進(jìn)行解析？
-
三、pdf解析 有哪些方法，對(duì)應(yīng)的區(qū)別是什么？
-
四、pdf解析 存在哪些問題？
-
....
-
點(diǎn)擊查看答案
基于LLM+向量庫(kù)的文檔對(duì)話 經(jīng)驗(yàn)面
-
一、基于LLM+向量庫(kù)的文檔對(duì)話 基礎(chǔ)面
-
1.1 為什么 大模型 需要 外掛(向量)知識(shí)庫(kù)？ -
1.2. 基于LLM+向量庫(kù)的文檔對(duì)話 思路是怎么樣？ -
1.3. 基于LLM+向量庫(kù)的文檔對(duì)話 核心技術(shù)是什么？ -
1.4. 基于LLM+向量庫(kù)的文檔對(duì)話 prompt 模板 如何構(gòu)建？ -
二、基于LLM+向量庫(kù)的文檔對(duì)話 存在哪些痛點(diǎn)？
-
三、基于LLM+向量庫(kù)的文檔對(duì)話 工程示例面
-
點(diǎn)擊查看答案
大模型（LLMs）參數(shù)高效微調(diào)(PEFT) 面
大模型（LLMs）參數(shù)高效微調(diào)(PEFT) 面
-
微調(diào)方法是啥？如何微調(diào)？
-
為什么需要 PEFT？
-
介紹一下 PEFT？
-
PEFT 有什么優(yōu)點(diǎn)？
-
微調(diào)方法批處理大小模式GPU顯存速度？
-
Peft 和 全量微調(diào)區(qū)別？
-
多種不同的高效微調(diào)方法對(duì)比
-
當(dāng)前高效微調(diào)技術(shù)存在的一些問題
-
高效微調(diào)技術(shù)最佳實(shí)踐
-
PEFT 存在問題？
-
能不能總結(jié)一下各種參數(shù)高效微調(diào)方法？
-
點(diǎn)擊查看答案
配器微調(diào)（Adapter-tuning）篇
-
一、為什么 需要 適配器微調(diào)（Adapter-tuning）？
-
二、適配器微調(diào)（Adapter-tuning）思路？
-
三、 適配器微調(diào)（Adapter-tuning）特點(diǎn)是什么？
-
四、AdapterFusion 思路 是什么？
-
五、AdapterDrop 思路 是什么？
-
六、AdapterDrop 特點(diǎn) 是什么？
-
七、MAM Adapter 思路 是什么？
-
八、MAM Adapter 特點(diǎn) 是什么？
-
點(diǎn)擊查看答案
提示學(xué)習(xí)（Prompting）
-
一、為什么需要 提示學(xué)習(xí)（Prompting）？
-
二、什么是 提示學(xué)習(xí)（Prompting）？
-
三、提示學(xué)習(xí)（Prompting） 有什么優(yōu)點(diǎn)？
-
四、提示學(xué)習(xí)（Prompting）有哪些方法，能不能稍微介紹一下它們間？
-
4.4.1 為什么需要 P-tuning v2？ -
4.4.2 P-tuning v2 思路是什么？ -
4.4.3 P-tuning v2 優(yōu)點(diǎn)是什么？ -
4.4.4 P-tuning v2 缺點(diǎn)是什么？ -
4.3.1 為什么需要 P-tuning？ -
4.3.2 P-tuning 思路是什么？ -
4.3.3 P-tuning 優(yōu)點(diǎn)是什么？ -
4.3.4 P-tuning 缺點(diǎn)是什么？ -
4.2.1 為什么需要 指示微調(diào)（Prompt-tuning）？ -
4.2.2 指示微調(diào)（Prompt-tuning）思路是什么？ -
4.2.3 指示微調(diào)（Prompt-tuning）優(yōu)點(diǎn)是什么？ -
4.2.4 指示微調(diào)（Prompt-tuning）缺點(diǎn)是什么？ -
4.2.5 指示微調(diào)（Prompt-tuning）與 Prefix-tuning 區(qū)別 是什么？ -
4.2.6 指示微調(diào)（Prompt-tuning）與 fine-tuning 區(qū)別 是什么？ -
4.1.1 為什么需要 前綴微調(diào)（Prefix-tining）？ -
4.1.2 前綴微調(diào)（Prefix-tining）思路是什么？ -
4.1.3 前綴微調(diào)（Prefix-tining）的優(yōu)點(diǎn)是什么？ -
4.1.4 前綴微調(diào)（Prefix-tining）的缺點(diǎn)是什么？ -
4.1 前綴微調(diào)（Prefix-tining）篇 -
4.2 指示微調(diào)（Prompt-tuning）篇 -
4.3 P-tuning 篇 -
4.4 P-tuning v2 篇 -
點(diǎn)擊查看答案
LoRA 系列篇
-
一、LoRA篇
-
1.1 什么是 LoRA？ -
1.2 LoRA 的思路是什么？ -
1.3 LoRA 的特點(diǎn)是什么？ -
二、QLoRA篇
-
2.1 QLoRA 的思路是怎么樣的？ -
2.2 QLoRA 的特點(diǎn)是什么？ -
三、AdaLoRA篇
-
3.1 AdaLoRA 的思路是怎么樣的？ -
四、LoRA權(quán)重是否可以合入原模型？
-
....
-
-
點(diǎn)擊查看答案
大模型（LLMs）推理面
大模型（LLMs）推理面
-
-
為什么大模型推理時(shí)顯存漲的那么多還一直占著？ -
模型在gpu和cpu上推理速度如何？ -
推理速度上，int8和fp16比起來怎么樣？ -
大模型有推理能力嗎？ -
大模型生成時(shí)的參數(shù)怎么設(shè)置？ -
-
有哪些省內(nèi)存的大語言模型訓(xùn)練/微調(diào)/推理方法？ 6.1 如何 估算模型所需的RAM？ 6.2 Fp16-mixed precision 6.3 Int8-bitsandbytes ....
-
如何讓大模型輸出合規(guī)化 -
應(yīng)用模式變更 -
點(diǎn)擊查看答案
大模型（LLMs）預(yù)訓(xùn)練面
大模型（LLMs）增量預(yù)訓(xùn)練篇
-
為什么要增量預(yù)訓(xùn)練？ -
進(jìn)行 增量預(yù)訓(xùn)練 需要做哪些準(zhǔn)備工作？ -
增量預(yù)訓(xùn)練 所用 訓(xùn)練框架？ -
增量預(yù)訓(xùn)練 訓(xùn)練流程 是怎么樣？
-
點(diǎn)擊查看答案
大模型（LLMs）評(píng)測(cè)面
-
大模型怎么評(píng)測(cè)？ -
大模型的honest原則是如何實(shí)現(xiàn)的？模型如何判斷回答的知識(shí)是訓(xùn)練過的已知的知識(shí)，怎么訓(xùn)練這種能力？ -
如何衡量大模型水平？ -
...
-
點(diǎn)擊查看答案
大模型（LLMs）強(qiáng)化學(xué)習(xí)面
-
簡(jiǎn)單介紹強(qiáng)化學(xué)習(xí)？ -
簡(jiǎn)單介紹一下 RLHF？ -
獎(jiǎng)勵(lì)模型需要和基礎(chǔ)模型一致嗎？ -
RLHF 在實(shí)踐過程中存在哪些不足？ -
.... -
-
點(diǎn)擊查看答案
大模型（LLMs）軟硬件配置面
-
建議的軟件環(huán)境是什么？
-
點(diǎn)擊查看答案
大模型（LLMs）訓(xùn)練集面
-
SFT（有監(jiān)督微調(diào)）的數(shù)據(jù)集格式？ -
RM（獎(jiǎng)勵(lì)模型）的數(shù)據(jù)格式？ -
PPO（強(qiáng)化學(xué)習(xí)）的數(shù)據(jù)格式？ -
找數(shù)據(jù)集哪里找？ -
微調(diào)需要多少條數(shù)據(jù)？ -
... -
-
點(diǎn)擊查看答案
大模型（LLMs）顯存問題面
-
大模型大概有多大，模型文件有多大? -
能否用4 * v100 32G訓(xùn)練vicuna 65b？ -
如果就是想要試試65b模型，但是顯存不多怎么辦？ -
nB模型推理需要多少顯存？ -
nB模型訓(xùn)練需要多少顯存？ -
如何 估算模型所需的RAM？ -
如何評(píng)估你的顯卡利用率? -
測(cè)試你的顯卡利用率 實(shí)現(xiàn)細(xì)節(jié)篇 -
如何查看多機(jī)訓(xùn)練時(shí)的網(wǎng)速？ -
如何查看服務(wù)器上的多卡之間的NVLINK topo？ -
如何查看服務(wù)器上顯卡的具體型號(hào)? -
... -
-
點(diǎn)擊查看答案
大模型（LLMs）分布式訓(xùn)練面
大模型（LLMs）分布式訓(xùn)練面
理論篇
-
1.1 訓(xùn)練 大語言模型 存在問題？ -
1.2 什么是 點(diǎn)對(duì)點(diǎn)通信？ -
1.3 什么是 集體通信？ -
1.4 什么是 數(shù)據(jù)并行？ -
....
.....
-
2.1 假如有超多的8卡A100節(jié)點(diǎn)（DGX A100），如何應(yīng)用3D并行策略？ -
2.2 如果想構(gòu)這樣一個(gè)大規(guī)模并行訓(xùn)練系統(tǒng)，訓(xùn)練框架如何選？ -
2.3 訓(xùn)練框架如何選？ -
并行化策略選擇篇 -
3.1 如何選擇一款分布式訓(xùn)練框架？ -
...
-
-
問題篇 -
4.1 推理速度驗(yàn)證 -
4.2 并行化訓(xùn)練加速 -
4.3 deepspeed 訓(xùn)練過程，報(bào)找不主機(jī) -
.... -
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（一） —— 流水線并行（Pipeline Parallelism）面
-
為什么需要流水線并行（Pipeline Parallelism）？
-
一、流水線并行（Pipeline Parallelism） 優(yōu)化目標(biāo)是什么？
-
二、圖解 流水線并行（Pipeline Parallelism）模型并行 必要性？
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（二） —— nn.DataParallel面
-
為什么需要nn.DataParallel？
-
一、pytorch中的GPU操作默認(rèn)是什么樣？
-
二、介紹一下 nn.DataParallel 函數(shù)？
-
三、nn.DataParallel 函數(shù) 處理邏輯 介紹一下？
-
四、nn.DataParallel 函數(shù) 常見問題及解答 有哪些？
-
4.1 多GPU計(jì)算減少了程序運(yùn)行的時(shí)間？ -
4.2 如何保存和加載多GPU訓(xùn)練模型呢？ -
.... -
-
五、nn.DataParallel 函數(shù) 參數(shù)更新方式 ？
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（三） —— nn.parallel.DistributedDataParallel
-
為什么需要 nn.parallel.DistributedDataParallel ？
-
一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？
-
二、nn.parallel.DistributedDataParallel 函數(shù) 介紹一下？
-
三、nn.parallel.DistributedDataParallel 函數(shù) 如何多卡加速訓(xùn)練？
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（四） —— torch.multiprocessing 詳細(xì)解析
-
一、torch.multiprocessing 函數(shù)介紹一下？
-
二、torch.multiprocessing 函數(shù)如何使用？
-
三、介紹一下 共享CUDA張量？
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（五） —— AMP混合精度訓(xùn)練 詳細(xì)解析
-
為什么需要 AMP混合精度訓(xùn)練？
-
一、什么是自動(dòng)混合精度訓(xùn)練(AMP)
-
二、為什么需要自動(dòng)混合精度？
-
三、混合精度訓(xùn)練的優(yōu)點(diǎn)是什么？
-
四、混合精度訓(xùn)練的缺點(diǎn)是什么？
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（六） —— Pytorch的 DeepSpeed 詳細(xì)解析
-
一、為什么需要 Deepspeed？
-
二、DeepSpeed 基本概念 介紹一下？
-
三、DeepSpeed 通信策略 介紹一下？
-
四、DeepSpeed 如何使用？
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（七）—— accelerate 分布式訓(xùn)練 詳細(xì)解析
-
一、為什么需要 accelerate 分布式訓(xùn)練？
-
二、什么是 accelerate 分布式訓(xùn)練?
-
...
-
點(diǎn)擊查看答案
圖解分布式訓(xùn)練（八）—— ZeRO 學(xué)習(xí)
-
一、什么是 3D 并行？
-
二、3D 并行 策略有哪些？
-
三、為什么需要 ZeRO？
-
...
-
點(diǎn)擊查看答案
大模型（LLMs）agent 面
-
如何給LLM注入領(lǐng)域知識(shí)？ -
...
-
點(diǎn)擊查看答案
Token及模型參數(shù)準(zhǔn)備篇
-
預(yù)訓(xùn)練數(shù)據(jù) Token 重復(fù) 是否影響 模型性能？ -
...
-
點(diǎn)擊查看答案
LLMs 位置編碼篇
-
1 什么是位置編碼？
-
2 什么是絕對(duì)位置編碼？
-
3 什么是相對(duì)位置編碼？
-
4 旋轉(zhuǎn)位置編碼 RoPE篇
-
4.1 旋轉(zhuǎn)位置編碼 RoPE 思路是什么？ -
...
-
5 長(zhǎng)度外推問題篇
-
...
-
6 ALiBi (Attention with Linear Biases)篇
-
... -
點(diǎn)擊查看答案
LLMs Tokenizer 篇
LLMs Tokenizer 篇
-
Byte-Pair Encoding(BPE)篇
-
1 Byte-Pair Encoding(BPE) 如何構(gòu)建詞典？ -
WordPiece 篇
-
1 WordPiece 與 BPE 異同點(diǎn)是什么？ -
SentencePiece 篇
-
簡(jiǎn)單介紹一下 SentencePiece 思路？ -
對(duì)比篇
-
1 舉例 介紹一下 不同 大模型LLMs 的分詞方式？ -
2 介紹一下 不同 大模型LLMs 的分詞方式 的區(qū)別？ -
點(diǎn)擊查看答案
怎么讓英文大語言模型支持中文？（一） —— 構(gòu)建中文tokenization
-
一、為什么需要 構(gòu)建中文tokenization？
-
二、如何對(duì) 原始數(shù)據(jù)預(yù)處理？
-
三、如何構(gòu)建中文的詞庫(kù)？
-
四、如何使用transformers庫(kù)加載sentencepiece模型？
-
...
-
點(diǎn)擊查看答案
怎么讓英文大語言模型支持中文？（二） —— 繼續(xù)預(yù)訓(xùn)練篇
-
一、為什么需要進(jìn)行繼續(xù)預(yù)訓(xùn)練？
-
二、如何對(duì) 繼續(xù)預(yù)訓(xùn)練 數(shù)據(jù)預(yù)處理？
-
三、如何 構(gòu)建模型？
-
四、如何 使用模型？
-
點(diǎn)擊查看答案
怎么讓英文大語言模型支持中文？（三） —— 對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào)
-
一、為什么需要對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào)？
-
二、對(duì)預(yù)訓(xùn)練模型進(jìn)行指令微調(diào) 數(shù)據(jù) 如何處理？
-
....
-
-
點(diǎn)擊查看答案
Layer normalization 篇
-
Layer normalization-方法篇
-
Deep Norm 思路？ -
寫一下 Deep Norm 代碼實(shí)現(xiàn)？ -
RMS Norm 的計(jì)算公式寫一下？ -
RMS Norm 相比于 Layer Norm 有什么特點(diǎn)？ -
Layer Norm 的計(jì)算公式寫一下？ -
...
-
Layer normalization-位置篇
-
1 LN 在 LLMs 中的不同位置 有什么區(qū)別么？如果有，能介紹一下區(qū)別么？ -
Layer normalization 對(duì)比篇
-
... -
點(diǎn)擊查看答案
LLMs 激活函數(shù)篇
-
1 介紹一下 FFN 塊 計(jì)算公式？
-
2 介紹一下 GeLU 計(jì)算公式？
-
3 介紹一下 Swish 計(jì)算公式？
-
4 介紹一下 使用 GLU 線性門控單元的 FFN 塊 計(jì)算公式？
-
5 介紹一下 使用 GeLU 的 GLU 塊 計(jì)算公式？
-
...
-
-
點(diǎn)擊查看答案
LLMs 激活函數(shù)篇
-
1 介紹一下 FFN 塊 計(jì)算公式？
-
2 介紹一下 GeLU 計(jì)算公式？
-
3 介紹一下 Swish 計(jì)算公式？
-
4 介紹一下 使用 GLU 線性門控單元的 FFN 塊 計(jì)算公式？
-
...
-
-
各LLMs 都使用哪種激活函數(shù)？
-
點(diǎn)擊查看答案
大模型（LLMs）加速篇
大模型（LLMs）加速篇
當(dāng)前優(yōu)化模型最主要技術(shù)手段有哪些？
推理加速框架有哪一些？都有什么特點(diǎn)？
-
3 vLLM 篇
-
3.1 vLLM 的 功能有哪些？ -
3.2 vLLM 的 優(yōu)點(diǎn)有哪些？ -
3.3 vLLM 的 缺點(diǎn)有哪些？ -
... -
-
4 Text generation inference 篇
-
4.1 介紹一下 Text generation inference？ -
4.2 Text generation inference 的 功能有哪些？ -
4.3 Text generation inference 的 優(yōu)點(diǎn)有哪些？ -
...
-
點(diǎn)擊查看答案
LLM（大語言模型）部署加速方法——PagedAttention篇
-
一、vLLM 用于大模型并行推理加速 存在什么問題？
-
二、vLLM 如何 優(yōu)化 大模型并行推理加速？
-
三、什么是 PagedAttention？
-
四、 PagedAttention 如何存儲(chǔ) 連續(xù)的key和value？
-
...
-
點(diǎn)擊查看答案
大模型推理加速工具 —— vLLM
-
一、引言
-
1.1 前言 -
1.2 為什么 需要 vLLM ? -
1.3 vLLM 具有哪些特點(diǎn) ? -
1.4 vLLM 支持哪些 Huggingface 模型 ? -
二、vLLM 性能如何？
-
...
-
點(diǎn)擊查看答案
LLM（大語言模型）部署加速方法——Faster Transformer篇
-
一、為什么需要 FasterTransformer？
-
二、FasterTransformer 介紹一下？
-
三、FasterTransformer 核心是什么？
-
...
-
點(diǎn)擊查看答案
純Python超輕量高性能LLM推理框架 —— LightLLM
-
一、引言
-
1.1 前言 -
1.2 為什么 需要 LightLLM ? -
1.3 目前 LLM推理框架 有 哪些? -
二、LightLLM 介紹一下？
-
2.1 什么是 LightLLM ？ -
2.2 Token Attention 介紹？ -
... -
三、LightLLM 性能表現(xiàn) 介紹？
-
...
-
-
點(diǎn)擊查看答案
Attention 升級(jí)面
-
1 傳統(tǒng) Attention 存在哪些問題？
-
2 Attention 優(yōu)化方向
-
3 Attention 變體有哪些？
-
4 Multi-Query Attention 篇
-
4.1 Multi-head Attention 存在什么問題？ -
4.2 介紹一下 Multi-Query Attention？ -
... -
5 Grouped-query Attention
-
5.1 什么是 Grouped-query Attention？ -
5.2 有哪些大模型使用 Grouped-query Attention？ -
6 ...
-
點(diǎn)擊查看答案
大模型幻覺（LLM Hallucination）面
大模型幻覺（LLM Hallucination）面
-
一、什么是大模型幻覺？
-
二、為什么LLM會(huì)產(chǎn)生幻覺？
-
三、為什么需要解決LLM的幻覺問題？
-
四、幻覺一定是有害的嗎？
-
五、幻覺有哪些不同類型？
-
六、如何度量幻覺？
-
七、如何緩解LLM幻覺？
-
7.1 通過使用外部知識(shí)驗(yàn)證主動(dòng)檢測(cè)和減輕幻覺 -
... -
-
....
-
點(diǎn)擊查看答案
大模型的幻覺問題篇
-
一、什么是 大模型幻覺問題？
-
二、為什么 會(huì) 出現(xiàn) 大模型幻覺問題？
-
...
-
-
點(diǎn)擊查看答案
大模型的幻覺問題篇
-
一、為什么 會(huì) 出現(xiàn) 大模型幻覺？
-
...
-
點(diǎn)擊查看答案
LLMs 對(duì)比篇
LLMs 對(duì)比篇
-
LLMs 訓(xùn)練數(shù)據(jù) 和 數(shù)據(jù)量 對(duì)比如何？
-
點(diǎn)擊查看答案
百川智能baichuan7B、13B、53B、baichuan2 總結(jié)篇
-
一、baichuan-7B篇
-
baichuan-7B 如何 提高 訓(xùn)練穩(wěn)定性和吞吐？ -
baichuan-7B 如何 收集原始數(shù)據(jù)并 構(gòu)建 訓(xùn)練數(shù)據(jù)？ -
你了解baichuan-7B解構(gòu)么？介紹一下？ -
二、baichuan-13B篇
-
如何 對(duì) baichuan-13B 進(jìn)行微調(diào)？ -
如何 對(duì) baichuan-13B 進(jìn)行推理和部署？ -
相比于 baichuan-7B，baichuan-13B 的 特點(diǎn)體現(xiàn)在哪里？ -
...
-
-
點(diǎn)擊查看答案
思維鏈 Chain-of-Thought（COT）篇
思維鏈 Chain-of-Thought（COT）篇
-
一、什么是思維鏈提示？
-
二、思維鏈提示本質(zhì)是什么？
-
...
思維鏈 Chain-of-Thought（COT）變體篇
-
思維鏈 Chain-of-Thought（COT）：思維鏈的啟蒙
-
...
-
思維樹 Tree of Thoughts（TOT）：一種用樹結(jié)構(gòu)解決復(fù)雜問題的方法
-
...
-
思維圖 Graph of Thoughts（GOT）：一種把思維鏈過程建模層圖結(jié)構(gòu)的方法
-
...
-
思維算法 Algorithm of Thoughts（AOT）：一種用DFS/BFS示例解決問題的方法
-
...
-
思維鏈 Chain-of-Thought（COT） 有哪些 應(yīng)用場(chǎng)景？
-
...
-
點(diǎn)擊查看答案
思維鏈 Chain-of-Thought（COT）變體篇
-
一、為什么需要 Graph RAG？
-
二、什么是 Graph RAG？
-
三、Graph RAG 思路介紹？
-
四、用代碼 介紹 Graph RAG ？
-
五、用 示例 介紹 Graph RAG ？
-
六、Graph RAG 排序優(yōu)化方式？
-
點(diǎn)擊查看答案