黄片视频链接,欧美黄色片免费看,天天做天天爱,国产三级小视频,黄色福利,www.99爱,自拍偷拍在线视频,亚洲电影一级片

!! 介紹：本項目是作者們根據個人面試和經驗總結出的大模型(LLMs)面試準備的學習筆記與資料，該資料目前包含大模型(LLMs)各領域的面試題積累。

Github 地址：https://github.com/km1994/LLMs_interview_notes

!! NLP 面無不過面試交流群 (注：人滿可添加小編wx：yzyykm666 加群！)

大模型（LLMs）基礎面

目前主流的開源模型體系有哪些？
prefix Decoder 和 causal Decoder 和 Encoder-Decoder 區(qū)別是什么？
大模型LLM的訓練目標是什么？
涌現(xiàn)能力是啥原因？
為何現(xiàn)在的大模型大部分是Decoder only結構？
簡單介紹一下大模型【LLMs】？
大模型【LLMs】后面跟的 175B、60B、540B等指什么？
大模型【LLMs】具有什么優(yōu)點？
大模型【LLMs】具有什么缺點？

點擊查看答案

大模型（LLMs）進階面

LLMs 復讀機問題

什么是 LLMs 復讀機問題？
為什么會出現(xiàn) LLMs 復讀機問題？
如何緩解 LLMs 復讀機問題？

llama 系列問題

llama 輸入句子長度理論上可以無限長嗎？

什么情況用Bert模型，什么情況用LLaMA、ChatGLM類大模型，咋選？
各個專業(yè)領域是否需要各自的大模型來服務？
如何讓大模型處理更長的文本？

點擊查看答案

大模型（LLMs）微調面

如果想要在某個模型基礎上做全參數微調，究竟需要多少顯存？
為什么SFT之后感覺LLM傻了?
SFT 指令微調數據如何構建?
領域模型Continue PreTrain 數據選取？
領域數據訓練后，通用能力往往會有所下降，如何緩解模型遺忘通用能力？
領域模型Continue PreTrain ，如何讓模型在預訓練過程中就學習到更多的知識？
進行SFT操作的時候，基座模型選用Chat還是Base?
領域模型微調指令&數據輸入格式要求？
領域模型微調領域評測集構建？
領域模型詞表擴增是不是有必要的？
如何訓練自己的大模型？
訓練中文大模型有啥經驗？
指令微調的好處？
預訓練和微調哪個階段注入知識的？
想讓模型學習某個領域或行業(yè)的知識，是應該預訓練還是應該微調？
多輪對話任務如何微調模型？
微調后的模型出現(xiàn)能力劣化，災難性遺忘是怎么回事？
微調模型需要多大顯存？
大模型LLM進行SFT操作的時候在學習什么？
預訓練和SFT操作有什么不同
樣本量規(guī)模增大，訓練出現(xiàn)OOM錯
大模型LLM進行SFT 如何對樣本進行優(yōu)化？
模型參數迭代實驗
微調大模型的一些建議

點擊查看答案

大模型（LLMs）訓練經驗帖

分布式訓練框架選擇？
LLMs 訓練時有哪些有用的建議？
模型大小如何選擇？
加速卡如何選擇？
點擊查看答案

大模型（LLMs）langchain 面

什么是 LangChain?

2.1 LangChain 中 Components and Chains 是什么？
2.2 LangChain 中 Prompt Templates and Values 是什么？
2.3 LangChain 中 Example Selectors 是什么？
2.4 LangChain 中 Output Parsers 是什么？
2.5 LangChain 中 Indexes and Retrievers 是什么？
2.6 LangChain 中 Chat Message History 是什么？
2.7 LangChain 中 Agents and Toolkits 是什么？

LangChain 包含哪些核心概念？

什么是 LangChain Agent?

如何使用 LangChain ?

LangChain 支持哪些功能?

什么是 LangChain model?

LangChain 包含哪些特點?

8.1 LangChain 如何調用 LLMs 生成回復？
8.2 LangChain 如何修改提示模板？
8.3 LangChain 如何鏈接多個組件處理一個特定的下游任務？
8.4 LangChain 如何Embedding & vector store？

LangChain 如何使用?

LangChain 存在哪些問題及方法方案？

LangChain 缺乏標準的可互操作數據類型問題

LangChain 行為不一致并且隱藏細節(jié)問題

LangChain 太多概念容易混淆，過多的“輔助”函數問題

LangChain 文檔的問題

LangChain 低效的令牌使用問題

LangChain 替代方案？
點擊查看答案

基于LLM+向量庫的文檔對話經驗面

一、基于LLM+向量庫的文檔對話基礎面

1.1 為什么大模型需要外掛(向量)知識庫？
1.2. 基于LLM+向量庫的文檔對話思路是怎么樣？
1.3. 基于LLM+向量庫的文檔對話核心技術是什么？
1.4. 基于LLM+向量庫的文檔對話 prompt 模板如何構建？

二、基于LLM+向量庫的文檔對話存在哪些痛點？
三、基于LLM+向量庫的文檔對話工程示例面
點擊查看答案

LLM文檔對話 —— pdf解析關鍵問題

一、為什么需要進行pdf解析？
二、為什么需要對 pdf 進行解析？
三、pdf解析有哪些方法，對應的區(qū)別是什么？
四、pdf解析存在哪些問題？
五、如何長文檔（書籍）中關鍵信息？
六、為什么要提取標題甚至是多級標題？
七、如何提取文章標題？
八、如何區(qū)分單欄還是雙欄pdf？如何重新排序？
九、如何提取表格和圖片中的數據？
十、基于AI的文檔解析有什么優(yōu)缺點？
點擊查看答案

基于LLM+向量庫的文檔對話經驗面

一、基于LLM+向量庫的文檔對話基礎面

1.1 為什么大模型需要外掛(向量)知識庫？
1.2. 基于LLM+向量庫的文檔對話思路是怎么樣？
1.3. 基于LLM+向量庫的文檔對話核心技術是什么？
1.4. 基于LLM+向量庫的文檔對話 prompt 模板如何構建？

二、基于LLM+向量庫的文檔對話存在哪些痛點？
三、基于LLM+向量庫的文檔對話工程示例面
點擊查看答案

大模型（LLMs）參數高效微調(PEFT) 面

微調方法是啥？如何微調？
為什么需要 PEFT？
介紹一下 PEFT？
PEFT 有什么優(yōu)點？
微調方法批處理大小模式GPU顯存速度？
Peft 和全量微調區(qū)別？
多種不同的高效微調方法對比
當前高效微調技術存在的一些問題
高效微調技術最佳實踐
PEFT 存在問題？
能不能總結一下各種參數高效微調方法？
點擊查看答案

配器微調（Adapter-tuning）篇

一、為什么需要適配器微調（Adapter-tuning）？
二、適配器微調（Adapter-tuning）思路？
三、適配器微調（Adapter-tuning）特點是什么？
四、AdapterFusion 思路是什么？
五、AdapterDrop 思路是什么？
六、AdapterDrop 特點是什么？
七、MAM Adapter 思路是什么？
八、MAM Adapter 特點是什么？
點擊查看答案

提示學習（Prompting）

一、為什么需要提示學習（Prompting）？
二、什么是提示學習（Prompting）？
三、提示學習（Prompting）有什么優(yōu)點？
四、提示學習（Prompting）有哪些方法，能不能稍微介紹一下它們間？

4.4.1 為什么需要 P-tuning v2？
4.4.2 P-tuning v2 思路是什么？
4.4.3 P-tuning v2 優(yōu)點是什么？
4.4.4 P-tuning v2 缺點是什么？
4.3.1 為什么需要 P-tuning？
4.3.2 P-tuning 思路是什么？
...

點擊查看答案

LoRA 系列篇

一、LoRA篇

1.1 什么是 LoRA？
1.2 LoRA 的思路是什么？
1.3 LoRA 的特點是什么？

二、QLoRA篇

2.1 QLoRA 的思路是怎么樣的？
2.2 QLoRA 的特點是什么？

三、AdaLoRA篇

3.1 AdaLoRA 的思路是怎么樣的？

四、LoRA權重是否可以合入原模型？
...
點擊查看答案

大模型（LLMs）推理面

為什么大模型推理時顯存漲的那么多還一直占著？

模型在gpu和cpu上推理速度如何？

推理速度上，int8和fp16比起來怎么樣？

大模型有推理能力嗎？

大模型生成時的參數怎么設置？

有哪些省內存的大語言模型訓練/微調/推理方法？

...

點擊查看答案

大模型（LLMs）預訓練面

大模型（LLMs）增量預訓練篇

為什么要增量預訓練？
進行增量預訓練需要做哪些準備工作？
增量預訓練所用訓練框架？
增量預訓練訓練流程是怎么樣？

點擊查看答案

大模型（LLMs）評測面

大模型怎么評測？
大模型的honest原則是如何實現(xiàn)的？模型如何判斷回答的知識是訓練過的已知的知識，怎么訓練這種能力？
如何衡量大模型水平？
大模型評估方法有哪些？
大模型評估工具有哪些？

點擊查看答案

大模型（LLMs）強化學習面

簡單介紹強化學習？
簡單介紹一下 RLHF？
獎勵模型需要和基礎模型一致嗎？
RLHF 在實踐過程中存在哪些不足？
...

點擊查看答案

大模型（LLMs）軟硬件配置面

建議的軟件環(huán)境是什么？
...

點擊查看答案

大模型（LLMs）訓練集面

SFT（有監(jiān)督微調）的數據集格式？
RM（獎勵模型）的數據格式？
...

點擊查看答案

大模型（LLMs）顯存問題面

大模型大概有多大，模型文件有多大?
能否用4 * v100 32G訓練vicuna 65b？
如果就是想要試試65b模型，但是顯存不多怎么辦？
nB模型推理需要多少顯存？
nB模型訓練需要多少顯存？
如何估算模型所需的RAM？
如何評估你的顯卡利用率?
測試你的顯卡利用率實現(xiàn)細節(jié)篇

點擊查看答案

大模型（LLMs）分布式訓練面

理論篇

1.1 訓練大語言模型存在問題？
1.2 什么是點對點通信？
1.3 什么是集體通信？
1.4 什么是數據并行？
1.5 數據并行如何提升效率？
1.6 什么是流水線并行？
...

2. 實踐篇

2.1 假如有超多的8卡A100節(jié)點（DGX A100），如何應用3D并行策略？
2.2 如果想構這樣一個大規(guī)模并行訓練系統(tǒng)，訓練框架如何選？

...

點擊查看答案

圖解分布式訓練（一） —— 流水線并行（Pipeline Parallelism）面

為什么需要流水線并行（Pipeline Parallelism）？
一、流水線并行（Pipeline Parallelism）優(yōu)化目標是什么？
二、圖解流水線并行（Pipeline Parallelism）模型并行必要性？
...
點擊查看答案

圖解分布式訓練（二） —— nn.DataParallel面

為什么需要nn.DataParallel？
一、pytorch中的GPU操作默認是什么樣？
二、介紹一下 nn.DataParallel 函數？
三、nn.DataParallel 函數處理邏輯介紹一下？
四、nn.DataParallel 函數常見問題及解答有哪些？

五、nn.DataParallel 函數參數更新方式？
六、nn.DataParallel 函數優(yōu)點介紹一下？
...
點擊查看答案

圖解分布式訓練（三） —— nn.parallel.DistributedDataParallel

為什么需要 nn.parallel.DistributedDataParallel ？
一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？
二、nn.parallel.DistributedDataParallel 函數介紹一下？
...
點擊查看答案

圖解分布式訓練（四） —— torch.multiprocessing 詳細解析

一、torch.multiprocessing 函數介紹一下？
二、torch.multiprocessing 函數如何使用？
三、介紹一下共享CUDA張量？
...
點擊查看答案

圖解分布式訓練（五） —— AMP混合精度訓練詳細解析

為什么需要 AMP混合精度訓練？
一、什么是自動混合精度訓練(AMP)
二、為什么需要自動混合精度？
三、混合精度訓練的優(yōu)點是什么？
...
點擊查看答案

圖解分布式訓練（六） —— Pytorch的 DeepSpeed 詳細解析

一、為什么需要 Deepspeed？
二、DeepSpeed 基本概念介紹一下？
三、DeepSpeed 通信策略介紹一下？
...
點擊查看答案

圖解分布式訓練（七）—— accelerate 分布式訓練詳細解析

一、為什么需要 accelerate 分布式訓練？
二、什么是 accelerate 分布式訓練?
...
點擊查看答案

圖解分布式訓練（八）—— ZeRO 學習

一、什么是 3D 并行？
二、3D 并行策略有哪些？
三、為什么需要 ZeRO？
...
點擊查看答案

大模型（LLMs）agent 面

如何給LLM注入領域知識？
...
點擊查看答案

Token及模型參數準備篇

預訓練數據 Token 重復是否影響模型性能？
...

點擊查看答案

LLMs 位置編碼篇

1 什么是位置編碼？
2 什么是絕對位置編碼？
3 什么是相對位置編碼？
4 旋轉位置編碼 RoPE篇

...

點擊查看答案

LLMs Tokenizer 篇

Byte-Pair Encoding(BPE)篇

1 Byte-Pair Encoding(BPE) 如何構建詞典？

WordPiece 篇

點擊查看答案

怎么讓英文大語言模型支持中文？（一） —— 構建中文tokenization

一、為什么需要構建中文tokenization？
二、如何對原始數據預處理？
三、如何構建中文的詞庫？
...
點擊查看答案

怎么讓英文大語言模型支持中文？（二） —— 繼續(xù)預訓練篇

一、為什么需要進行繼續(xù)預訓練？
二、如何對繼續(xù)預訓練數據預處理？
...
點擊查看答案

怎么讓英文大語言模型支持中文？（三） —— 對預訓練模型進行指令微調

一、為什么需要對預訓練模型進行指令微調？
二、對預訓練模型進行指令微調數據如何處理？
三、對預訓練模型進行指令微調 tokenization 如何構建？
...
點擊查看答案

Layer normalization 篇

Layer normalization-方法篇

Deep Norm 思路？
寫一下 Deep Norm 代碼實現(xiàn)？
RMS Norm 的計算公式寫一下？
RMS Norm 相比于 Layer Norm 有什么特點？
...

Layer normalization-位置篇

1 LN 在 LLMs 中的不同位置有什么區(qū)別么？如果有，能介紹一下區(qū)別么？

Layer normalization 對比篇

LLMs 各模型分別用了哪種 Layer normalization？

點擊查看答案

LLMs 激活函數篇

1 介紹一下 FFN 塊計算公式？
2 介紹一下 GeLU 計算公式？
3 介紹一下 Swish 計算公式？
...
點擊查看答案

LLMs 激活函數篇

1 介紹一下 FFN 塊計算公式？
2 介紹一下 GeLU 計算公式？
3 介紹一下 Swish 計算公式？
...
點擊查看答案

大模型（LLMs）加速篇

當前優(yōu)化模型最主要技術手段有哪些？推理加速框架有哪一些？都有什么特點？
3 vLLM 篇

3.1 vLLM 的功能有哪些？
3.2 vLLM 的優(yōu)點有哪些？
3.3 vLLM 的缺點有哪些？
3.4 vLLM 離線批量推理？
3.5 vLLM API Server？

4 Text generation inference 篇

4.1 介紹一下 Text generation inference？
4.2 Text generation inference 的功能有哪些？
...

點擊查看答案

LLM（大語言模型）部署加速方法——PagedAttention篇

一、vLLM 用于大模型并行推理加速存在什么問題？
二、vLLM 如何優(yōu)化大模型并行推理加速？
三、什么是 PagedAttention？
...
點擊查看答案

大模型推理加速工具 —— vLLM

一、引言

1.1 前言
1.2 為什么需要 vLLM ?
1.3 vLLM 具有哪些特點 ?
1.4 vLLM 支持哪些 Huggingface 模型 ?

二、vLLM 性能如何？
三、vLLM 依賴包
...
點擊查看答案

LLM（大語言模型）部署加速方法——Faster Transformer篇

一、為什么需要 FasterTransformer？
二、FasterTransformer 介紹一下？
三、FasterTransformer 核心是什么？
...
點擊查看答案

純Python超輕量高性能LLM推理框架 —— LightLLM

一、引言

1.1 前言
1.2 為什么需要 LightLLM ?
1.3 目前 LLM推理框架有哪些?

...
點擊查看答案

Attention 升級面

1 傳統(tǒng) Attention 存在哪些問題？
2 Attention 優(yōu)化方向
3 Attention 變體有哪些？
...
點擊查看答案

大模型幻覺（LLM Hallucination）面

一、什么是大模型幻覺？
二、為什么LLM會產生幻覺？
三、為什么需要解決LLM的幻覺問題？
四、幻覺一定是有害的嗎？
...
點擊查看答案

大模型的幻覺問題篇

一、什么是大模型幻覺問題？
二、為什么會出現(xiàn) 大模型幻覺問題？
...
點擊查看答案

大模型的幻覺問題篇

一、為什么會出現(xiàn) 大模型幻覺？
...
點擊查看答案

LLMs 對比篇

LLMs 訓練數據和數據量對比如何？
...
點擊查看答案

百川智能baichuan7B、13B、53B、baichuan2 總結篇

一、baichuan-7B篇

baichuan-7B 如何提高訓練穩(wěn)定性和吞吐？

baichuan-7B 如何收集原始數據并構建訓練數據？

你了解baichuan-7B解構么？介紹一下？

二、baichuan-13B篇

如何對 baichuan-13B 進行微調？

如何對 baichuan-13B 進行推理和部署？

相比于 baichuan-7B，baichuan-13B 的特點體現(xiàn)在哪里？

...
點擊查看答案

思維鏈 Chain-of-Thought（COT）篇

一、什么是思維鏈提示？
二、思維鏈提示本質是什么？
三、思維鏈提示與標準的提示學習方法有什么不同?
...
點擊查看答案

思維鏈 Chain-of-Thought（COT）變體篇

思維鏈 Chain-of-Thought（COT）：思維鏈的啟蒙

思維鏈 Chain-of-Thought（COT）存在問題？
..

思維樹 Tree of Thoughts（TOT）：一種用樹結構解決復雜問題的方法

思維樹 Tree of Thoughts（TOT）涉及問題有哪些？
...

思維圖 Graph of Thoughts（GOT）：一種把思維鏈過程建模層圖結構的方法

思維圖 Graph of Thoughts（GOT）核心思想是什么？
...

...
點擊查看答案

思維鏈 Chain-of-Thought（COT）變體篇

一、為什么需要 Graph RAG？
二、什么是 Graph RAG？
...
點擊查看答案

LLMs 千面郎君 更新版

大模型（LLMs）基礎面

大模型（LLMs）進階面

大模型（LLMs）微調面

大模型（LLMs）微調面

大模型（LLMs）訓練經驗帖

大模型（LLMs）langchain 面

大模型（LLMs）langchain 面

基于LLM+向量庫的文檔對話 經驗面

LLM文檔對話 —— pdf解析關鍵問題

基于LLM+向量庫的文檔對話 經驗面

大模型（LLMs）參數高效微調(PEFT) 面

大模型（LLMs）參數高效微調(PEFT) 面

配器微調（Adapter-tuning）篇

提示學習（Prompting）

LoRA 系列篇

大模型（LLMs）推理面

大模型（LLMs）推理面

大模型（LLMs）預訓練面

大模型（LLMs）增量預訓練篇

大模型（LLMs）評測面

大模型（LLMs）強化學習面

大模型（LLMs）軟硬件配置面

大模型（LLMs）訓練集面

大模型（LLMs）顯存問題面

大模型（LLMs）分布式訓練面

大模型（LLMs）分布式訓練面

圖解分布式訓練（一） —— 流水線并行（Pipeline Parallelism）面

圖解分布式訓練（二） —— nn.DataParallel面

圖解分布式訓練（三） —— nn.parallel.DistributedDataParallel

圖解分布式訓練（四） —— torch.multiprocessing 詳細解析

圖解分布式訓練（五） —— AMP混合精度訓練 詳細解析

圖解分布式訓練（六） —— Pytorch的 DeepSpeed 詳細解析

圖解分布式訓練（七）—— accelerate 分布式訓練 詳細解析

圖解分布式訓練（八）—— ZeRO 學習

大模型（LLMs）agent 面

Token及模型參數準備篇

LLMs 位置編碼篇

LLMs Tokenizer 篇

LLMs Tokenizer 篇

怎么讓英文大語言模型支持中文？（一） —— 構建中文tokenization

怎么讓英文大語言模型支持中文？（二） —— 繼續(xù)預訓練篇

怎么讓英文大語言模型支持中文？（三） —— 對預訓練模型進行指令微調

Layer normalization 篇

LLMs 激活函數篇

LLMs 激活函數篇

大模型（LLMs）加速篇

大模型（LLMs）加速篇

LLM（大語言模型）部署加速方法——PagedAttention篇

大模型推理加速工具 —— vLLM

LLM（大語言模型）部署加速方法——Faster Transformer篇

純Python超輕量高性能LLM推理框架 —— LightLLM

Attention 升級面

大模型幻覺（LLM Hallucination）面

大模型幻覺（LLM Hallucination）面

大模型的幻覺問題篇

大模型的幻覺問題篇

LLMs 對比篇

LLMs 對比篇

百川智能baichuan7B、13B、53B、baichuan2 總結篇

思維鏈 Chain-of-Thought（COT）篇

思維鏈 Chain-of-Thought（COT）篇

思維鏈 Chain-of-Thought（COT）變體篇

思維鏈 Chain-of-Thought（COT）變體篇

LLMs 千面郎君更新版

基于LLM+向量庫的文檔對話經驗面

基于LLM+向量庫的文檔對話經驗面

圖解分布式訓練（五） —— AMP混合精度訓練詳細解析

圖解分布式訓練（七）—— accelerate 分布式訓練詳細解析