LLMs九層妖塔
【LLMs九層妖塔】分享 LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝 Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態(tài)等領(lǐng)域（Stable Diffusion、MiniGPT-4、VisualGLM-6B、Ziya-Visual等）等 實戰(zhàn)與經(jīng)驗。
Github 地址：https://github.com/km1994/LLMsNineStoryDemonTower
!! LLMs九層妖塔 交流群 (注：人滿 可 添加 小編wx：yzyykm666 加群！)
第一層 LLMs to Natural Language Processing (NLP)
第一重 ChatGLM-6B 系列
ChatGLM-6B
【ChatGLM-6B入門-一】清華大學(xué)開源中文版ChatGLM-6B模型學(xué)習(xí)與實戰(zhàn)
介紹：ChatGLM-6B 環(huán)境配置 和 部署
【ChatGLM-6B入門-二】清華大學(xué)開源中文版ChatGLM-6B模型微調(diào)實戰(zhàn)
ChatGLM-6B P-Tuning V2 微調(diào)：Fine-tuning the prefix encoder of the model.
【ChatGLM-6B入門-三】ChatGLM 特定任務(wù)微調(diào)實戰(zhàn)
【ChatGLM-6B入門-四】ChatGLM + LoRA 進行finetune
介紹：ChatGLM-6B LoRA 微調(diào)：Fine-tuning the low-rank adapters of the model.
ChatGLM-6B 小編填坑記
介紹：ChatGLM-6B 在 部署和微調(diào) 過程中 會遇到很多坑，小編掉坑了很多次，為防止 后人和小編一樣繼續(xù)掉坑，小編索性把遇到的坑都填了。
【LLMs學(xué)習(xí)】關(guān)于大模型實踐的一些總結(jié)
【LLMs 入門實戰(zhàn) —— 十一 】基于 ??PEFT 的高效 ??ChatGLM-6B 微調(diào)
ChatGLM-6B Freeze 微調(diào)：Fine-tuning the MLPs in the last n blocks of the model.
ChatGLM-6B P-Tuning V2 微調(diào)：Fine-tuning the prefix encoder of the model.
ChatGLM-6B LoRA 微調(diào)：Fine-tuning the low-rank adapters of the model.
微調(diào)方式：
【LLMs 入門實戰(zhàn)】基于 ??QLoRA 的高效 ??ChatGLM-6B 微調(diào)
介紹：本項目使用 https://github.com/huggingface/peft 庫，實現(xiàn)了 ChatGLM-6B 模型4bit的 QLoRA 高效微調(diào)，可以在一張RTX3060上完成全部微調(diào)過程。
【LLMs 入門實戰(zhàn) 】??ChatGLM-6B 模型結(jié)構(gòu)代碼解析
介紹：ChatGLM-6B 模型結(jié)構(gòu)代碼解析
ChatGLM2-6B
【ChatGLM2-6B入門】清華大學(xué)開源中文版ChatGLM-6B模型學(xué)習(xí)與實戰(zhàn)
更強大的性能：基于 ChatGLM 初代模型的開發(fā)經(jīng)驗，我們?nèi)嫔壛?ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目標函數(shù)，經(jīng)過了 1.4T 中英標識符的預(yù)訓(xùn)練與人類偏好對齊訓(xùn)練，評測結(jié)果顯示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等數(shù)據(jù)集上的性能取得了大幅度的提升，在同尺寸開源模型中具有較強的競爭力。
更長的上下文：基于 FlashAttention 技術(shù)，我們將基座模型的上下文長度（Context Length）由 ChatGLM-6B 的 2K 擴展到了 32K，并在對話階段使用 8K 的上下文長度訓(xùn)練，允許更多輪次的對話。但當前版本的 ChatGLM2-6B 對單輪超長文檔的理解能力有限，我們會在后續(xù)迭代升級中著重進行優(yōu)化。
更高效的推理：基于 Multi-Query Attention 技術(shù)，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用：在官方的模型實現(xiàn)下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對話長度由 1K 提升到了 8K。
更開放的協(xié)議：ChatGLM2-6B 權(quán)重對學(xué)術(shù)研究完全開放，在獲得官方的書面許可后，亦允許商業(yè)使用。如果您發(fā)現(xiàn)我們的開源模型對您的業(yè)務(wù)有用，我們歡迎您對下一代模型 ChatGLM3 研發(fā)的捐贈。
論文名稱：ChatGLM2-6B: An Open Bilingual Chat LLM | 開源雙語對話語言模型
論文地址：
Github 代碼：https://github.com/THUDM/ChatGLM2-6B
動機：在主要評估LLM模型中文能力的 C-Eval 榜單中，截至6月25日 ChatGLM2 模型以 71.1 的分數(shù)位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分數(shù)位居 Rank 6，是榜單上排名最高的開源模型。
介紹：ChatGLM2-6B 是開源中英雙語對話模型 ChatGLM-6B 的第二代版本，在保留了初代模型對話流暢、部署門檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，ChatGLM2-6B 引入了如下新特性：
【關(guān)于 ChatGLM2 + LoRA 進行finetune 】那些你不知道的事
論文名稱：ChatGLM2-6B: An Open Bilingual Chat LLM | 開源雙語對話語言模型
論文地址：
Github 代碼：https://github.com/THUDM/ChatGLM2-6B
介紹：本教程主要介紹對于 ChatGLM2-6B 模型基于 LoRA 進行finetune。
【LLMs 入門實戰(zhàn) 】基于 ??PEFT 的高效 ??ChatGLM2-6B 微調(diào)
ChatGLM2-6B Freeze 微調(diào)：Fine-tuning the MLPs in the last n blocks of the model.
ChatGLM2-6B P-Tuning V2 微調(diào)：Fine-tuning the prefix encoder of the model.
ChatGLM2-6B LoRA 微調(diào)：Fine-tuning the low-rank adapters of the model.
微調(diào)方式：
【LLMs 入門實戰(zhàn)】基于 ??QLoRA 的高效 ??ChatGLM2-6B 微調(diào)
介紹：本項目使用 https://github.com/huggingface/peft 庫，實現(xiàn)了 ChatGLM2-6B 模型4bit的 QLoRA 高效微調(diào)，可以在一張RTX3060上完成全部微調(diào)過程。
第十一重 Llama2
【LLMs 入門實戰(zhàn)】 Llama2 模型學(xué)習(xí)與實戰(zhàn)
官網(wǎng)：https://ai.meta.com/llama/
論文名稱：《Llama 2: Open Foundation and Fine-Tuned Chat Models》
論文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
演示平臺：https://llama2.ai/
Github 代碼：https://github.com/facebookresearch/llama
模型下載地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
介紹：此次 Meta 發(fā)布的 Llama 2 模型系列包含 70 億、130 億和 700 億三種參數(shù)變體。此外還訓(xùn)練了 340 億參數(shù)變體，但并沒有發(fā)布，只在技術(shù)報告中提到了。據(jù)介紹，相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長度也翻倍，并采用了分組查詢注意力機制。具體來說，Llama 2 預(yù)訓(xùn)練模型是在 2 萬億的 token 上訓(xùn)練的，精調(diào) Chat 模型是在 100 萬人類標記數(shù)據(jù)上訓(xùn)練的。
【LLMs 入門實戰(zhàn)】Chinese-Llama-2-7b 模型學(xué)習(xí)與實戰(zhàn)
https://huggingface.co/ziqingyang/chinese-llama-2-7b
https://huggingface.co/LinkSoul/Chinese-Llama-2-7b-4bit
官網(wǎng)：https://ai.meta.com/llama/
論文名稱：《Llama 2: Open Foundation and Fine-Tuned Chat Models》
論文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
演示平臺：https://huggingface.co/spaces/LinkSoul/Chinese-Llama-2-7b
Github 代碼：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
模型下載地址：
介紹：自打 LLama-2 發(fā)布后就一直在等大佬們發(fā)布 LLama-2 的適配中文版，也是這幾天蹲到了一版由 LinkSoul 發(fā)布的 Chinese-Llama-2-7b，其共發(fā)布了一個常規(guī)版本和一個 4-bit 的量化版本，今天我們主要體驗下 Llama-2 的中文邏輯順便看下其訓(xùn)練樣本的樣式，后續(xù)有機會把訓(xùn)練和微調(diào)跑起來。
第十重 Baichuan
Baichuan-13B
【LLMs 入門實戰(zhàn) 】 Baichuan-13B 模型學(xué)習(xí)與實戰(zhàn)
更大尺寸、更多數(shù)據(jù)：Baichuan-13B 在 Baichuan-7B 的基礎(chǔ)上進一步擴大參數(shù)量到 130 億，并且在高質(zhì)量的語料上訓(xùn)練了 1.4 萬億 tokens，超過 LLaMA-13B 40%，是當前開源 13B 尺寸下訓(xùn)練數(shù)據(jù)量最多的模型。支持中英雙語，使用 ALiBi 位置編碼，上下文窗口長度為 4096。
同時開源預(yù)訓(xùn)練和對齊模型：預(yù)訓(xùn)練模型是適用開發(fā)者的“基座”，而廣大普通用戶對有對話功能的對齊模型具有更強的需求。因此本次開源同時發(fā)布了對齊模型（Baichuan-13B-Chat），具有很強的對話能力，開箱即用，幾行代碼即可簡單的部署。
更高效的推理：為了支持更廣大用戶的使用，本次同時開源了 int8 和 int4 的量化版本，相對非量化版本在幾乎沒有效果損失的情況下大大降低了部署的機器資源門檻，可以部署在如 Nvidia 3090 這樣的消費級顯卡上。
開源免費可商用：Baichuan-13B 不僅對學(xué)術(shù)研究完全開放，開發(fā)者也僅需郵件申請并獲得官方商用許可后，即可以免費商用。
官方微調(diào)過（指令對齊）:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
預(yù)訓(xùn)練大模型（未經(jīng)過微調(diào)）:https://huggingface.co/baichuan-inc/Baichuan-13B-Base
baichuan-inc/Baichuan-13B：https://github.com/baichuan-inc/Baichuan-13B
Baichuan-13B 大模型：
介紹：Baichuan-13B 是由百川智能繼 Baichuan-7B 之后開發(fā)的包含 130 億參數(shù)的開源可商用的大規(guī)模語言模型，在權(quán)威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下幾個特點：
baichuan-7B
【LLMs 入門實戰(zhàn) 】 baichuan-7B 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼： https://github.com/baichuan-inc/baichuan-7B
模型：
介紹：由百川智能開發(fā)的一個開源可商用的大規(guī)模預(yù)訓(xùn)練語言模型。基于Transformer結(jié)構(gòu)，在大約1.2萬億tokens上訓(xùn)練的70億參數(shù)模型，支持中英雙語，上下文窗口長度為4096。在標準的中文和英文權(quán)威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
第二重 Stanford Alpaca 7B
【LLMs 入門實戰(zhàn) —— 五 】Stanford Alpaca 7B 模型學(xué)習(xí)與實戰(zhàn)
介紹：本教程提供了對LLaMA模型進行微調(diào)的廉價親民 LLMs 學(xué)習(xí)和微調(diào) 方式，主要介紹對于 Stanford Alpaca 7B 模型在特定任務(wù)上 的 微調(diào)實驗，所用的數(shù)據(jù)為OpenAI提供的GPT模型API生成質(zhì)量較高的指令數(shù)據(jù)（僅52k）。
第三重 Chinese-LLaMA-Alpaca
【LLMs 入門實戰(zhàn) —— 六 】Chinese-LLaMA-Alpaca 模型學(xué)習(xí)與實戰(zhàn)
介紹：本教程主要介紹了 Chinese-ChatLLaMA,提供中文對話模型 ChatLLama 、中文基礎(chǔ)模型 LLaMA-zh 及其訓(xùn)練數(shù)據(jù)。 模型基于 TencentPretrain 多模態(tài)預(yù)訓(xùn)練框架構(gòu)建
第四重 小羊駝 Vicuna
【LLMs 入門實戰(zhàn) —— 七 】小羊駝 Vicuna模型學(xué)習(xí)與實戰(zhàn)
介紹：UC伯克利學(xué)者聯(lián)手CMU、斯坦福等，再次推出一個全新模型70億/130億參數(shù)的Vicuna，俗稱「小羊駝」（駱馬）。小羊駝號稱能達到GPT-4的90%性能
第五重 MOSS
【LLMs 入門實戰(zhàn) —— 十三 】MOSS 模型學(xué)習(xí)與實戰(zhàn)
介紹：MOSS是一個支持中英雙語和多種插件的開源對話語言模型，moss-moon系列模型具有160億參數(shù)，在FP16精度下可在單張A100/A800或兩張3090顯卡運行，在INT4/8精度下可在單張3090顯卡運行。MOSS基座語言模型在約七千億中英文以及代碼單詞上預(yù)訓(xùn)練得到，后續(xù)經(jīng)過對話指令微調(diào)、插件增強學(xué)習(xí)和人類偏好訓(xùn)練具備多輪對話能力及使用多種插件的能力。
局限性：由于模型參數(shù)量較小和自回歸生成范式，MOSS仍然可能生成包含事實性錯誤的誤導(dǎo)性回復(fù)或包含偏見/歧視的有害內(nèi)容，請謹慎鑒別和使用MOSS生成的內(nèi)容，請勿將MOSS生成的有害內(nèi)容傳播至互聯(lián)網(wǎng)。若產(chǎn)生不良后果，由傳播者自負。
第六重 BLOOMz
【LLMs 入門實戰(zhàn) —— 十四 】 BLOOMz 模型學(xué)習(xí)與實戰(zhàn)
介紹：大型語言模型（LLMs）已被證明能夠根據(jù)一些演示或自然語言指令執(zhí)行新的任務(wù)。雖然這些能力已經(jīng)導(dǎo)致了廣泛的采用，但大多數(shù)LLM是由資源豐富的組織開發(fā)的，而且經(jīng)常不對公眾開放。作為使這一強大技術(shù)民主化的一步，我們提出了BLOOM，一個176B參數(shù)的開放性語言模型，它的設(shè)計和建立要感謝數(shù)百名研究人員的合作。BLOOM是一個僅有解碼器的Transformer語言模型，它是在ROOTS語料庫上訓(xùn)練出來的，該數(shù)據(jù)集包括46種自然語言和13種編程語言（共59種）的數(shù)百個來源。我們發(fā)現(xiàn)，BLOOM在各種基準上取得了有競爭力的性能，在經(jīng)歷了多任務(wù)提示的微調(diào)后，其結(jié)果更加強大。
模型地址：https://huggingface.co/bigscience/bloomz
第七重 BELLE
【LLMs 入門實戰(zhàn) —— 十五 】 BELLE 模型學(xué)習(xí)與實戰(zhàn)
介紹：相比如何做好大語言模型的預(yù)訓(xùn)練，BELLE更關(guān)注如何在開源預(yù)訓(xùn)練大語言模型的基礎(chǔ)上，幫助每一個人都能夠得到一個屬于自己的、效果盡可能好的具有指令表現(xiàn)能力的語言模型，降低大語言模型、特別是中文大語言模型的研究和應(yīng)用門檻。為此，BELLE項目會持續(xù)開放指令訓(xùn)練數(shù)據(jù)、相關(guān)模型、訓(xùn)練代碼、應(yīng)用場景等，也會持續(xù)評估不同訓(xùn)練數(shù)據(jù)、訓(xùn)練算法等對模型表現(xiàn)的影響。BELLE針對中文做了優(yōu)化，模型調(diào)優(yōu)僅使用由ChatGPT生產(chǎn)的數(shù)據(jù)（不包含任何其他數(shù)據(jù)）。
github 地址: https://github.com/LianjiaTech/BELLE
第八重 ChatRWKV
【LLMs 入門實戰(zhàn) —— 十八 】 ChatRWKV 模型學(xué)習(xí)與實戰(zhàn)
Raven 模型：適合直接聊天，適合 +i 指令。有很多種語言的版本，看清楚用哪個。適合聊天、完成任務(wù)、寫代碼。可以作為任務(wù)去寫文稿、大綱、故事、詩歌等等，但文筆不如 testNovel 系列模型。
Novel-ChnEng 模型：中英文小說模型，可以用 +gen 生成世界設(shè)定（如果會寫 prompt，可以控制下文劇情和人物），可以寫科幻奇幻。不適合聊天，不適合 +i 指令。
Novel-Chn 模型：純中文網(wǎng)文模型，只能用 +gen 續(xù)寫網(wǎng)文（不能生成世界設(shè)定等等），但是寫網(wǎng)文寫得更好（也更小白文，適合寫男頻女頻）。不適合聊天，不適合 +i 指令。
Novel-ChnEng-ChnPro 模型：將 Novel-ChnEng 在高質(zhì)量作品微調(diào)（名著，科幻，奇幻，古典，翻譯，等等）。
目前 RWKV 有大量模型，對應(yīng)各種場景，各種語言，請選擇合適的模型：
github: https://github.com/BlinkDL/ChatRWKV
模型文件：https://huggingface.co/BlinkDL
第九重 ChatGPT
《ChatGPT Prompt Engineering for Developers》 學(xué)習(xí) 之 如何 編寫 Prompt？
第一個方面：編寫清晰、具體的指令
第二個方面：給模型些時間思考
吳恩達老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》
動機：吳恩達老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》課程
介紹：如何編寫 Prompt:
《ChatGPT Prompt Engineering for Developers》 學(xué)習(xí) 之 如何 優(yōu)化 Prompt？
吳恩達老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》
動機：吳恩達老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》課程
介紹：優(yōu)化編寫好 Prompt
《ChatGPT Prompt Engineering for Developers》 學(xué)習(xí) 之 如何使用 Prompt 處理 NLP特定任務(wù)？
吳恩達老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》
動機：吳恩達老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》課程
介紹：如何構(gòu)建ChatGPT Prompt以處理文本摘要、推斷和轉(zhuǎn)換(翻譯、糾錯、風格轉(zhuǎn)換、格式轉(zhuǎn)換等)這些常見的NLP任務(wù)
第九層 LLMs to interview
LLMs 降龍十八掌
為什么 LLMs 不容易出現(xiàn) 災(zāi)難性遺忘問題？
LLMs to NLP 下游任務(wù) 經(jīng)驗貼
訓(xùn)練數(shù)據(jù)如何構(gòu)建？
如何 融入 之前對話信息
如果只跑一個私有大模型，但是很多用戶同時訪問。這些針對不同用戶的chat history怎么存取比較高效？
chatglm微調(diào)完針對相同的問題輸出都是一樣的，有辦法讓他隨機一點嗎？
使用fastllm加速推理
如何解決大模型遺忘問題#ChatGPT# #LLM (大型語言模型)
Fine-Tuning max_length 選擇 問題
Fine-Tuning Learning rate 選擇 問題
如何 向GPT/LLM模型添加額外知識？
如何解決LLM大模型fine-tune過擬合問題？
英文模型需要做詞表擴充嗎？
全參finetune，數(shù)據(jù)配比?
百川13b強化學(xué)習(xí)時遇到參數(shù)不更新的問題?
使用lion優(yōu)化器節(jié)省顯存?
使用lora訓(xùn)練的參數(shù)配置?
...
LLMs Fine-Tuning 經(jīng)驗貼
LLMs 推理 經(jīng)驗貼
LLMs 部署 經(jīng)驗貼
LLMs 多輪對話 經(jīng)驗貼
數(shù)據(jù)構(gòu)建篇
LLMs 胡思亂想
【LLMs】大模型 千面郎君
大模型【LLMs】提示工程 是什么？
提示工程 如何添加進 大模型【LLMs】？
微調(diào)（FineTuning） vs 提示工程？
微調(diào)（FineTuning） vs 提示工程 在應(yīng)用場景中關(guān)系雨聯(lián)系？
大模型【LLMs】Few-shot提示方法 是什么？
大模型【LLMs】中有一種 涌現(xiàn)現(xiàn)象，你知道么？
大模型【LLMs】涌現(xiàn)現(xiàn)象主要體現(xiàn)在哪些方面？
大模型【LLMs】涌現(xiàn)現(xiàn)象主激活方式？
大模型【LLMs】思維鏈問題？
大模型【LLMs】思維鏈本質(zhì)是什么？
大模型【LLMs】思維鏈優(yōu)點是什么？
大模型【LLMs】思維鏈類型和策略？
大模型【LLMs】逐步Zero-shot 介紹？
大模型【LLMs】Zero-shot-CoT提示策略定義？
大模型【LLMs】Zero-shot-CoT提示策略應(yīng)用方法？
大模型【LLMs】Few-shot-CoT提示策略定義？
大模型【LLMs】Few-shot-CoT提示策略核心思想是什么？
大模型【LLMs】Few-shot-CoT提示策略應(yīng)用方法是什么？
大模型【LLMs】泛化問題？
大模型【LLMs】微調(diào)問題？
大模型【LLMs】微調(diào)有哪些優(yōu)點？
大模型【LLMs】指令微調(diào)問題？
簡單介紹強化學(xué)習(xí)？
簡單介紹一下 RLHF？
簡單 介紹一下 大模型【LLMs】？
大模型【LLMs】后面跟的 175B、60B、540B等 指什么？
大模型【LLMs】具有什么優(yōu)點？
大模型【LLMs】具有什么缺點？
大模型常識面
大模型強化學(xué)習(xí)面
大模型【LLMs】微調(diào)篇
大模型【LLMs】思維鏈篇
大模型【LLMs】涌現(xiàn)現(xiàn)象篇
大模型【LLMs】提示工程篇
大模型的重復(fù)生成現(xiàn)象如何緩解？
為何會出現(xiàn)重復(fù)生成現(xiàn)象？
如何減少大模型重復(fù)生成？
LoRA這種微調(diào)方法和全參數(shù)比起來有什么劣勢嗎？
什么是 LoRA？
LoRA 優(yōu)點是什么？
LoRA 缺點是什么？
LoRA這種微調(diào)方法和全參數(shù)比起來有什么劣勢嗎？
LoRA這種微調(diào)方法和全參數(shù) 如何選擇？
LLaMa-1 從原理到實踐分析
LLaMa-1 理論介紹
LLaMa 模型架構(gòu)介紹
LLaMa 優(yōu)化器介紹
LLaMa-1 實踐介紹
LLaMa-2 從原理到實踐分析
LLaMa-2 理論介紹
LLaMa-2 實踐介紹
基于PyTorch來優(yōu)化大模型訓(xùn)練的內(nèi)存（顯存）
為什么需要 使用梯度累積創(chuàng)建微批次（Using Gradient Accumulation to Create Microbatches）？
什么是 使用梯度累積創(chuàng)建微批次（Using Gradient Accumulation to Create Microbatches）？
...
為什么需要 降低訓(xùn)練批處理大小（Reducing the Batchsize）？
什么是 降低訓(xùn)練批處理大小（Reducing the Batchsize）？
...
為什么需要 低精度訓(xùn)練（Lower-Precision Training）？
什么是 低精度訓(xùn)練（Lower-Precision Training）？
...
為什么需要 混合精度訓(xùn)練（Mixed-Precision Training）？
什么是 混合精度訓(xùn)練（Mixed-Precision Training）？
混合精度訓(xùn)練（Mixed-Precision Training）實現(xiàn)步驟？
...
LLMs Fine-Tuning 框架依賴問題？
LLMs Fine-Tuning 顯存問題？
如何解決大模型遺忘問題#ChatGPT# #LLM (大型語言模型)？
...
動機：峰值內(nèi)存（顯存）的消耗直接決定了 機器 是否 支撐大模型訓(xùn)練
LLMs Fine-Tuning 經(jīng)驗貼
混合精度訓(xùn)練（Mixed-Precision Training）
低精度訓(xùn)練（Lower-Precision Training）
降低訓(xùn)練批處理大小（Reducing the Batchsize）
使用梯度累積創(chuàng)建微批次（Using Gradient Accumulation to Create Microbatches）
如何緩解大模型幻覺？
為什么 會 出現(xiàn) 大模型幻覺？
如何 緩解 大模型幻覺？
第八層 LLMs to Inference acceleration
LLM（大語言模型）部署加速方法——PagedAttention
什么是 PagedAttention？
PagedAttention 如何存儲 連續(xù)的key和value？
PagedAttention 技術(shù)細節(jié)？
PagedAttention 如何 實現(xiàn)安全共享？
PagedAttention 源碼介紹？
LLM（大語言模型）部署加速方法——Faster Transformer
為什么需要 Faster Transformer？
什么是 FasterTransformer？
FasterTransformer 核心？
FasterTransformer 優(yōu)化？
純Python超輕量高性能LLM推理框架 —— LightLLM
TGI由于顯存碎片化嚴重，所以很難達到較高的吞吐量；
vLLM因引入了PageAttention，但是由于整體實現(xiàn)細節(jié)更利于小模型推理，所以在大模型上的并發(fā)性能并不是十分理想（使用的默認配置）；
相比之下，LightLLM則可以在各種大小的模型下都保持穩(wěn)健的性能，在大模型上（LLaMA-65B）相對TGI和vLLM實現(xiàn)了3倍左右的2提升。
顯存碎片化嚴重
請求調(diào)度效率低
kernel定制化難度高
為什么 需要 LightLLM ?
介紹：基于純Python語言的大模型推理部署框架LightLLM，方便研究員進行輕量級的本地部署和定制修改，用于快速擴展對不同模型的支持，吸納層出不窮的優(yōu)秀開源特性，探索最優(yōu)服務(wù)架構(gòu)。
LightLLM 性能表現(xiàn)
大模型推理加速工具 —— vLLM
最先進的服務(wù)吞吐量；
PagedAttention 可以有效的管理注意力的鍵和值；
動態(tài)批處理請求；
優(yōu)化好的 CUDA 內(nèi)核；
介紹：vLLM是一個開源的LLM推理和服務(wù)引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力鍵和值。
vLLM 具有哪些特點 ?
第二層 LLMs to Parameter Efficient Fine-Tuning (PEFT)
第一重 分布式訓(xùn)練神器
分布式訓(xùn)練神器 之 ZeRO 學(xué)習(xí)
動機：雖然 DataParallel (DP) 因為簡單易實現(xiàn)，所以目前應(yīng)用相比于其他兩種 廣泛，但是 由于 DataParallel (DP) 需要 每張卡都存儲一個模型，導(dǎo)致 顯存大小 成為 制約模型規(guī)模 的 主要因素。
核心思路：去除數(shù)據(jù)并行中的冗余參數(shù)，使每張卡只存儲一部分模型狀態(tài)，從而減少顯存占用。
圖解分布式訓(xùn)練（一） —— 流水線并行（Pipeline Parallelism）
回顧ChatGPT的發(fā)展歷程，我們可以總結(jié)出大語言模型（LLM）取得驚艷效果的要點（重要性從高到低排序）：
愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實
高質(zhì)量的訓(xùn)練語料
高效的分布式訓(xùn)練框架和充沛優(yōu)質(zhì)的硬件資源
算法的迭代創(chuàng)新
動機：
介紹：在大模型訓(xùn)練這個系列里，我們將一起探索學(xué)習(xí)幾種經(jīng)典的分布式并行范式，包括流水線并行（Pipeline Parallelism），數(shù)據(jù)并行（Data Parallelism）和張量并行（Tensor Parallesim）。
圖解分布式訓(xùn)練（二） —— nn.DataParallel
計算如何協(xié)同？因為每個GPU都需要計算模型參數(shù)的梯度并將其發(fā)送給其他GPU，因此需要使用同步機制來保證計算正確性。一般有兩種同步方式：
數(shù)據(jù)同步：在每個GPU上計算模型參數(shù)的梯度，然后將梯度發(fā)送到其他GPU上進行匯總，最終更新模型參數(shù)。
模型同步：在每個GPU上計算模型參數(shù)的梯度，然后將模型參數(shù)廣播到其他GPU上進行匯總，最終更新模型參數(shù)。
多GPU并行訓(xùn)練的原理就是將模型參數(shù)和數(shù)據(jù)分布到多個GPU上，同時利用多個GPU計算加速訓(xùn)練過程。具體實現(xiàn)需要考慮以下兩個問題：
數(shù)據(jù)如何劃分？因為模型需要處理的數(shù)據(jù)通常很大，將所有數(shù)據(jù)放入單個GPU內(nèi)存中可能會導(dǎo)致內(nèi)存不足，因此我們需要將數(shù)據(jù)劃分到多個GPU上。
動機：
介紹：
圖解分布式訓(xùn)練（三） —— nn.parallel.DistributedDataParallel
**數(shù)據(jù)如何劃分？**因為模型需要處理的數(shù)據(jù)通常很大，將所有數(shù)據(jù)放入單個GPU內(nèi)存中可能會導(dǎo)致內(nèi)存不足，因此我們需要將數(shù)據(jù)劃分到多個GPU上。一般有兩種劃分方式：
**計算如何協(xié)同？**因為每個GPU都需要計算模型參數(shù)的梯度并將其發(fā)送給其他GPU，因此需要使用同步機制來保證計算正確性。一般有兩種同步方式：
DP 只支持 單機多卡場景，在 多機多卡 場景 下，DP 的 通訊問題將被放大:
數(shù)據(jù)并行：將數(shù)據(jù)分割成多個小批次，每個GPU處理其中的一個小批次，然后將梯度匯總后更新模型參數(shù)。
模型并行：將模型分解成多個部分，每個GPU處理其中一個部分，并將處理結(jié)果傳遞給其他GPU以獲得最終結(jié)果。
數(shù)據(jù)同步：在每個GPU上計算模型參數(shù)的梯度，然后將梯度發(fā)送到其他GPU上進行匯總，最終更新模型參數(shù)。
模型同步：在每個GPU上計算模型參數(shù)的梯度，然后將模型參數(shù)廣播到其他GPU上進行匯總，最終更新模型參數(shù)。
DDP首先要解決的就是通訊問題：將Server上的通訊壓力均衡轉(zhuǎn)到各個Worker上。實現(xiàn)這一點后，可以進一步去Server，留Worker。
動機：
介紹：上節(jié)講到 DP 只支持 單機多卡場景，主要原因是 DP 無法數(shù)據(jù)并行中通訊負載不均的問題， 而 DDP 能夠解決 該問題 的 核心在于 Ring-AllReduce。它由百度最先提出，非常有效地解決了數(shù)據(jù)并行中通訊負載不均的問題，使得DDP得以實現(xiàn)。
圖解分布式訓(xùn)練（四） —— torch.multiprocessing 詳細解析
介紹：torch.multiprocessing是本機multiprocessing模塊的封裝。封裝了multiprocessing模塊。它注冊自定義的reducer，它使用共享內(nèi)存為不同進程中的相同數(shù)據(jù)提供視圖共享。一旦張量/存儲被移動到shared_memory（參見sharememory()），就可以將其發(fā)送到其他進程而不進行其它任何操作。
圖解分布式訓(xùn)練（五） —— AMP混合精度訓(xùn)練 詳細解析
動機：PyTorch 1.6版本今天發(fā)布了，帶來的最大更新就是自動混合精度。
介紹：在某些上下文中torch.FloatTensor有優(yōu)勢，在某些上下文中torch.HalfTensor有優(yōu)勢唄。答案進一步可以轉(zhuǎn)化為，相比于之前的默認的torch.FloatTensor，torch.HalfTensor有時具有優(yōu)勢，有時劣勢不可忽視。
圖解分布式訓(xùn)練（六） —— Pytorch的 DeepSpeed 詳細解析
最常見的深度學(xué)習(xí)框架應(yīng)該是TensorFlow、Pytorch、Keras，但是這些框架在面向大規(guī)模模型的時候都不是很方便。
比如Pytorch的分布式并行計算框架（Distributed Data Parallel，簡稱DDP），它也僅僅是能將數(shù)據(jù)并行，放到各個GPU的模型上進行訓(xùn)練。
也就是說，DDP的應(yīng)用場景在你的模型大小大于顯卡顯存大小時，它就很難繼續(xù)使用了，除非你自己再將模型參數(shù)拆散分散到各個GPU上。
動機：
介紹：在分布式計算環(huán)境中，需要理解幾個非常基礎(chǔ)的概念：節(jié)點編號、全局進程編號、局部進程編號、全局總進程數(shù)和主節(jié)點。其中，主節(jié)點負責協(xié)調(diào)所有其他節(jié)點和進程的工作，因此是整個系統(tǒng)的關(guān)鍵部分。
圖解分布式訓(xùn)練（七） —— accelerate 分布式訓(xùn)練 詳細解析
介紹：PyTorch Accelerate 是一個 PyTorch 的加速工具包，旨在簡化 PyTorch 訓(xùn)練和推斷的開發(fā)過程，并提高性能。它是由 Hugging Face、NVIDIA、AWS 和 Microsoft 等公司聯(lián)合開發(fā)的，是一個開源項目。
第二重 LLMs Trick
LLMs Trick
第三重 LLMTune
【LLMs 入門實戰(zhàn) —— 十六 】 LLMTune 模型學(xué)習(xí)與實戰(zhàn)
動機：大語言模型雖然能力很強，目前開源生態(tài)也很豐富，但是在特定領(lǐng)域微調(diào)大模型依然需要大規(guī)格的顯卡。例如，清華大學(xué)發(fā)布的ChatGLM-6B，參數(shù)規(guī)模60億，在沒有量化的情況下微調(diào)需要14GB顯存（parameter-efficient fine-tuning，PEFT)。在沒有任何優(yōu)化的前提下，每10億參數(shù)的全精度（32bit）模型載入到顯存中就需要4GB，而int8量化后也需要1GB顯存。而目前開源最強的模型LLaMA，其最高參數(shù)維650億規(guī)模，全精度模型載入就需要260GB，顯然已經(jīng)超出了大部分人的硬件水平。更不要說對模型進行微調(diào)（微調(diào)需要訓(xùn)練更新參數(shù)，推理只需要前向計算即可，因此，微調(diào)需要更多的顯存才能支持）。
介紹：Cornell Tech開源的LLMTune就是為了降低大模型微調(diào)難度所提出的一種解決方案。對于650億參數(shù)的LLaMA模型微調(diào)僅需要40GB顯存即可。
github 地址: https://github.com/kuleshov-group/llmtune
第四重 QLoRA
【LLMs 入門實戰(zhàn) —— 二十 】 QLoRA 模型學(xué)習(xí)與實戰(zhàn)
特點：
（a）4位NormalFloat（NF4），這是一種對于正態(tài)分布權(quán)重來說在信息論上是最優(yōu)的數(shù)據(jù)類型；
（b）雙量化，通過量化量化常數(shù)來減少平均內(nèi)存占用；
（c）分頁優(yōu)化器，用于管理內(nèi)存峰值。
在Vicuna基準測試中表現(xiàn)優(yōu)于所有先前公開發(fā)布的模型，達到ChatGPT性能水平的99.3%，僅需要單個GPU上的24小時微調(diào)時間；
QLORA引入了一些創(chuàng)新來節(jié)省內(nèi)存而不犧牲性能：
https://huggingface.co/BlinkDL
artidoro/qlora
模型：timdettmers (Tim Dettmers)
量化代碼：TimDettmers/bitsandbytes
BLOG : Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
Demo環(huán)境：Guanaco Playground Tgi - a Hugging Face Space by uwnlp
介紹：5月24日華盛頓大學(xué)的研究者發(fā)布了QLoRA技術(shù)及用其生成的Guanaco大模型。
【LLMs 入門實戰(zhàn) —— 二十七 】【QLoRA實戰(zhàn)】使用單卡高效微調(diào)bloom-7b1
https://huggingface.co/BlinkDL
artidoro/qlora
模型：timdettmers (Tim Dettmers)
量化代碼：TimDettmers/bitsandbytes
BLOG : Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
【LLMs 入門實戰(zhàn) 】Anima 學(xué)習(xí)與實戰(zhàn)
Github 代碼：https://github.com/lyogavin/Anima
模型：https://huggingface.co/lyogavin/Anima33B
動機：之前大部分開源可finetune的模型大都是比較小的模型7B或者13B，雖然可以在一些簡單的chatbot評測集上，通過finetune訓(xùn)練有不錯的表現(xiàn)。但是由于這些模型規(guī)模還是有限，LLM核心的reasoning的能力還是相對比較弱。這就是為什么很多這種小規(guī)模的模型在實際應(yīng)用的場景表現(xiàn)像是個玩具。chatbot評測集比較簡單，真正比較考驗?zāi)Ｐ湍芰Φ膹?fù)雜邏輯推理及數(shù)學(xué)問題上小模型和大模型差距還是很明顯的。
介紹：QLoRA的優(yōu)化方法，第一次讓33B規(guī)模的模型可以比較民主化的，比較低成本的finetune訓(xùn)練，讓33B模型的普及使用成為了可能。我們認為33B模型既可以發(fā)揮大規(guī)模模型的比較強的推理能力，又可以針對私有業(yè)務(wù)領(lǐng)域數(shù)據(jù)進行靈活的finetune訓(xùn)練提升對于LLM的控制力。
第三層 LLMs to Artifact
第一重 langchain
【LLMs 入門實戰(zhàn) —— 十二 】基于 本地知識庫 的高效 ??langchain-ChatGLM
介紹：langchain-ChatGLM是一個基于本地知識的問答機器人，使用者可以自由配置本地知識，用戶問題的答案也是基于本地知識生成的。
【LLMs 入門實戰(zhàn) —— 三十一 】Vicuna-LangChain 模型學(xué)習(xí)與實戰(zhàn)
介紹：一個簡單的類LangChain實現(xiàn)，基于Sentence Embedding+本地知識庫，以Vicuna作為生成模型。支持中英雙語，支持pdf、html和docx格式的文檔作為知識 庫。
Vicuna-LangChain 思路
提取知識庫文件夾中的文檔文本，分割成chunk_length大小的文本塊
通過shibing624/text2vec-base-chinese模型計算各文本塊的嵌入
計算問題文本嵌入和各文本塊的嵌入的余弦相似度
返回余弦相似度最高的k個文本作為給定信息生成prompt
將prompt歷史替換為最初問的問題
將prompt交給vicuna模型生成答案
【LLMs 入門實戰(zhàn)】基于 本地知識庫 的高效 ??langchain-ChatGLM2
介紹：langchain-ChatGLM2是一個基于本地知識的問答機器人，使用者可以自由配置本地知識，用戶問題的答案也是基于本地知識生成的。
第二重 wenda
【LLMs 入門實戰(zhàn)】基于 本地知識庫 的高效 ??wenda+ChatGLM2-6B
知識庫：支持對接本地離線向量庫、本地搜索引擎、在線搜索引擎等。
多種大語言模型：目前支持離線部署模型有chatGLM-6B\chatGLM2-6B、chatRWKV、llama系列(不推薦中文用戶)、moss(不推薦)、baichuan(需配合lora使用，否則效果差)、Aquila-7B，在線API訪問openai api和chatGLM-130b api。
Auto腳本：通過開發(fā)插件形式的JavaScript腳本，為平臺附件功能，實現(xiàn)包括但不限于自定義對話流程、訪問外部API、在線切換LoRA模型。
其他實用化所需能力：對話歷史管理、內(nèi)網(wǎng)部署、多用戶同時使用等。
介紹：本項目設(shè)計目標為實現(xiàn)針對特定環(huán)境的高效內(nèi)容生成，同時考慮個人和中小企業(yè)的計算資源局限性，以及知識安全和私密性問題。為達目標，平臺化集成了以下能力：
第三重 AutoGPT
AutoGPT 使用和部署
介紹：Auto-GPT是一個基于ChatGPT的工具，他能幫你自動完成各種任務(wù)，比如寫代碼、寫報告、做調(diào)研等等。使用它時，你只需要告訴他要扮演的角色和要實現(xiàn)的目標，然后他就會利用ChatGPT和谷歌搜索等工具，不斷“思考”如何接近目標并執(zhí)行，你甚至可以看到他的思考過程。
第四重 Knowledge Extraction
【LLMs 入門實戰(zhàn) 】 DeepKE-LLM 模型學(xué)習(xí)與實戰(zhàn)
DeepKE-LLM鏈接：https://github.com/zjunlp/DeepKE/tree/main/example/llm
OpenKG地址：http://openkg.cn/tool/deepke
Gitee地址：https://gitee.com/openkg/deepke/tree/main/example/llm
介紹：DeepKE是一個開源可擴展的知識圖譜抽取工具，可實現(xiàn)命名實體識別、關(guān)系抽取和屬性抽取等抽取任務(wù)，并支持低資源少樣本、文檔篇章和多模態(tài)等復(fù)雜場景。在大模型時代，我們對DeepKE進行了全面升級并發(fā)布大模型版DeepKE-LLM（智析抽取大模型）。該版本基于大模型對數(shù)據(jù)進行智能解析以實現(xiàn)知識抽取，支持多種大模型、遵循指令和自定義知識類型、格式。
第四層 LLMs to Text-to-Image
第一重 Stable Diffusion
【LLMs 入門實戰(zhàn) —— 二十二 】Stable Diffusion 模型學(xué)習(xí)與實戰(zhàn)
Github 地址：https://github.com/gediz/lstein-stable-diffusion
預(yù)訓(xùn)練模型：https://huggingface.co/CompVis/stable-diffusion
介紹：Stable Diffusion是一種潛在擴散模型（Latent Diffusion Model），能夠從文本描述中生成詳細的圖像。它還可以用于圖像修復(fù)、圖像繪制、文本到圖像和圖像到圖像等任務(wù)。簡單地說，我們只要給出想要的圖片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的圖像！
【LLMs 入門實戰(zhàn) —— 二十三 】Stable Diffusion Webui 模型學(xué)習(xí)與實戰(zhàn)
Github 地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui
預(yù)訓(xùn)練模型：https://huggingface.co/CompVis/stable-diffusion
介紹：Stable Diffusion是一款功能異常強大的AI圖片生成器。它不僅支持生成圖片，使用各種各樣的模型來達到你想要的效果，還能訓(xùn)練你自己的專屬模型。WebUI使得Stable Diffusion有了一個更直觀的用戶界面，更適合新手用戶。
【LLMs 入門實戰(zhàn) —— 二十四 】Novelai 模型學(xué)習(xí)與實戰(zhàn)
【LLMs 入門實戰(zhàn) —— 二十五 】lora 模型學(xué)習(xí)與實戰(zhàn)
Github 地址：https://github.com/microsoft/LoRA
預(yù)訓(xùn)練模型：https://huggingface.co/johnsmith007/LoRAs/tree/main
介紹：LoRA的全稱是LoRA: Low-Rank Adaptation of Large Language Models，可以理解為stable diffusion（SD)模型的一種插件，和hyper-network，controlNet一樣，都是在不修改SD模型的前提下，利用少量數(shù)據(jù)訓(xùn)練出一種畫風/IP/人物，實現(xiàn)定制化需求，所需的訓(xùn)練資源比訓(xùn)練SD模要小很多，非常適合社區(qū)使用者和個人開發(fā)者。
第五層 LLMs to Visual Question Answering (VQA)
第一重 BLIP
【LLMs 入門實戰(zhàn) —— 二十二】 BLIP 模型學(xué)習(xí)與實戰(zhàn)
（1） 編碼器-解碼器 (MED) 的多模式混合：一種用于有效多任務(wù)預(yù)訓(xùn)練和靈活遷移學(xué)習(xí)的新模型架構(gòu)。MED可以作為單模態(tài)編碼器、基于圖像的文本編碼器或基于圖像的文本解碼器工作。該模型與三個視覺語言目標聯(lián)合預(yù)訓(xùn)練：圖像文本對比學(xué)習(xí)、圖像文本匹配和圖像條件語言建模。
（2） 字幕和過濾（Captioning and Filtering，CapFilt）：一種新的數(shù)據(jù)集增強方法，用于從噪聲圖像-文本對中學(xué)習(xí)。作者將預(yù)先訓(xùn)練的MED分為兩個模塊: 一個字幕器，用于生成給定web圖像的合成字幕，以及一個過濾器，用于從原始web文本和合成文本中刪除嘈雜的字幕。
模型角度:
數(shù)據(jù)角度: 大多數(shù)SOTA的方法（如CLIP、ALBEF等）都在從web上收集到的圖文對上進行預(yù)訓(xùn)練。盡管通過擴展數(shù)據(jù)集獲得了性能提升，但 BLIP 的研究表明，對于視覺語言學(xué)習(xí)來說，有噪聲的網(wǎng)絡(luò)文本是次優(yōu)的。
現(xiàn)有方法：大多數(shù)方法要么采用基于編碼器的模型，要么采用編碼器-解碼器模型。
存在問題：基于編碼器的模型不太容易直接轉(zhuǎn)換到文本生成任務(wù)（例如圖像字幕），而編碼器-解碼器模型尚未成功用于圖像文本檢索任務(wù)；
論文名稱：BLIP: Bootstrapping Language-Image Pre-training for Uni?ed Vision-Language Understanding and Generation
論文地址：https://arxiv.org/abs/2201.12086
代碼地址：https://github.com/salesforce/BLIP
局限性:
BLIP總體思路：作為新的 VLP 框架，BLIP 用于統(tǒng)一視覺語言理解和生成的 Bootstrapping Language-Image 預(yù)訓(xùn)練，可以靈活地遷移到視覺語言理解和生成任務(wù)。 BLIP 通過引導(dǎo)字幕有效地利用了嘈雜的網(wǎng)絡(luò)數(shù)據(jù)，字幕生成器生成合成字幕，過濾器去除嘈雜的字幕
貢獻:
第二重 BLIP2
【LLMs 入門實戰(zhàn) —— 二十六】 BLIP2 模型學(xué)習(xí)與實戰(zhàn)
BLIP-2， 一種通用而有效的預(yù)訓(xùn)練策略，它從現(xiàn)成的凍結(jié)預(yù)訓(xùn)練圖像編碼器和凍結(jié)的大型語言模型中引導(dǎo)視覺語言預(yù)訓(xùn)練。
通過一個輕量級的 Querying Transformer （Q-Former是一個輕量級的 transformer，它使用一組可學(xué)習(xí)的查詢向量來從凍結(jié)圖像編碼器中提取視覺特征，為LLM提供最有用的視覺特征，以輸出所需的文本） 彌補了模態(tài) gap，該 Transformer 分兩個階段進行預(yù)訓(xùn)練:
第一階段：從凍結(jié)圖像編碼器引導(dǎo)視覺語言表示學(xué)習(xí)，強制 Q-Former 學(xué)習(xí)與文本最相關(guān)的視覺表示；
第二階段：將視覺從凍結(jié)的語言模型引導(dǎo)到語言生成學(xué)習(xí)，將Q-Former的輸出連接到凍結(jié)的LLM，并對Q-Former進行訓(xùn)練，使其輸出視覺表示能夠被LLM解釋。
由于大規(guī)模模型的端到端訓(xùn)練，視覺和語言預(yù)訓(xùn)練的成本變得越來越高
為了降低計算成本并抵消災(zāi)難性遺忘的問題，希望在 Vision-language pre-training (VLP) 中固定視覺模型參數(shù)與語言模型參數(shù)。然而，由于語言模型在其單模態(tài)預(yù)訓(xùn)練期間沒有看到圖像，因此凍結(jié)它們使得視覺語言對齊尤其具有挑戰(zhàn)性
論文名稱：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
單位：Salesforce 研究院
論文地址：https://arxiv.org/abs/2301.12597
代碼地址：https://github.com/salesforce/LAVIS/tree/main/projects/blip2
HF上的Demo：https://huggingface.co/spaces/Salesforce/BLIP2
動機
介紹：
第三重 MiniGPT-4
【LLMs 入門實戰(zhàn) —— 八 】MiniGPT-4 模型學(xué)習(xí)與實戰(zhàn)
Github 鏈接： https://github.com/Vision-CAIR/MiniGPT-4
介紹： MiniGPT-4，是來自阿卜杜拉國王科技大學(xué)的幾位博士做的，它能提供類似 GPT-4 的圖像理解與對話能力
第四重 VisualGLM-6B
【LLMs 入門實戰(zhàn) —— 十七 】 VisualGLM-6B 模型學(xué)習(xí)與實戰(zhàn)
Github 鏈接： https://github.com/THUDM/VisualGLM-6B
Huggingface 鏈接：https://huggingface.co/THUDM/visualglm-6b
動機：OpenAI 的GPT-4樣例中展現(xiàn)出令人印象深刻的多模態(tài)理解能力，但是能理解圖像的中文開源對話模型仍是空白。
介紹：VisualGLM-6B 是一個開源的，支持圖像、中文和英文的多模態(tài)對話語言模型，語言模型基于 ChatGLM-6B，具有 62 億參數(shù)；圖像部分通過訓(xùn)練 BLIP2-Qformer 構(gòu)建起視覺模型與語言模型的橋梁，整體模型共 78 億參數(shù)。VisualGLM-6B 依靠來自于 CogView 數(shù)據(jù)集的30M高質(zhì)量中文圖文對，與 300M 經(jīng)過篩選的英文圖文對進行預(yù)訓(xùn)練，中英文權(quán)重相同。該訓(xùn)練方式較好地將視覺信息對齊到 ChatGLM 的語義空間；之后的微調(diào)階段，模型在長視覺問答數(shù)據(jù)上訓(xùn)練，以生成符合人類偏好的答案。
github 地址:https://github.com/THUDM/VisualGLM-6B
第五重 Ziya-Visual
【LLMs 入門實戰(zhàn) 】 Ziya-Visual 模型學(xué)習(xí)與實戰(zhàn)
Ziya-Visual模型開源地址：https://huggingface.co/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1L/Ziya-BLIP2-14B-Visual-v1
Demo體驗地址：https://huggingface.co/spaces/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1-DemoDEA-CCNL/Ziya-BLIP2-14B-Visual-v1-Demo
Ziya開源模型：https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1L/Ziya-LLaMA-13B-v1
封神榜項目主頁：https://github.com/IDEA-CCNL/Fengshenbang-LM
介紹：自從3月份OpenAI發(fā)布具有識圖能力的多模態(tài)大模型GPT-4，大模型的能力便不再局限于文本輸入-文本輸出的形式，人們可以上傳視覺圖片來與大模型進行聊天和交互。遺憾的是，時至今日絕大部分用戶也都還沒有拿到GPT-4輸入圖片的權(quán)限，無法體驗到結(jié)合視覺和語言兩大模態(tài)的大模型的卓越能力，而且GPT-4也沒有敘述或者開源GPT模型多模態(tài)預(yù)訓(xùn)練的方案。與之相對的是，學(xué)術(shù)界和開源界則充分探索了視覺預(yù)訓(xùn)練模型（比如ViT, Vision Transformer）與大語言模型(LLM，Large Language Model)結(jié)合，從而讓目前的LLM獲得輸入圖片、認識圖片的能力。其中的代表工作包括國外團隊開源的Mini-GPT4[1]，LLaVA[2]等，國內(nèi)團隊開源的VisuaGLM[3]，mPLUG-Owl[4]等工作。大部分的開源方案參考了BLIP2的訓(xùn)練方案[5]，選擇凍結(jié)LLM部分的參數(shù)訓(xùn)練或者采用Lora等parameter-efficient的微調(diào)訓(xùn)練方式。IDEA研究院封神榜團隊在5月17日發(fā)布“姜子牙通用大模型v1”之后，繼續(xù)發(fā)布Ziya-BLIP2-14B-Visual-v1多模態(tài)大模型（以下簡稱Ziya-Visual模型）。和Ziya大模型一樣，Ziya-Visual模型具備中英雙語能力，特別是中文能力較為突出。和所有基于BLIP2的方案類似，我們簡單高效的擴展了LLM的識圖能力。該模型對比VisualGLM、mPLUG-Owl模型，在視覺問答（VQA）評價和GPT-4打分評價[2]中，展現(xiàn)了一些優(yōu)勢。
第六層 LLMs to Automatic Speech Recognition (ASR)
第一重 Massively Multilingual Speech (MMS，大規(guī)模多語種語音)
【LLMs 入門實戰(zhàn) —— 二十 】 Massively Multilingual Speech (MMS，大規(guī)模多語種語音) 模型學(xué)習(xí)與實戰(zhàn)
論文：Scaling Speech Technology to 1,000+ Languages
代碼：fairseq/tree/main/examples/mms
公告：https://ai.facebook.com/blog/multilingual-model-speech-recognition/
介紹：Meta 在 GitHub 上再次開源了一款全新的 AI 語言模型——Massively Multilingual Speech (MMS，大規(guī)模多語種語音)，它與 ChatGPT 有著很大的不同，這款新的語言模型可以識別 4000 多種口頭語言并生成 1100 多種語音（文本到語音）。
第二重 whisper
【LLMs 入門實戰(zhàn)】 whisper 模型學(xué)習(xí)與實戰(zhàn)
Introducing Whisper: https://openai.com/blog/whisper/
Robust Speech Recognition via Large-Scale Weak Supervision: https://cdn.openai.com/papers/whisper.pdf
openai/whisper: https://github.com/openai/whisper
Huggin一 Face地址：Whisper - a Hugging Face Space by openai:https://huggingface.co/spaces/openai/whisper
Colab地址：Google Colaboratory: https://colab.research.google.com/github/openai/whisper/blob/master/notebooks/LibriSpeech.ipynb
介紹：Whisper這個模型是OpenAI在今年九月釋放出來的吧（2022/09/21）Introducing Whisper ，不過這個效果真的是太好了，它的泛化性能跟別的模型一比，真是天上地下啊。
【LLMs 入門實戰(zhàn)】 Faster-Whisper 模型學(xué)習(xí)與實戰(zhàn)
前端：將語音信號轉(zhuǎn)換為頻譜圖，使用CNN進行特征提取。
后端：使用RNN進行序列建模，輸出每個時間步的概率分布。
解碼器：將概率分布轉(zhuǎn)換為最終的文本輸出。
Making OpenAI Whisper faster：https://nikolas.blog/making-openai-whisper-faster/
Faster Whisper transcription with CTranslate2 ：https://github.com/guillaumekln/faster-whisper
sanchit-gandhi/whisper-jax#creating-an-endpoint：https://github.com/sanchit-gandhi/whisper-jax#creating-an-endpoint
介紹：Faster-Whisper是一種基于深度學(xué)習(xí)的語音識別模型，它采用了一種新穎的架構(gòu)，可以在保持準確性的同時提高速度。Faster-Whisper的設(shè)計靈感來自于目標檢測領(lǐng)域的Faster R-CNN模型，它將語音信號轉(zhuǎn)換為頻譜圖，并使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進行特征提取和序列建模。Faster-Whisper的主要優(yōu)點是速度快、準確性高、可擴展性強，適用于大規(guī)模語音識別任務(wù)。
Faster-Whisper的架構(gòu)包括三個主要組件：
第七層 LLMs to Text To Speech (TTS)
第一重 Massively Multilingual Speech (MMS，大規(guī)模多語種語音)
【LLMs 入門實戰(zhàn) —— 二十 】 Massively Multilingual Speech (MMS，大規(guī)模多語種語音) 模型學(xué)習(xí)與實戰(zhàn)
論文：Scaling Speech Technology to 1,000+ Languages
代碼：fairseq/tree/main/examples/mms
公告：https://ai.facebook.com/blog/multilingual-model-speech-recognition/
介紹：Meta 在 GitHub 上再次開源了一款全新的 AI 語言模型——Massively Multilingual Speech (MMS，大規(guī)模多語種語音)，它與 ChatGPT 有著很大的不同，這款新的語言模型可以識別 4000 多種口頭語言并生成 1100 多種語音（文本到語音）。
第二重 Retrieval-based-Voice-Conversion
【LLMs 入門實戰(zhàn)】 Retrieval-based-Voice-Conversion-WebUI 模型學(xué)習(xí)與實戰(zhàn)
使用top1檢索替換輸入源特征為訓(xùn)練集特征來杜絕音色泄漏
即便在相對較差的顯卡上也能快速訓(xùn)練
使用少量數(shù)據(jù)進行訓(xùn)練也能得到較好結(jié)果(推薦至少收集10分鐘低底噪語音數(shù)據(jù))
可以通過模型融合來改變音色(借助ckpt處理選項卡中的ckpt-merge)
簡單易用的網(wǎng)頁界面
可調(diào)用UVR5模型來快速分離人聲和伴奏
名稱：Retrieval-based-Voice-Conversion-WebUI
論文地址：https://arxiv.org/abs/2305.18975
Github 代碼：https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
使用了RVC的實時語音轉(zhuǎn)換: w-okada/voice-changer
使用了RVC變聲器訓(xùn)練的人聲轉(zhuǎn)木吉他模型在線demo ：https://huggingface.co/spaces/lj1995/vocal2guitar
RVC人聲轉(zhuǎn)吉他效果展示視頻 ：https://www.bilibili.com/video/BV19W4y1D7tT/
介紹：一個基于VITS的簡單易用的語音轉(zhuǎn)換（變聲器）框架
特點
【LLMs 入門實戰(zhàn)】 kNN-VC 模型學(xué)習(xí)與實戰(zhàn)
論文名稱：Voice Conversion With Just Nearest Neighbors (kNN-VC)
論文地址：https://arxiv.org/abs/2305.18975
Github 代碼：https://github.com/bshall/knn-vc
LLaMA 衍生物系列
第五重 GPT4ALL
【LLMs 入門實戰(zhàn) —— 八 】GPT4ALL 模型學(xué)習(xí)與實戰(zhàn)
介紹：一個 可以在自己筆記本上面跑起來的 Nomic AI 的助手式聊天機器人，成為貧民家孩子的 福音！
第十一重 OpenBuddy
【LLMs 入門實戰(zhàn) —— 二十八 】 OpenBuddy 模型學(xué)習(xí)與實戰(zhàn)
論文名稱：OpenBuddy - Open Multilingual Chatbot based on Falcon
github 地址：https://github.com/OpenBuddy/OpenBuddy
動機：雖然目前 很多人 LLMs 層出不窮，但是他們并不能 在 多語言支持無縫銜接（eg: LLaMA 模型由于是用 英語訓(xùn)練，所以在 中文等其他語種上效果并不好）
介紹：基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型構(gòu)建，OpenBuddy 經(jīng)過微調(diào)，包括擴展詞匯表、增加常見字符和增強 token 嵌入。通過利用這些改進和多輪對話數(shù)據(jù)集，OpenBuddy 提供了一個強大的模型，能夠回答各種語言的問題并執(zhí)行翻譯任務(wù)。
第十二重 Baize
【LLMs 入門實戰(zhàn) —— 三十 】Baize 學(xué)習(xí)與實戰(zhàn)
baize-v2-7b 模型：https://huggingface.co/project-baize/baize-v2-7b
baize-v2-13b 模型：https://huggingface.co/project-baize/baize-v2-13b
論文名稱：Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
論文地址：https://arxiv.org/abs/2304.01196
Github 代碼：https://github.com/project-baize/baize-chatbot/blob/main/README.md
模型：
baize 體驗網(wǎng)站：https://huggingface.co/spaces/project-baize/baize-lora-7B
動機：高質(zhì)量的標注數(shù)據(jù)問題
介紹：Baize 作者 提出了一個自動收集 ChatGPT 對話的流水線，通過從特定數(shù)據(jù)集中采樣「種子」的方式，讓 ChatGPT 自我對話，批量生成高質(zhì)量多輪對話數(shù)據(jù)集。其中如果使用領(lǐng)域特定數(shù)據(jù)集，比如醫(yī)學(xué)問答數(shù)據(jù)集，就可以生成高質(zhì)量垂直領(lǐng)域語料。
第十三重 OpenChineseLLaMA
【LLMs 入門實戰(zhàn) 】OpenChineseLLaMA 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/OpenLMLab/OpenChineseLLaMA
模型：https://huggingface.co/openlmlab/open-chinese-llama-7b-patch
介紹：基于 LLaMA-7B 經(jīng)過中文數(shù)據(jù)集增量預(yù)訓(xùn)練產(chǎn)生的中文大語言模型基座，對比原版 LLaMA，該模型在中文理解能力和生成能力方面均獲得較大提升，在眾多下游任務(wù)中均取得了突出的成績。
第十四重 Panda
【LLMs 入門實戰(zhàn) 】Panda 學(xué)習(xí)與實戰(zhàn)
論文名稱：Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models
論文地址：https://arxiv.org/pdf/2305.03025v1.pdf
Github 代碼：https://github.com/dandelionsllm/pandallm
模型：
介紹：開源了基于LLaMA-7B, -13B, -33B, -65B 進行中文領(lǐng)域上的持續(xù)預(yù)訓(xùn)練的語言模型, 使用了接近 15M 條數(shù)據(jù)進行二次預(yù)訓(xùn)練。
第十五重 Ziya-LLaMA-13B
【LLMs 入門實戰(zhàn) 】 Ziya-LLaMA-13B 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1
模型：
介紹：該項目開源了姜子牙通用大模型V1，是基于LLaMa的130億參數(shù)的大規(guī)模預(yù)訓(xùn)練模型，具備翻譯，編程，文本分類，信息抽取，摘要，文案生成，常識問答和數(shù)學(xué)計算等能力。該模型已完成大規(guī)模預(yù)訓(xùn)練、多任務(wù)有監(jiān)督微調(diào)和人類反饋學(xué)習(xí)三階段的訓(xùn)練過程。
第十六重 BiLLa
【LLMs 入門實戰(zhàn) 】 BiLLa 學(xué)習(xí)與實戰(zhàn)
論文名稱：BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability
論文地址：
Github 代碼：https://github.com/Neutralzz/BiLLa
模型：
介紹：該項目開源了推理能力增強的中英雙語LLaMA模型。模型的主要特性有：較大提升LLaMA的中文理解能力，并盡可能減少對原始LLaMA英文能力的損傷；訓(xùn)練過程增加較多的任務(wù)型數(shù)據(jù)，利用ChatGPT生成解析，強化模型理解任務(wù)求解邏輯；全量參數(shù)更新，追求更好的生成效果。
第十七重 Luotuo-Chinese-LLM
【LLMs 入門實戰(zhàn) 】 Luotuo-Chinese-LLM 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/LC1332/Luotuo-Chinese-LLM
模型：
介紹：囊括了一系列中文大語言模型開源項目，包含了一系列基于已有開源模型（ChatGLM, MOSS, LLaMA）進行二次微調(diào)的語言模型，指令微調(diào)數(shù)據(jù)集等。
第十八重 Linly
【LLMs 入門實戰(zhàn) 】 Linly 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/CVI-SZU/Linly
模型：
介紹：提供中文對話模型 Linly-ChatFlow 、中文基礎(chǔ)模型 Linly-Chinese-LLaMA 及其訓(xùn)練數(shù)據(jù)。中文基礎(chǔ)模型以 LLaMA 為底座，利用中文和中英平行增量預(yù)訓(xùn)練。項目匯總了目前公開的多語言指令數(shù)據(jù)，對中文模型進行了大規(guī)模指令跟隨訓(xùn)練，實現(xiàn)了 Linly-ChatFlow 對話模型。
第十九重 ChatYuan
【LLMs 入門實戰(zhàn) 】 ChatYuan 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/clue-ai/ChatYuan
介紹：元語智能發(fā)布的一系列支持中英雙語的功能型對話語言大模型，在微調(diào)數(shù)據(jù)、人類反饋強化學(xué)習(xí)、思維鏈等方面進行了優(yōu)化。
第二十重 CPM-Bee
【LLMs 入門實戰(zhàn) 】 CPM-Bee 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/OpenBMB/CPM-Bee
模型：
介紹：一個完全開源、允許商用的百億參數(shù)中英文基座模型。它采用Transformer自回歸架構(gòu)（auto-regressive），在超萬億（trillion）高質(zhì)量語料上進行預(yù)訓(xùn)練，擁有強大的基礎(chǔ)能力。開發(fā)者和研究者可以在CPM-Bee基座模型的基礎(chǔ)上在各類場景進行適配來以創(chuàng)建特定領(lǐng)域的應(yīng)用模型。
第二十一重 TigerBot
【LLMs 入門實戰(zhàn) 】 TigerBot 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/TigerResearch/TigerBot
模型：
介紹：一個多語言多任務(wù)的大規(guī)模語言模型(LLM)，開源了包括模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B，基本訓(xùn)練和推理代碼，100G預(yù)訓(xùn)練數(shù)據(jù)，涵蓋金融、法律、百科的領(lǐng)域數(shù)據(jù)以及API等。
第二十二重 書生·浦語
【LLMs 入門實戰(zhàn) 】 書生·浦語 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/InternLM/InternLM-techreport
模型：
介紹：商湯科技、上海AI實驗室聯(lián)合香港中文大學(xué)、復(fù)旦大學(xué)和上海交通大學(xué)發(fā)布千億級參數(shù)大語言模型“書生·浦語”（InternLM）。據(jù)悉，“書生·浦語”具有1040億參數(shù)，基于“包含1.6萬億token的多語種高質(zhì)量數(shù)據(jù)集”訓(xùn)練而成。
第二十三重 Aquila
【LLMs 入門實戰(zhàn) 】 Aquila 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：
Github 代碼： https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
模型：
介紹：由智源研究院發(fā)布，Aquila語言大模型在技術(shù)上繼承了GPT-3、LLaMA等的架構(gòu)設(shè)計優(yōu)點，替換了一批更高效的底層算子實現(xiàn)、重新設(shè)計實現(xiàn)了中英雙語的tokenizer，升級了BMTrain并行訓(xùn)練方法，是在中英文高質(zhì)量語料基礎(chǔ)上從０開始訓(xùn)練的，通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時間，獲得比其它開源模型更優(yōu)的性能。也是首個支持中英雙語知識、支持商用許可協(xié)議、符合國內(nèi)數(shù)據(jù)合規(guī)需要的大規(guī)模開源語言模型。
第一重 金融領(lǐng)域
【LLMs 入門實戰(zhàn) —— 十九】 聚寶盆(Cornucopia) 模型學(xué)習(xí)與實戰(zhàn)
聚寶盆(Cornucopia) 開源了經(jīng)過中文金融知識指令精調(diào)/指令微調(diào)(Instruct-tuning) 的LLaMA-7B模型。通過中文金融公開數(shù)據(jù)+爬取的金融數(shù)據(jù)構(gòu)建指令數(shù)據(jù)集，并在此基礎(chǔ)上對LLaMA進行了指令微調(diào)，提高了 LLaMA 在金融領(lǐng)域的問答效果。
github: jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese
【LLMs 入門實戰(zhàn) 】 BBT-FinCUGE-Applications 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/ssymmetry/BBT-FinCUGE-Applications
介紹：開源了中文金融領(lǐng)域開源語料庫BBT-FinCorpus，中文金融領(lǐng)域知識增強型預(yù)訓(xùn)練語言模型BBT-FinT5及中文金融領(lǐng)域自然語言處理評測基準CFLEB。
【LLMs 入門實戰(zhàn) 】 XuanYuan（軒轅） 學(xué)習(xí)與實戰(zhàn)：首個千億級中文金融對話模型
論文名稱：
論文地址：https://huggingface.co/xyz-nlp/XuanYuan2.0
介紹：軒轅是國內(nèi)首個開源的千億級中文對話大模型，同時也是首個針對中文金融領(lǐng)域優(yōu)化的千億級開源對話大模型。軒轅在BLOOM-176B的基礎(chǔ)上針對中文通用領(lǐng)域和金融領(lǐng)域進行了針對性的預(yù)訓(xùn)練與微調(diào)，它不僅可以應(yīng)對通用領(lǐng)域的問題，也可以解答與金融相關(guān)的各類問題，為用戶提供準確、全面的金融信息和建議。
第二重 醫(yī)療領(lǐng)域
【LLMs 入門實戰(zhàn) —— 二十九 】HuatuoGPT (華佗GPT) 學(xué)習(xí)與實戰(zhàn)
HuatuoGPT (華佗GPT) 知識庫是一個在龐大的中國醫(yī)學(xué)語料庫上訓(xùn)練的大型語言模型。HuatuoGPT (華佗GPT) 的目標是為醫(yī)療咨詢場景構(gòu)建一個更專業(yè)的“ChatGPT”。
益增長的在線和醫(yī)院快速醫(yī)療咨詢需求 與 醫(yī)生的時間和精力 矛盾問題
目前并沒有 開源而且高質(zhì)量的 可用于訓(xùn)練 medical LLMs，所以 為 訓(xùn)練 medical LLMs 而構(gòu)建 high-quality instruction training data 至關(guān)重要；
medical LLMs 診斷能力需要進行 徹底評估和測試，避免 medical LLMs 誤診問題；
HuatuoGPT (華佗GPT), Towards Taming Language Models To Be a Doctor.
論文地址：https://arxiv.org/pdf/2305.15075.pdf
Github 代碼：https://github.com/FreedomIntelligence/HuatuoGPT
模型：https://huggingface.co/FreedomIntelligence/HuatuoGPT-7b-v1
HuatuoGPT 體驗網(wǎng)站：https://www.huatuogpt.cn/
HuatuoGPT (華佗GPT) 監(jiān)督微調(diào)（SFT）：HuatuoGPT-sft-data-v1
動機：
介紹：
【LLMs 入門實戰(zhàn) 】DoctorGLM 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/xionghonglin/DoctorGLM
介紹：基于 ChatGLM-6B的中文問診模型，通過中文醫(yī)療對話數(shù)據(jù)集進行微調(diào)，實現(xiàn)了包括lora、p-tuningv2等微調(diào)及部署
【LLMs 入門實戰(zhàn) 】 BenTsao 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
介紹：開源了經(jīng)過中文醫(yī)學(xué)指令精調(diào)/指令微調(diào)(Instruct-tuning) 的LLaMA-7B模型。通過醫(yī)學(xué)知識圖譜和GPT3.5 API構(gòu)建了中文醫(yī)學(xué)指令數(shù)據(jù)集，并在此基礎(chǔ)上對LLaMA進行了指令微調(diào)，提高了LLaMA在醫(yī)療領(lǐng)域的問答效果。
【LLMs 入門實戰(zhàn) 】 BianQue 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/scutcyr/BianQue
介紹：一個經(jīng)過指令與多輪問詢對話聯(lián)合微調(diào)的醫(yī)療對話大模型，基于ClueAI/ChatYuan-large-v2作為底座，使用中文醫(yī)療問答指令與多輪問詢對話混合數(shù)據(jù)集進行微調(diào)。
【LLMs 入門實戰(zhàn) 】 Med-ChatGLM 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/SCIR-HI/Med-ChatGLM
介紹：基于中文醫(yī)學(xué)知識的ChatGLM模型微調(diào)，微調(diào)數(shù)據(jù)與BenTsao相同。
【LLMs 入門實戰(zhàn) 】 QiZhenGPT 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/CMKRG/QiZhenGPT
介紹：該項目利用啟真醫(yī)學(xué)知識庫構(gòu)建的中文醫(yī)學(xué)指令數(shù)據(jù)集，并基于此在LLaMA-7B模型上進行指令精調(diào)，大幅提高了模型在中文醫(yī)療場景下效果，首先針對藥品知識問答發(fā)布了評測數(shù)據(jù)集，后續(xù)計劃優(yōu)化疾病、手術(shù)、檢驗等方面的問答效果，并針對醫(yī)患問答、病歷自動生成等應(yīng)用展開拓展。
【LLMs 入門實戰(zhàn) 】 ChatMed 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/michael-wzhu/ChatMed
介紹：該項目推出ChatMed系列中文醫(yī)療大規(guī)模語言模型，模型主干為LlaMA-7b并采用LoRA微調(diào)，具體包括ChatMed-Consult : 基于中文醫(yī)療在線問診數(shù)據(jù)集ChatMed_Consult_Dataset的50w+在線問診+ChatGPT回復(fù)作為訓(xùn)練集；ChatMed-TCM : 基于中醫(yī)藥指令數(shù)據(jù)集ChatMed_TCM_Dataset，以開源的中醫(yī)藥知識圖譜為基礎(chǔ)，采用以實體為中心的自指令方法(entity-centric self-instruct)，調(diào)用ChatGPT得到2.6w+的圍繞中醫(yī)藥的指令數(shù)據(jù)訓(xùn)練得到。
【LLMs 入門實戰(zhàn) 】 XrayGLM 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/WangRongsheng/XrayGLM
介紹：該項目為促進中文領(lǐng)域醫(yī)學(xué)多模態(tài)大模型的研究發(fā)展，發(fā)布了XrayGLM數(shù)據(jù)集及模型，其在醫(yī)學(xué)影像診斷和多輪交互對話上顯示出了非凡的潛力。
第三重 法律領(lǐng)域
【LLMs 入門實戰(zhàn) 】 LaWGPT 學(xué)習(xí)與實戰(zhàn)：基于中文法律知識的大語言模型
論文名稱：
論文地址：https://github.com/pengxiao-song/LaWGPT
介紹：該系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基礎(chǔ)上擴充法律領(lǐng)域?qū)Ｓ性~表、大規(guī)模中文法律語料預(yù)訓(xùn)練，增強了大模型在法律領(lǐng)域的基礎(chǔ)語義理解能力。在此基礎(chǔ)上，構(gòu)造法律領(lǐng)域?qū)υ拞柎饠?shù)據(jù)集、中國司法考試數(shù)據(jù)集進行指令精調(diào)，提升了模型對法律內(nèi)容的理解和執(zhí)行能力。
【LLMs 入門實戰(zhàn) 】 LexiLaw 學(xué)習(xí)與實戰(zhàn)：中文法律大模型
論文名稱：
論文地址：https://github.com/CSHaitao/LexiLaw
介紹：LexiLaw 是一個基于 ChatGLM-6B微調(diào)的中文法律大模型，通過在法律領(lǐng)域的數(shù)據(jù)集上進行微調(diào)。該模型旨在為法律從業(yè)者、學(xué)生和普通用戶提供準確、可靠的法律咨詢服務(wù)，包括具體法律問題的咨詢，還是對法律條款、案例解析、法規(guī)解讀等方面的查詢。
【LLMs 入門實戰(zhàn) 】 Lawyer LLaMA 學(xué)習(xí)與實戰(zhàn)：中文法律LLaMA
論文名稱：
論文地址：https://github.com/AndrewZhe/lawyer-llama
介紹：開源了一系列法律領(lǐng)域的指令微調(diào)數(shù)據(jù)和基于LLaMA訓(xùn)練的中文法律大模型的參數(shù)。Lawyer LLaMA 首先在大規(guī)模法律語料上進行了continual pretraining。在此基礎(chǔ)上，借助ChatGPT收集了一批對中國國家統(tǒng)一法律職業(yè)資格考試客觀題（以下簡稱法考）的分析和對法律咨詢的回答，利用收集到的數(shù)據(jù)對模型進行指令微調(diào)，讓模型習(xí)得將法律知識應(yīng)用到具體場景中的能力。
第四重 教育領(lǐng)域
【LLMs 入門實戰(zhàn) 】 桃李（Taoli） 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/blcuicall/taoli
介紹：一個在國際中文教育領(lǐng)域數(shù)據(jù)上進行了額外訓(xùn)練的模型。項目基于目前國際中文教育領(lǐng)域流通的500余冊國際中文教育教材與教輔書、漢語水平考試試題以及漢語學(xué)習(xí)者詞典等，構(gòu)建了國際中文教育資源庫，構(gòu)造了共計 88000 條的高質(zhì)量國際中文教育問答數(shù)據(jù)集，并利用收集到的數(shù)據(jù)對模型進行指令微調(diào)，讓模型習(xí)得將知識應(yīng)用到具體場景中的能力。
第五重 文化領(lǐng)域
【LLMs 入門實戰(zhàn) 】 Firefly 學(xué)習(xí)與實戰(zhàn)
論文名稱：
論文地址：https://github.com/yangjianxin1/Firefly
介紹：中文對話式大語言模型，構(gòu)造了許多與中華文化相關(guān)的數(shù)據(jù)，以提升模型這方面的表現(xiàn)，如對聯(lián)、作詩、文言文翻譯、散文、金庸小說等。
第六重 Coding
【LLMs 入門實戰(zhàn)】 CodeGeeX2-6B 學(xué)習(xí)與實戰(zhàn)
DeepKE-LLM鏈接：
OpenKG地址：
Github 地址：https://github.com/THUDM/CodeGeeX2
介紹：CodeGeeX2 是多語言代碼生成模型 CodeGeeX 的第二代模型，基于 ChatGLM2 架構(gòu)注入代碼實現(xiàn)。得益于 ChatGLM2 的更優(yōu)性能，CodeGeeX2-6B 在多項指標上取得了較大的性能提升。與 150 億參數(shù)的 StarCoder-15B 相比，CodeGeeX2-6B 憑借 60 億參數(shù)便具備了近 10% 的優(yōu)勢。