LLMs九層妖塔
共 36299字，需瀏覽 73分鐘
·
2024-07-19 07:00
【LLMs九層妖塔】分享 LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝 Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態(tài)等領(lǐng)域（Stable Diffusion、MiniGPT-4、VisualGLM-6B、Ziya-Visual等）等 實(shí)戰(zhàn)與經(jīng)驗(yàn)。
Github 地址：https://github.com/km1994/LLMsNineStoryDemonTower
!! LLMs九層妖塔 交流群 (注：人滿 可 添加 小編wx：yzyykm666 加群！)
第一層 LLMs to Natural Language Processing (NLP)
第一重 ChatGLM-6B 系列
ChatGLM-6B
【ChatGLM-6B入門-一】清華大學(xué)開源中文版ChatGLM-6B模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：ChatGLM-6B 環(huán)境配置 和 部署
【ChatGLM-6B入門-二】清華大學(xué)開源中文版ChatGLM-6B模型微調(diào)實(shí)戰(zhàn)
ChatGLM-6B P-Tuning V2 微調(diào)：Fine-tuning the prefix encoder of the model.
【ChatGLM-6B入門-三】ChatGLM 特定任務(wù)微調(diào)實(shí)戰(zhàn)
【ChatGLM-6B入門-四】ChatGLM + LoRA 進(jìn)行finetune
介紹：ChatGLM-6B LoRA 微調(diào)：Fine-tuning the low-rank adapters of the model.
ChatGLM-6B 小編填坑記
介紹：ChatGLM-6B 在 部署和微調(diào) 過程中 會遇到很多坑，小編掉坑了很多次，為防止 后人和小編一樣繼續(xù)掉坑，小編索性把遇到的坑都填了。
【LLMs學(xué)習(xí)】關(guān)于大模型實(shí)踐的一些總結(jié)
【LLMs 入門實(shí)戰(zhàn) —— 十一 】基于 ??PEFT 的高效 ??ChatGLM-6B 微調(diào)
ChatGLM-6B Freeze 微調(diào)：Fine-tuning the MLPs in the last n blocks of the model.
ChatGLM-6B P-Tuning V2 微調(diào)：Fine-tuning the prefix encoder of the model.
ChatGLM-6B LoRA 微調(diào)：Fine-tuning the low-rank adapters of the model.
微調(diào)方式：
【LLMs 入門實(shí)戰(zhàn)】基于 ??QLoRA 的高效 ??ChatGLM-6B 微調(diào)
介紹：本項(xiàng)目使用 https://github.com/huggingface/peft 庫，實(shí)現(xiàn)了 ChatGLM-6B 模型4bit的 QLoRA 高效微調(diào)，可以在一張RTX3060上完成全部微調(diào)過程。
【LLMs 入門實(shí)戰(zhàn) 】??ChatGLM-6B 模型結(jié)構(gòu)代碼解析
介紹：ChatGLM-6B 模型結(jié)構(gòu)代碼解析
ChatGLM2-6B
【ChatGLM2-6B入門】清華大學(xué)開源中文版ChatGLM-6B模型學(xué)習(xí)與實(shí)戰(zhàn)
更強(qiáng)大的性能：基于 ChatGLM 初代模型的開發(fā)經(jīng)驗(yàn)，我們?nèi)嫔壛?ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目標(biāo)函數(shù)，經(jīng)過了 1.4T 中英標(biāo)識符的預(yù)訓(xùn)練與人類偏好對齊訓(xùn)練，評測結(jié)果顯示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等數(shù)據(jù)集上的性能取得了大幅度的提升，在同尺寸開源模型中具有較強(qiáng)的競爭力。
更長的上下文：基于 FlashAttention 技術(shù)，我們將基座模型的上下文長度（Context Length）由 ChatGLM-6B 的 2K 擴(kuò)展到了 32K，并在對話階段使用 8K 的上下文長度訓(xùn)練，允許更多輪次的對話。但當(dāng)前版本的 ChatGLM2-6B 對單輪超長文檔的理解能力有限，我們會在后續(xù)迭代升級中著重進(jìn)行優(yōu)化。
更高效的推理：基于 Multi-Query Attention 技術(shù)，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用：在官方的模型實(shí)現(xiàn)下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對話長度由 1K 提升到了 8K。
更開放的協(xié)議：ChatGLM2-6B 權(quán)重對學(xué)術(shù)研究完全開放，在獲得官方的書面許可后，亦允許商業(yè)使用。如果您發(fā)現(xiàn)我們的開源模型對您的業(yè)務(wù)有用，我們歡迎您對下一代模型 ChatGLM3 研發(fā)的捐贈。
論文名稱：ChatGLM2-6B: An Open Bilingual Chat LLM | 開源雙語對話語言模型
論文地址：
Github 代碼：https://github.com/THUDM/ChatGLM2-6B
動機(jī)：在主要評估LLM模型中文能力的 C-Eval 榜單中，截至6月25日 ChatGLM2 模型以 71.1 的分?jǐn)?shù)位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分?jǐn)?shù)位居 Rank 6，是榜單上排名最高的開源模型。
介紹：ChatGLM2-6B 是開源中英雙語對話模型 ChatGLM-6B 的第二代版本，在保留了初代模型對話流暢、部署門檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，ChatGLM2-6B 引入了如下新特性：
【關(guān)于 ChatGLM2 + LoRA 進(jìn)行finetune 】那些你不知道的事
論文名稱：ChatGLM2-6B: An Open Bilingual Chat LLM | 開源雙語對話語言模型
論文地址：
Github 代碼：https://github.com/THUDM/ChatGLM2-6B
介紹：本教程主要介紹對于 ChatGLM2-6B 模型基于 LoRA 進(jìn)行finetune。
【LLMs 入門實(shí)戰(zhàn) 】基于 ??PEFT 的高效 ??ChatGLM2-6B 微調(diào)
ChatGLM2-6B Freeze 微調(diào)：Fine-tuning the MLPs in the last n blocks of the model.
ChatGLM2-6B P-Tuning V2 微調(diào)：Fine-tuning the prefix encoder of the model.
ChatGLM2-6B LoRA 微調(diào)：Fine-tuning the low-rank adapters of the model.
微調(diào)方式：
【LLMs 入門實(shí)戰(zhàn)】基于 ??QLoRA 的高效 ??ChatGLM2-6B 微調(diào)
介紹：本項(xiàng)目使用 https://github.com/huggingface/peft 庫，實(shí)現(xiàn)了 ChatGLM2-6B 模型4bit的 QLoRA 高效微調(diào)，可以在一張RTX3060上完成全部微調(diào)過程。
第十一重 Llama2
【LLMs 入門實(shí)戰(zhàn)】 Llama2 模型學(xué)習(xí)與實(shí)戰(zhàn)
官網(wǎng)：https://ai.meta.com/llama/
論文名稱：《Llama 2: Open Foundation and Fine-Tuned Chat Models》
論文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
演示平臺：https://llama2.ai/
Github 代碼：https://github.com/facebookresearch/llama
模型下載地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
介紹：此次 Meta 發(fā)布的 Llama 2 模型系列包含 70 億、130 億和 700 億三種參數(shù)變體。此外還訓(xùn)練了 340 億參數(shù)變體，但并沒有發(fā)布，只在技術(shù)報告中提到了。據(jù)介紹，相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長度也翻倍，并采用了分組查詢注意力機(jī)制。具體來說，Llama 2 預(yù)訓(xùn)練模型是在 2 萬億的 token 上訓(xùn)練的，精調(diào) Chat 模型是在 100 萬人類標(biāo)記數(shù)據(jù)上訓(xùn)練的。
【LLMs 入門實(shí)戰(zhàn)】Chinese-Llama-2-7b 模型學(xué)習(xí)與實(shí)戰(zhàn)
https://huggingface.co/ziqingyang/chinese-llama-2-7b
https://huggingface.co/LinkSoul/Chinese-Llama-2-7b-4bit
官網(wǎng)：https://ai.meta.com/llama/
論文名稱：《Llama 2: Open Foundation and Fine-Tuned Chat Models》
論文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
演示平臺：https://huggingface.co/spaces/LinkSoul/Chinese-Llama-2-7b
Github 代碼：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
模型下載地址：
介紹：自打 LLama-2 發(fā)布后就一直在等大佬們發(fā)布 LLama-2 的適配中文版，也是這幾天蹲到了一版由 LinkSoul 發(fā)布的 Chinese-Llama-2-7b，其共發(fā)布了一個常規(guī)版本和一個 4-bit 的量化版本，今天我們主要體驗(yàn)下 Llama-2 的中文邏輯順便看下其訓(xùn)練樣本的樣式，后續(xù)有機(jī)會把訓(xùn)練和微調(diào)跑起來。
第十重 Baichuan
Baichuan-13B
【LLMs 入門實(shí)戰(zhàn) 】 Baichuan-13B 模型學(xué)習(xí)與實(shí)戰(zhàn)
更大尺寸、更多數(shù)據(jù)：Baichuan-13B 在 Baichuan-7B 的基礎(chǔ)上進(jìn)一步擴(kuò)大參數(shù)量到 130 億，并且在高質(zhì)量的語料上訓(xùn)練了 1.4 萬億 tokens，超過 LLaMA-13B 40%，是當(dāng)前開源 13B 尺寸下訓(xùn)練數(shù)據(jù)量最多的模型。支持中英雙語，使用 ALiBi 位置編碼，上下文窗口長度為 4096。
同時開源預(yù)訓(xùn)練和對齊模型：預(yù)訓(xùn)練模型是適用開發(fā)者的“基座”，而廣大普通用戶對有對話功能的對齊模型具有更強(qiáng)的需求。因此本次開源同時發(fā)布了對齊模型（Baichuan-13B-Chat），具有很強(qiáng)的對話能力，開箱即用，幾行代碼即可簡單的部署。
更高效的推理：為了支持更廣大用戶的使用，本次同時開源了 int8 和 int4 的量化版本，相對非量化版本在幾乎沒有效果損失的情況下大大降低了部署的機(jī)器資源門檻，可以部署在如 Nvidia 3090 這樣的消費(fèi)級顯卡上。
開源免費(fèi)可商用：Baichuan-13B 不僅對學(xué)術(shù)研究完全開放，開發(fā)者也僅需郵件申請并獲得官方商用許可后，即可以免費(fèi)商用。
官方微調(diào)過（指令對齊）:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
預(yù)訓(xùn)練大模型（未經(jīng)過微調(diào)）:https://huggingface.co/baichuan-inc/Baichuan-13B-Base
baichuan-inc/Baichuan-13B：https://github.com/baichuan-inc/Baichuan-13B
Baichuan-13B 大模型：
介紹：Baichuan-13B 是由百川智能繼 Baichuan-7B 之后開發(fā)的包含 130 億參數(shù)的開源可商用的大規(guī)模語言模型，在權(quán)威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下幾個特點(diǎn)：
baichuan-7B
【LLMs 入門實(shí)戰(zhàn) 】 baichuan-7B 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼： https://github.com/baichuan-inc/baichuan-7B
模型：
介紹：由百川智能開發(fā)的一個開源可商用的大規(guī)模預(yù)訓(xùn)練語言模型。基于Transformer結(jié)構(gòu)，在大約1.2萬億tokens上訓(xùn)練的70億參數(shù)模型，支持中英雙語，上下文窗口長度為4096。在標(biāo)準(zhǔn)的中文和英文權(quán)威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
第二重 Stanford Alpaca 7B
【LLMs 入門實(shí)戰(zhàn) —— 五 】Stanford Alpaca 7B 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：本教程提供了對LLaMA模型進(jìn)行微調(diào)的廉價親民 LLMs 學(xué)習(xí)和微調(diào) 方式，主要介紹對于 Stanford Alpaca 7B 模型在特定任務(wù)上 的 微調(diào)實(shí)驗(yàn)，所用的數(shù)據(jù)為OpenAI提供的GPT模型API生成質(zhì)量較高的指令數(shù)據(jù)（僅52k）。
第三重 Chinese-LLaMA-Alpaca
【LLMs 入門實(shí)戰(zhàn) —— 六 】Chinese-LLaMA-Alpaca 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：本教程主要介紹了 Chinese-ChatLLaMA,提供中文對話模型 ChatLLama 、中文基礎(chǔ)模型 LLaMA-zh 及其訓(xùn)練數(shù)據(jù)。 模型基于 TencentPretrain 多模態(tài)預(yù)訓(xùn)練框架構(gòu)建
第四重 小羊駝 Vicuna
【LLMs 入門實(shí)戰(zhàn) —— 七 】小羊駝 Vicuna模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：UC伯克利學(xué)者聯(lián)手CMU、斯坦福等，再次推出一個全新模型70億/130億參數(shù)的Vicuna，俗稱「小羊駝」（駱馬）。小羊駝號稱能達(dá)到GPT-4的90%性能
第五重 MOSS
【LLMs 入門實(shí)戰(zhàn) —— 十三 】MOSS 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：MOSS是一個支持中英雙語和多種插件的開源對話語言模型，moss-moon系列模型具有160億參數(shù)，在FP16精度下可在單張A100/A800或兩張3090顯卡運(yùn)行，在INT4/8精度下可在單張3090顯卡運(yùn)行。MOSS基座語言模型在約七千億中英文以及代碼單詞上預(yù)訓(xùn)練得到，后續(xù)經(jīng)過對話指令微調(diào)、插件增強(qiáng)學(xué)習(xí)和人類偏好訓(xùn)練具備多輪對話能力及使用多種插件的能力。
局限性：由于模型參數(shù)量較小和自回歸生成范式，MOSS仍然可能生成包含事實(shí)性錯誤的誤導(dǎo)性回復(fù)或包含偏見/歧視的有害內(nèi)容，請謹(jǐn)慎鑒別和使用MOSS生成的內(nèi)容，請勿將MOSS生成的有害內(nèi)容傳播至互聯(lián)網(wǎng)。若產(chǎn)生不良后果，由傳播者自負(fù)。
第六重 BLOOMz
【LLMs 入門實(shí)戰(zhàn) —— 十四 】 BLOOMz 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：大型語言模型（LLMs）已被證明能夠根據(jù)一些演示或自然語言指令執(zhí)行新的任務(wù)。雖然這些能力已經(jīng)導(dǎo)致了廣泛的采用，但大多數(shù)LLM是由資源豐富的組織開發(fā)的，而且經(jīng)常不對公眾開放。作為使這一強(qiáng)大技術(shù)民主化的一步，我們提出了BLOOM，一個176B參數(shù)的開放性語言模型，它的設(shè)計(jì)和建立要感謝數(shù)百名研究人員的合作。BLOOM是一個僅有解碼器的Transformer語言模型，它是在ROOTS語料庫上訓(xùn)練出來的，該數(shù)據(jù)集包括46種自然語言和13種編程語言（共59種）的數(shù)百個來源。我們發(fā)現(xiàn)，BLOOM在各種基準(zhǔn)上取得了有競爭力的性能，在經(jīng)歷了多任務(wù)提示的微調(diào)后，其結(jié)果更加強(qiáng)大。
模型地址：https://huggingface.co/bigscience/bloomz
第七重 BELLE
【LLMs 入門實(shí)戰(zhàn) —— 十五 】 BELLE 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：相比如何做好大語言模型的預(yù)訓(xùn)練，BELLE更關(guān)注如何在開源預(yù)訓(xùn)練大語言模型的基礎(chǔ)上，幫助每一個人都能夠得到一個屬于自己的、效果盡可能好的具有指令表現(xiàn)能力的語言模型，降低大語言模型、特別是中文大語言模型的研究和應(yīng)用門檻。為此，BELLE項(xiàng)目會持續(xù)開放指令訓(xùn)練數(shù)據(jù)、相關(guān)模型、訓(xùn)練代碼、應(yīng)用場景等，也會持續(xù)評估不同訓(xùn)練數(shù)據(jù)、訓(xùn)練算法等對模型表現(xiàn)的影響。BELLE針對中文做了優(yōu)化，模型調(diào)優(yōu)僅使用由ChatGPT生產(chǎn)的數(shù)據(jù)（不包含任何其他數(shù)據(jù)）。
github 地址: https://github.com/LianjiaTech/BELLE
第八重 ChatRWKV
【LLMs 入門實(shí)戰(zhàn) —— 十八 】 ChatRWKV 模型學(xué)習(xí)與實(shí)戰(zhàn)
Raven 模型：適合直接聊天，適合 +i 指令。有很多種語言的版本，看清楚用哪個。適合聊天、完成任務(wù)、寫代碼。可以作為任務(wù)去寫文稿、大綱、故事、詩歌等等，但文筆不如 testNovel 系列模型。
Novel-ChnEng 模型：中英文小說模型，可以用 +gen 生成世界設(shè)定（如果會寫 prompt，可以控制下文劇情和人物），可以寫科幻奇幻。不適合聊天，不適合 +i 指令。
Novel-Chn 模型：純中文網(wǎng)文模型，只能用 +gen 續(xù)寫網(wǎng)文（不能生成世界設(shè)定等等），但是寫網(wǎng)文寫得更好（也更小白文，適合寫男頻女頻）。不適合聊天，不適合 +i 指令。
Novel-ChnEng-ChnPro 模型：將 Novel-ChnEng 在高質(zhì)量作品微調(diào)（名著，科幻，奇幻，古典，翻譯，等等）。
目前 RWKV 有大量模型，對應(yīng)各種場景，各種語言，請選擇合適的模型：
github: https://github.com/BlinkDL/ChatRWKV
模型文件：https://huggingface.co/BlinkDL
第九重 ChatGPT
《ChatGPT Prompt Engineering for Developers》 學(xué)習(xí) 之 如何 編寫 Prompt？
第一個方面：編寫清晰、具體的指令
第二個方面：給模型些時間思考
吳恩達(dá)老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》
動機(jī)：吳恩達(dá)老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》課程
介紹：如何編寫 Prompt:
《ChatGPT Prompt Engineering for Developers》 學(xué)習(xí) 之 如何 優(yōu)化 Prompt？
吳恩達(dá)老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》
動機(jī)：吳恩達(dá)老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》課程
介紹：優(yōu)化編寫好 Prompt
《ChatGPT Prompt Engineering for Developers》 學(xué)習(xí) 之 如何使用 Prompt 處理 NLP特定任務(wù)？
吳恩達(dá)老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》
動機(jī)：吳恩達(dá)老師與OpenAI合作推出《ChatGPT Prompt Engineering for Developers》課程
介紹：如何構(gòu)建ChatGPT Prompt以處理文本摘要、推斷和轉(zhuǎn)換(翻譯、糾錯、風(fēng)格轉(zhuǎn)換、格式轉(zhuǎn)換等)這些常見的NLP任務(wù)
第九層 LLMs to interview
LLMs 降龍十八掌
為什么 LLMs 不容易出現(xiàn) 災(zāi)難性遺忘問題？
LLMs to NLP 下游任務(wù) 經(jīng)驗(yàn)貼
訓(xùn)練數(shù)據(jù)如何構(gòu)建？
如何 融入 之前對話信息
如果只跑一個私有大模型，但是很多用戶同時訪問。這些針對不同用戶的chat history怎么存取比較高效？
chatglm微調(diào)完針對相同的問題輸出都是一樣的，有辦法讓他隨機(jī)一點(diǎn)嗎？
使用fastllm加速推理
如何解決大模型遺忘問題#ChatGPT# #LLM (大型語言模型)
Fine-Tuning max_length 選擇 問題
Fine-Tuning Learning rate 選擇 問題
如何 向GPT/LLM模型添加額外知識？
如何解決LLM大模型fine-tune過擬合問題？
英文模型需要做詞表擴(kuò)充嗎？
全參finetune，數(shù)據(jù)配比?
百川13b強(qiáng)化學(xué)習(xí)時遇到參數(shù)不更新的問題?
使用lion優(yōu)化器節(jié)省顯存?
使用lora訓(xùn)練的參數(shù)配置?
...
LLMs Fine-Tuning 經(jīng)驗(yàn)貼
LLMs 推理 經(jīng)驗(yàn)貼
LLMs 部署 經(jīng)驗(yàn)貼
LLMs 多輪對話 經(jīng)驗(yàn)貼
數(shù)據(jù)構(gòu)建篇
LLMs 胡思亂想
【LLMs】大模型 千面郎君
大模型【LLMs】提示工程 是什么？
提示工程 如何添加進(jìn) 大模型【LLMs】？
微調(diào)（FineTuning） vs 提示工程？
微調(diào)（FineTuning） vs 提示工程 在應(yīng)用場景中關(guān)系雨聯(lián)系？
大模型【LLMs】Few-shot提示方法 是什么？
大模型【LLMs】中有一種 涌現(xiàn)現(xiàn)象，你知道么？
大模型【LLMs】涌現(xiàn)現(xiàn)象主要體現(xiàn)在哪些方面？
大模型【LLMs】涌現(xiàn)現(xiàn)象主激活方式？
大模型【LLMs】思維鏈問題？
大模型【LLMs】思維鏈本質(zhì)是什么？
大模型【LLMs】思維鏈優(yōu)點(diǎn)是什么？
大模型【LLMs】思維鏈類型和策略？
大模型【LLMs】逐步Zero-shot 介紹？
大模型【LLMs】Zero-shot-CoT提示策略定義？
大模型【LLMs】Zero-shot-CoT提示策略應(yīng)用方法？
大模型【LLMs】Few-shot-CoT提示策略定義？
大模型【LLMs】Few-shot-CoT提示策略核心思想是什么？
大模型【LLMs】Few-shot-CoT提示策略應(yīng)用方法是什么？
大模型【LLMs】泛化問題？
大模型【LLMs】微調(diào)問題？
大模型【LLMs】微調(diào)有哪些優(yōu)點(diǎn)？
大模型【LLMs】指令微調(diào)問題？
簡單介紹強(qiáng)化學(xué)習(xí)？
簡單介紹一下 RLHF？
簡單 介紹一下 大模型【LLMs】？
大模型【LLMs】后面跟的 175B、60B、540B等 指什么？
大模型【LLMs】具有什么優(yōu)點(diǎn)？
大模型【LLMs】具有什么缺點(diǎn)？
大模型常識面
大模型強(qiáng)化學(xué)習(xí)面
大模型【LLMs】微調(diào)篇
大模型【LLMs】思維鏈篇
大模型【LLMs】涌現(xiàn)現(xiàn)象篇
大模型【LLMs】提示工程篇
大模型的重復(fù)生成現(xiàn)象如何緩解？
為何會出現(xiàn)重復(fù)生成現(xiàn)象？
如何減少大模型重復(fù)生成？
LoRA這種微調(diào)方法和全參數(shù)比起來有什么劣勢嗎？
什么是 LoRA？
LoRA 優(yōu)點(diǎn)是什么？
LoRA 缺點(diǎn)是什么？
LoRA這種微調(diào)方法和全參數(shù)比起來有什么劣勢嗎？
LoRA這種微調(diào)方法和全參數(shù) 如何選擇？
LLaMa-1 從原理到實(shí)踐分析
LLaMa-1 理論介紹
LLaMa 模型架構(gòu)介紹
LLaMa 優(yōu)化器介紹
LLaMa-1 實(shí)踐介紹
LLaMa-2 從原理到實(shí)踐分析
LLaMa-2 理論介紹
LLaMa-2 實(shí)踐介紹
基于PyTorch來優(yōu)化大模型訓(xùn)練的內(nèi)存（顯存）
為什么需要 使用梯度累積創(chuàng)建微批次（Using Gradient Accumulation to Create Microbatches）？
什么是 使用梯度累積創(chuàng)建微批次（Using Gradient Accumulation to Create Microbatches）？
...
為什么需要 降低訓(xùn)練批處理大小（Reducing the Batchsize）？
什么是 降低訓(xùn)練批處理大小（Reducing the Batchsize）？
...
為什么需要 低精度訓(xùn)練（Lower-Precision Training）？
什么是 低精度訓(xùn)練（Lower-Precision Training）？
...
為什么需要 混合精度訓(xùn)練（Mixed-Precision Training）？
什么是 混合精度訓(xùn)練（Mixed-Precision Training）？
混合精度訓(xùn)練（Mixed-Precision Training）實(shí)現(xiàn)步驟？
...
LLMs Fine-Tuning 框架依賴問題？
LLMs Fine-Tuning 顯存問題？
如何解決大模型遺忘問題#ChatGPT# #LLM (大型語言模型)？
...
動機(jī)：峰值內(nèi)存（顯存）的消耗直接決定了 機(jī)器 是否 支撐大模型訓(xùn)練
LLMs Fine-Tuning 經(jīng)驗(yàn)貼
混合精度訓(xùn)練（Mixed-Precision Training）
低精度訓(xùn)練（Lower-Precision Training）
降低訓(xùn)練批處理大小（Reducing the Batchsize）
使用梯度累積創(chuàng)建微批次（Using Gradient Accumulation to Create Microbatches）
如何緩解大模型幻覺？
為什么 會 出現(xiàn) 大模型幻覺？
如何 緩解 大模型幻覺？
第八層 LLMs to Inference acceleration
LLM（大語言模型）部署加速方法——PagedAttention
什么是 PagedAttention？
PagedAttention 如何存儲 連續(xù)的key和value？
PagedAttention 技術(shù)細(xì)節(jié)？
PagedAttention 如何 實(shí)現(xiàn)安全共享？
PagedAttention 源碼介紹？
LLM（大語言模型）部署加速方法——Faster Transformer
為什么需要 Faster Transformer？
什么是 FasterTransformer？
FasterTransformer 核心？
FasterTransformer 優(yōu)化？
純Python超輕量高性能LLM推理框架 —— LightLLM
TGI由于顯存碎片化嚴(yán)重，所以很難達(dá)到較高的吞吐量；
vLLM因引入了PageAttention，但是由于整體實(shí)現(xiàn)細(xì)節(jié)更利于小模型推理，所以在大模型上的并發(fā)性能并不是十分理想（使用的默認(rèn)配置）；
相比之下，LightLLM則可以在各種大小的模型下都保持穩(wěn)健的性能，在大模型上（LLaMA-65B）相對TGI和vLLM實(shí)現(xiàn)了3倍左右的2提升。
顯存碎片化嚴(yán)重
請求調(diào)度效率低
kernel定制化難度高
為什么 需要 LightLLM ?
介紹：基于純Python語言的大模型推理部署框架LightLLM，方便研究員進(jìn)行輕量級的本地部署和定制修改，用于快速擴(kuò)展對不同模型的支持，吸納層出不窮的優(yōu)秀開源特性，探索最優(yōu)服務(wù)架構(gòu)。
LightLLM 性能表現(xiàn)
大模型推理加速工具 —— vLLM
最先進(jìn)的服務(wù)吞吐量；
PagedAttention 可以有效的管理注意力的鍵和值；
動態(tài)批處理請求；
優(yōu)化好的 CUDA 內(nèi)核；
介紹：vLLM是一個開源的LLM推理和服務(wù)引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力鍵和值。
vLLM 具有哪些特點(diǎn) ?
第二層 LLMs to Parameter Efficient Fine-Tuning (PEFT)
第一重 分布式訓(xùn)練神器
分布式訓(xùn)練神器 之 ZeRO 學(xué)習(xí)
動機(jī)：雖然 DataParallel (DP) 因?yàn)楹唵我讓?shí)現(xiàn)，所以目前應(yīng)用相比于其他兩種 廣泛，但是 由于 DataParallel (DP) 需要 每張卡都存儲一個模型，導(dǎo)致 顯存大小 成為 制約模型規(guī)模 的 主要因素。
核心思路：去除數(shù)據(jù)并行中的冗余參數(shù)，使每張卡只存儲一部分模型狀態(tài)，從而減少顯存占用。
圖解分布式訓(xùn)練（一） —— 流水線并行（Pipeline Parallelism）
回顧C(jī)hatGPT的發(fā)展歷程，我們可以總結(jié)出大語言模型（LLM）取得驚艷效果的要點(diǎn)（重要性從高到低排序）：
愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實(shí)
高質(zhì)量的訓(xùn)練語料
高效的分布式訓(xùn)練框架和充沛優(yōu)質(zhì)的硬件資源
算法的迭代創(chuàng)新
動機(jī)：
介紹：在大模型訓(xùn)練這個系列里，我們將一起探索學(xué)習(xí)幾種經(jīng)典的分布式并行范式，包括流水線并行（Pipeline Parallelism），數(shù)據(jù)并行（Data Parallelism）和張量并行（Tensor Parallesim）。
圖解分布式訓(xùn)練（二） —— nn.DataParallel
計(jì)算如何協(xié)同？因?yàn)槊總€GPU都需要計(jì)算模型參數(shù)的梯度并將其發(fā)送給其他GPU，因此需要使用同步機(jī)制來保證計(jì)算正確性。一般有兩種同步方式：
數(shù)據(jù)同步：在每個GPU上計(jì)算模型參數(shù)的梯度，然后將梯度發(fā)送到其他GPU上進(jìn)行匯總，最終更新模型參數(shù)。
模型同步：在每個GPU上計(jì)算模型參數(shù)的梯度，然后將模型參數(shù)廣播到其他GPU上進(jìn)行匯總，最終更新模型參數(shù)。
多GPU并行訓(xùn)練的原理就是將模型參數(shù)和數(shù)據(jù)分布到多個GPU上，同時利用多個GPU計(jì)算加速訓(xùn)練過程。具體實(shí)現(xiàn)需要考慮以下兩個問題：
數(shù)據(jù)如何劃分？因?yàn)槟Ｐ托枰幚淼臄?shù)據(jù)通常很大，將所有數(shù)據(jù)放入單個GPU內(nèi)存中可能會導(dǎo)致內(nèi)存不足，因此我們需要將數(shù)據(jù)劃分到多個GPU上。
動機(jī)：
介紹：
圖解分布式訓(xùn)練（三） —— nn.parallel.DistributedDataParallel
**數(shù)據(jù)如何劃分？**因?yàn)槟Ｐ托枰幚淼臄?shù)據(jù)通常很大，將所有數(shù)據(jù)放入單個GPU內(nèi)存中可能會導(dǎo)致內(nèi)存不足，因此我們需要將數(shù)據(jù)劃分到多個GPU上。一般有兩種劃分方式：
**計(jì)算如何協(xié)同？**因?yàn)槊總€GPU都需要計(jì)算模型參數(shù)的梯度并將其發(fā)送給其他GPU，因此需要使用同步機(jī)制來保證計(jì)算正確性。一般有兩種同步方式：
DP 只支持 單機(jī)多卡場景，在 多機(jī)多卡 場景 下，DP 的 通訊問題將被放大:
數(shù)據(jù)并行：將數(shù)據(jù)分割成多個小批次，每個GPU處理其中的一個小批次，然后將梯度匯總后更新模型參數(shù)。
模型并行：將模型分解成多個部分，每個GPU處理其中一個部分，并將處理結(jié)果傳遞給其他GPU以獲得最終結(jié)果。
數(shù)據(jù)同步：在每個GPU上計(jì)算模型參數(shù)的梯度，然后將梯度發(fā)送到其他GPU上進(jìn)行匯總，最終更新模型參數(shù)。
模型同步：在每個GPU上計(jì)算模型參數(shù)的梯度，然后將模型參數(shù)廣播到其他GPU上進(jìn)行匯總，最終更新模型參數(shù)。
DDP首先要解決的就是通訊問題：將Server上的通訊壓力均衡轉(zhuǎn)到各個Worker上。實(shí)現(xiàn)這一點(diǎn)后，可以進(jìn)一步去Server，留Worker。
動機(jī)：
介紹：上節(jié)講到 DP 只支持 單機(jī)多卡場景，主要原因是 DP 無法數(shù)據(jù)并行中通訊負(fù)載不均的問題， 而 DDP 能夠解決 該問題 的 核心在于 Ring-AllReduce。它由百度最先提出，非常有效地解決了數(shù)據(jù)并行中通訊負(fù)載不均的問題，使得DDP得以實(shí)現(xiàn)。
圖解分布式訓(xùn)練（四） —— torch.multiprocessing 詳細(xì)解析
介紹：torch.multiprocessing是本機(jī)multiprocessing模塊的封裝。封裝了multiprocessing模塊。它注冊自定義的reducer，它使用共享內(nèi)存為不同進(jìn)程中的相同數(shù)據(jù)提供視圖共享。一旦張量/存儲被移動到shared_memory（參見sharememory()），就可以將其發(fā)送到其他進(jìn)程而不進(jìn)行其它任何操作。
圖解分布式訓(xùn)練（五） —— AMP混合精度訓(xùn)練 詳細(xì)解析
動機(jī)：PyTorch 1.6版本今天發(fā)布了，帶來的最大更新就是自動混合精度。
介紹：在某些上下文中torch.FloatTensor有優(yōu)勢，在某些上下文中torch.HalfTensor有優(yōu)勢唄。答案進(jìn)一步可以轉(zhuǎn)化為，相比于之前的默認(rèn)的torch.FloatTensor，torch.HalfTensor有時具有優(yōu)勢，有時劣勢不可忽視。
圖解分布式訓(xùn)練（六） —— Pytorch的 DeepSpeed 詳細(xì)解析
最常見的深度學(xué)習(xí)框架應(yīng)該是TensorFlow、Pytorch、Keras，但是這些框架在面向大規(guī)模模型的時候都不是很方便。
比如Pytorch的分布式并行計(jì)算框架（Distributed Data Parallel，簡稱DDP），它也僅僅是能將數(shù)據(jù)并行，放到各個GPU的模型上進(jìn)行訓(xùn)練。
也就是說，DDP的應(yīng)用場景在你的模型大小大于顯卡顯存大小時，它就很難繼續(xù)使用了，除非你自己再將模型參數(shù)拆散分散到各個GPU上。
動機(jī)：
介紹：在分布式計(jì)算環(huán)境中，需要理解幾個非常基礎(chǔ)的概念：節(jié)點(diǎn)編號、全局進(jìn)程編號、局部進(jìn)程編號、全局總進(jìn)程數(shù)和主節(jié)點(diǎn)。其中，主節(jié)點(diǎn)負(fù)責(zé)協(xié)調(diào)所有其他節(jié)點(diǎn)和進(jìn)程的工作，因此是整個系統(tǒng)的關(guān)鍵部分。
圖解分布式訓(xùn)練（七） —— accelerate 分布式訓(xùn)練 詳細(xì)解析
介紹：PyTorch Accelerate 是一個 PyTorch 的加速工具包，旨在簡化 PyTorch 訓(xùn)練和推斷的開發(fā)過程，并提高性能。它是由 Hugging Face、NVIDIA、AWS 和 Microsoft 等公司聯(lián)合開發(fā)的，是一個開源項(xiàng)目。
第二重 LLMs Trick
LLMs Trick
第三重 LLMTune
【LLMs 入門實(shí)戰(zhàn) —— 十六 】 LLMTune 模型學(xué)習(xí)與實(shí)戰(zhàn)
動機(jī)：大語言模型雖然能力很強(qiáng)，目前開源生態(tài)也很豐富，但是在特定領(lǐng)域微調(diào)大模型依然需要大規(guī)格的顯卡。例如，清華大學(xué)發(fā)布的ChatGLM-6B，參數(shù)規(guī)模60億，在沒有量化的情況下微調(diào)需要14GB顯存（parameter-efficient fine-tuning，PEFT)。在沒有任何優(yōu)化的前提下，每10億參數(shù)的全精度（32bit）模型載入到顯存中就需要4GB，而int8量化后也需要1GB顯存。而目前開源最強(qiáng)的模型LLaMA，其最高參數(shù)維650億規(guī)模，全精度模型載入就需要260GB，顯然已經(jīng)超出了大部分人的硬件水平。更不要說對模型進(jìn)行微調(diào)（微調(diào)需要訓(xùn)練更新參數(shù)，推理只需要前向計(jì)算即可，因此，微調(diào)需要更多的顯存才能支持）。
介紹：Cornell Tech開源的LLMTune就是為了降低大模型微調(diào)難度所提出的一種解決方案。對于650億參數(shù)的LLaMA模型微調(diào)僅需要40GB顯存即可。
github 地址: https://github.com/kuleshov-group/llmtune
第四重 QLoRA
【LLMs 入門實(shí)戰(zhàn) —— 二十 】 QLoRA 模型學(xué)習(xí)與實(shí)戰(zhàn)
特點(diǎn)：
（a）4位NormalFloat（NF4），這是一種對于正態(tài)分布權(quán)重來說在信息論上是最優(yōu)的數(shù)據(jù)類型；
（b）雙量化，通過量化量化常數(shù)來減少平均內(nèi)存占用；
（c）分頁優(yōu)化器，用于管理內(nèi)存峰值。
在Vicuna基準(zhǔn)測試中表現(xiàn)優(yōu)于所有先前公開發(fā)布的模型，達(dá)到ChatGPT性能水平的99.3%，僅需要單個GPU上的24小時微調(diào)時間；
QLORA引入了一些創(chuàng)新來節(jié)省內(nèi)存而不犧牲性能：
https://huggingface.co/BlinkDL
artidoro/qlora
模型：timdettmers (Tim Dettmers)
量化代碼：TimDettmers/bitsandbytes
BLOG : Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
Demo環(huán)境：Guanaco Playground Tgi - a Hugging Face Space by uwnlp
介紹：5月24日華盛頓大學(xué)的研究者發(fā)布了QLoRA技術(shù)及用其生成的Guanaco大模型。
【LLMs 入門實(shí)戰(zhàn) —— 二十七 】【QLoRA實(shí)戰(zhàn)】使用單卡高效微調(diào)bloom-7b1
https://huggingface.co/BlinkDL
artidoro/qlora
模型：timdettmers (Tim Dettmers)
量化代碼：TimDettmers/bitsandbytes
BLOG : Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
【LLMs 入門實(shí)戰(zhàn) 】Anima 學(xué)習(xí)與實(shí)戰(zhàn)
Github 代碼：https://github.com/lyogavin/Anima
模型：https://huggingface.co/lyogavin/Anima33B
動機(jī)：之前大部分開源可finetune的模型大都是比較小的模型7B或者13B，雖然可以在一些簡單的chatbot評測集上，通過finetune訓(xùn)練有不錯的表現(xiàn)。但是由于這些模型規(guī)模還是有限，LLM核心的reasoning的能力還是相對比較弱。這就是為什么很多這種小規(guī)模的模型在實(shí)際應(yīng)用的場景表現(xiàn)像是個玩具。chatbot評測集比較簡單，真正比較考驗(yàn)?zāi)Ｐ湍芰Φ膹?fù)雜邏輯推理及數(shù)學(xué)問題上小模型和大模型差距還是很明顯的。
介紹：QLoRA的優(yōu)化方法，第一次讓33B規(guī)模的模型可以比較民主化的，比較低成本的finetune訓(xùn)練，讓33B模型的普及使用成為了可能。我們認(rèn)為33B模型既可以發(fā)揮大規(guī)模模型的比較強(qiáng)的推理能力，又可以針對私有業(yè)務(wù)領(lǐng)域數(shù)據(jù)進(jìn)行靈活的finetune訓(xùn)練提升對于LLM的控制力。
第三層 LLMs to Artifact
第一重 langchain
【LLMs 入門實(shí)戰(zhàn) —— 十二 】基于 本地知識庫 的高效 ??langchain-ChatGLM
介紹：langchain-ChatGLM是一個基于本地知識的問答機(jī)器人，使用者可以自由配置本地知識，用戶問題的答案也是基于本地知識生成的。
【LLMs 入門實(shí)戰(zhàn) —— 三十一 】Vicuna-LangChain 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：一個簡單的類LangChain實(shí)現(xiàn)，基于Sentence Embedding+本地知識庫，以Vicuna作為生成模型。支持中英雙語，支持pdf、html和docx格式的文檔作為知識 庫。
Vicuna-LangChain 思路
提取知識庫文件夾中的文檔文本，分割成chunk_length大小的文本塊
通過shibing624/text2vec-base-chinese模型計(jì)算各文本塊的嵌入
計(jì)算問題文本嵌入和各文本塊的嵌入的余弦相似度
返回余弦相似度最高的k個文本作為給定信息生成prompt
將prompt歷史替換為最初問的問題
將prompt交給vicuna模型生成答案
【LLMs 入門實(shí)戰(zhàn)】基于 本地知識庫 的高效 ??langchain-ChatGLM2
介紹：langchain-ChatGLM2是一個基于本地知識的問答機(jī)器人，使用者可以自由配置本地知識，用戶問題的答案也是基于本地知識生成的。
第二重 wenda
【LLMs 入門實(shí)戰(zhàn)】基于 本地知識庫 的高效 ??wenda+ChatGLM2-6B
知識庫：支持對接本地離線向量庫、本地搜索引擎、在線搜索引擎等。
多種大語言模型：目前支持離線部署模型有chatGLM-6B\chatGLM2-6B、chatRWKV、llama系列(不推薦中文用戶)、moss(不推薦)、baichuan(需配合lora使用，否則效果差)、Aquila-7B，在線API訪問openai api和chatGLM-130b api。
Auto腳本：通過開發(fā)插件形式的JavaScript腳本，為平臺附件功能，實(shí)現(xiàn)包括但不限于自定義對話流程、訪問外部API、在線切換LoRA模型。
其他實(shí)用化所需能力：對話歷史管理、內(nèi)網(wǎng)部署、多用戶同時使用等。
介紹：本項(xiàng)目設(shè)計(jì)目標(biāo)為實(shí)現(xiàn)針對特定環(huán)境的高效內(nèi)容生成，同時考慮個人和中小企業(yè)的計(jì)算資源局限性，以及知識安全和私密性問題。為達(dá)目標(biāo)，平臺化集成了以下能力：
第三重 AutoGPT
AutoGPT 使用和部署
介紹：Auto-GPT是一個基于ChatGPT的工具，他能幫你自動完成各種任務(wù)，比如寫代碼、寫報告、做調(diào)研等等。使用它時，你只需要告訴他要扮演的角色和要實(shí)現(xiàn)的目標(biāo)，然后他就會利用ChatGPT和谷歌搜索等工具，不斷“思考”如何接近目標(biāo)并執(zhí)行，你甚至可以看到他的思考過程。
第四重 Knowledge Extraction
【LLMs 入門實(shí)戰(zhàn) 】 DeepKE-LLM 模型學(xué)習(xí)與實(shí)戰(zhàn)
DeepKE-LLM鏈接：https://github.com/zjunlp/DeepKE/tree/main/example/llm
OpenKG地址：http://openkg.cn/tool/deepke
Gitee地址：https://gitee.com/openkg/deepke/tree/main/example/llm
介紹：DeepKE是一個開源可擴(kuò)展的知識圖譜抽取工具，可實(shí)現(xiàn)命名實(shí)體識別、關(guān)系抽取和屬性抽取等抽取任務(wù)，并支持低資源少樣本、文檔篇章和多模態(tài)等復(fù)雜場景。在大模型時代，我們對DeepKE進(jìn)行了全面升級并發(fā)布大模型版DeepKE-LLM（智析抽取大模型）。該版本基于大模型對數(shù)據(jù)進(jìn)行智能解析以實(shí)現(xiàn)知識抽取，支持多種大模型、遵循指令和自定義知識類型、格式。
第四層 LLMs to Text-to-Image
第一重 Stable Diffusion
【LLMs 入門實(shí)戰(zhàn) —— 二十二 】Stable Diffusion 模型學(xué)習(xí)與實(shí)戰(zhàn)
Github 地址：https://github.com/gediz/lstein-stable-diffusion
預(yù)訓(xùn)練模型：https://huggingface.co/CompVis/stable-diffusion
介紹：Stable Diffusion是一種潛在擴(kuò)散模型（Latent Diffusion Model），能夠從文本描述中生成詳細(xì)的圖像。它還可以用于圖像修復(fù)、圖像繪制、文本到圖像和圖像到圖像等任務(wù)。簡單地說，我們只要給出想要的圖片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的圖像！
【LLMs 入門實(shí)戰(zhàn) —— 二十三 】Stable Diffusion Webui 模型學(xué)習(xí)與實(shí)戰(zhàn)
Github 地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui
預(yù)訓(xùn)練模型：https://huggingface.co/CompVis/stable-diffusion
介紹：Stable Diffusion是一款功能異常強(qiáng)大的AI圖片生成器。它不僅支持生成圖片，使用各種各樣的模型來達(dá)到你想要的效果，還能訓(xùn)練你自己的專屬模型。WebUI使得Stable Diffusion有了一個更直觀的用戶界面，更適合新手用戶。
【LLMs 入門實(shí)戰(zhàn) —— 二十四 】Novelai 模型學(xué)習(xí)與實(shí)戰(zhàn)
【LLMs 入門實(shí)戰(zhàn) —— 二十五 】lora 模型學(xué)習(xí)與實(shí)戰(zhàn)
Github 地址：https://github.com/microsoft/LoRA
預(yù)訓(xùn)練模型：https://huggingface.co/johnsmith007/LoRAs/tree/main
介紹：LoRA的全稱是LoRA: Low-Rank Adaptation of Large Language Models，可以理解為stable diffusion（SD)模型的一種插件，和hyper-network，controlNet一樣，都是在不修改SD模型的前提下，利用少量數(shù)據(jù)訓(xùn)練出一種畫風(fēng)/IP/人物，實(shí)現(xiàn)定制化需求，所需的訓(xùn)練資源比訓(xùn)練SD模要小很多，非常適合社區(qū)使用者和個人開發(fā)者。
第五層 LLMs to Visual Question Answering (VQA)
第一重 BLIP
【LLMs 入門實(shí)戰(zhàn) —— 二十二】 BLIP 模型學(xué)習(xí)與實(shí)戰(zhàn)
（1） 編碼器-解碼器 (MED) 的多模式混合：一種用于有效多任務(wù)預(yù)訓(xùn)練和靈活遷移學(xué)習(xí)的新模型架構(gòu)。MED可以作為單模態(tài)編碼器、基于圖像的文本編碼器或基于圖像的文本解碼器工作。該模型與三個視覺語言目標(biāo)聯(lián)合預(yù)訓(xùn)練：圖像文本對比學(xué)習(xí)、圖像文本匹配和圖像條件語言建模。
（2） 字幕和過濾（Captioning and Filtering，CapFilt）：一種新的數(shù)據(jù)集增強(qiáng)方法，用于從噪聲圖像-文本對中學(xué)習(xí)。作者將預(yù)先訓(xùn)練的MED分為兩個模塊: 一個字幕器，用于生成給定web圖像的合成字幕，以及一個過濾器，用于從原始web文本和合成文本中刪除嘈雜的字幕。
模型角度:
數(shù)據(jù)角度: 大多數(shù)SOTA的方法（如CLIP、ALBEF等）都在從web上收集到的圖文對上進(jìn)行預(yù)訓(xùn)練。盡管通過擴(kuò)展數(shù)據(jù)集獲得了性能提升，但 BLIP 的研究表明，對于視覺語言學(xué)習(xí)來說，有噪聲的網(wǎng)絡(luò)文本是次優(yōu)的。
現(xiàn)有方法：大多數(shù)方法要么采用基于編碼器的模型，要么采用編碼器-解碼器模型。
存在問題：基于編碼器的模型不太容易直接轉(zhuǎn)換到文本生成任務(wù)（例如圖像字幕），而編碼器-解碼器模型尚未成功用于圖像文本檢索任務(wù)；
論文名稱：BLIP: Bootstrapping Language-Image Pre-training for Uni?ed Vision-Language Understanding and Generation
論文地址：https://arxiv.org/abs/2201.12086
代碼地址：https://github.com/salesforce/BLIP
局限性:
BLIP總體思路：作為新的 VLP 框架，BLIP 用于統(tǒng)一視覺語言理解和生成的 Bootstrapping Language-Image 預(yù)訓(xùn)練，可以靈活地遷移到視覺語言理解和生成任務(wù)。 BLIP 通過引導(dǎo)字幕有效地利用了嘈雜的網(wǎng)絡(luò)數(shù)據(jù)，字幕生成器生成合成字幕，過濾器去除嘈雜的字幕
貢獻(xiàn):
第二重 BLIP2
【LLMs 入門實(shí)戰(zhàn) —— 二十六】 BLIP2 模型學(xué)習(xí)與實(shí)戰(zhàn)
BLIP-2， 一種通用而有效的預(yù)訓(xùn)練策略，它從現(xiàn)成的凍結(jié)預(yù)訓(xùn)練圖像編碼器和凍結(jié)的大型語言模型中引導(dǎo)視覺語言預(yù)訓(xùn)練。
通過一個輕量級的 Querying Transformer （Q-Former是一個輕量級的 transformer，它使用一組可學(xué)習(xí)的查詢向量來從凍結(jié)圖像編碼器中提取視覺特征，為LLM提供最有用的視覺特征，以輸出所需的文本） 彌補(bǔ)了模態(tài) gap，該 Transformer 分兩個階段進(jìn)行預(yù)訓(xùn)練:
第一階段：從凍結(jié)圖像編碼器引導(dǎo)視覺語言表示學(xué)習(xí)，強(qiáng)制 Q-Former 學(xué)習(xí)與文本最相關(guān)的視覺表示；
第二階段：將視覺從凍結(jié)的語言模型引導(dǎo)到語言生成學(xué)習(xí)，將Q-Former的輸出連接到凍結(jié)的LLM，并對Q-Former進(jìn)行訓(xùn)練，使其輸出視覺表示能夠被LLM解釋。
由于大規(guī)模模型的端到端訓(xùn)練，視覺和語言預(yù)訓(xùn)練的成本變得越來越高
為了降低計(jì)算成本并抵消災(zāi)難性遺忘的問題，希望在 Vision-language pre-training (VLP) 中固定視覺模型參數(shù)與語言模型參數(shù)。然而，由于語言模型在其單模態(tài)預(yù)訓(xùn)練期間沒有看到圖像，因此凍結(jié)它們使得視覺語言對齊尤其具有挑戰(zhàn)性
論文名稱：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
單位：Salesforce 研究院
論文地址：https://arxiv.org/abs/2301.12597
代碼地址：https://github.com/salesforce/LAVIS/tree/main/projects/blip2
HF上的Demo：https://huggingface.co/spaces/Salesforce/BLIP2
動機(jī)
介紹：
第三重 MiniGPT-4
【LLMs 入門實(shí)戰(zhàn) —— 八 】MiniGPT-4 模型學(xué)習(xí)與實(shí)戰(zhàn)
Github 鏈接： https://github.com/Vision-CAIR/MiniGPT-4
介紹： MiniGPT-4，是來自阿卜杜拉國王科技大學(xué)的幾位博士做的，它能提供類似 GPT-4 的圖像理解與對話能力
第四重 VisualGLM-6B
【LLMs 入門實(shí)戰(zhàn) —— 十七 】 VisualGLM-6B 模型學(xué)習(xí)與實(shí)戰(zhàn)
Github 鏈接： https://github.com/THUDM/VisualGLM-6B
Huggingface 鏈接：https://huggingface.co/THUDM/visualglm-6b
動機(jī)：OpenAI 的GPT-4樣例中展現(xiàn)出令人印象深刻的多模態(tài)理解能力，但是能理解圖像的中文開源對話模型仍是空白。
介紹：VisualGLM-6B 是一個開源的，支持圖像、中文和英文的多模態(tài)對話語言模型，語言模型基于 ChatGLM-6B，具有 62 億參數(shù)；圖像部分通過訓(xùn)練 BLIP2-Qformer 構(gòu)建起視覺模型與語言模型的橋梁，整體模型共 78 億參數(shù)。VisualGLM-6B 依靠來自于 CogView 數(shù)據(jù)集的30M高質(zhì)量中文圖文對，與 300M 經(jīng)過篩選的英文圖文對進(jìn)行預(yù)訓(xùn)練，中英文權(quán)重相同。該訓(xùn)練方式較好地將視覺信息對齊到 ChatGLM 的語義空間；之后的微調(diào)階段，模型在長視覺問答數(shù)據(jù)上訓(xùn)練，以生成符合人類偏好的答案。
github 地址:https://github.com/THUDM/VisualGLM-6B
第五重 Ziya-Visual
【LLMs 入門實(shí)戰(zhàn) 】 Ziya-Visual 模型學(xué)習(xí)與實(shí)戰(zhàn)
Ziya-Visual模型開源地址：https://huggingface.co/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1L/Ziya-BLIP2-14B-Visual-v1
Demo體驗(yàn)地址：https://huggingface.co/spaces/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1-DemoDEA-CCNL/Ziya-BLIP2-14B-Visual-v1-Demo
Ziya開源模型：https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1L/Ziya-LLaMA-13B-v1
封神榜項(xiàng)目主頁：https://github.com/IDEA-CCNL/Fengshenbang-LM
介紹：自從3月份OpenAI發(fā)布具有識圖能力的多模態(tài)大模型GPT-4，大模型的能力便不再局限于文本輸入-文本輸出的形式，人們可以上傳視覺圖片來與大模型進(jìn)行聊天和交互。遺憾的是，時至今日絕大部分用戶也都還沒有拿到GPT-4輸入圖片的權(quán)限，無法體驗(yàn)到結(jié)合視覺和語言兩大模態(tài)的大模型的卓越能力，而且GPT-4也沒有敘述或者開源GPT模型多模態(tài)預(yù)訓(xùn)練的方案。與之相對的是，學(xué)術(shù)界和開源界則充分探索了視覺預(yù)訓(xùn)練模型（比如ViT, Vision Transformer）與大語言模型(LLM，Large Language Model)結(jié)合，從而讓目前的LLM獲得輸入圖片、認(rèn)識圖片的能力。其中的代表工作包括國外團(tuán)隊(duì)開源的Mini-GPT4[1]，LLaVA[2]等，國內(nèi)團(tuán)隊(duì)開源的VisuaGLM[3]，mPLUG-Owl[4]等工作。大部分的開源方案參考了BLIP2的訓(xùn)練方案[5]，選擇凍結(jié)LLM部分的參數(shù)訓(xùn)練或者采用Lora等parameter-efficient的微調(diào)訓(xùn)練方式。IDEA研究院封神榜團(tuán)隊(duì)在5月17日發(fā)布“姜子牙通用大模型v1”之后，繼續(xù)發(fā)布Ziya-BLIP2-14B-Visual-v1多模態(tài)大模型（以下簡稱Ziya-Visual模型）。和Ziya大模型一樣，Ziya-Visual模型具備中英雙語能力，特別是中文能力較為突出。和所有基于BLIP2的方案類似，我們簡單高效的擴(kuò)展了LLM的識圖能力。該模型對比VisualGLM、mPLUG-Owl模型，在視覺問答（VQA）評價和GPT-4打分評價[2]中，展現(xiàn)了一些優(yōu)勢。
第六層 LLMs to Automatic Speech Recognition (ASR)
第一重 Massively Multilingual Speech (MMS，大規(guī)模多語種語音)
【LLMs 入門實(shí)戰(zhàn) —— 二十 】 Massively Multilingual Speech (MMS，大規(guī)模多語種語音) 模型學(xué)習(xí)與實(shí)戰(zhàn)
論文：Scaling Speech Technology to 1,000+ Languages
代碼：fairseq/tree/main/examples/mms
公告：https://ai.facebook.com/blog/multilingual-model-speech-recognition/
介紹：Meta 在 GitHub 上再次開源了一款全新的 AI 語言模型——Massively Multilingual Speech (MMS，大規(guī)模多語種語音)，它與 ChatGPT 有著很大的不同，這款新的語言模型可以識別 4000 多種口頭語言并生成 1100 多種語音（文本到語音）。
第二重 whisper
【LLMs 入門實(shí)戰(zhàn)】 whisper 模型學(xué)習(xí)與實(shí)戰(zhàn)
Introducing Whisper: https://openai.com/blog/whisper/
Robust Speech Recognition via Large-Scale Weak Supervision: https://cdn.openai.com/papers/whisper.pdf
openai/whisper: https://github.com/openai/whisper
Huggin一 Face地址：Whisper - a Hugging Face Space by openai:https://huggingface.co/spaces/openai/whisper
Colab地址：Google Colaboratory: https://colab.research.google.com/github/openai/whisper/blob/master/notebooks/LibriSpeech.ipynb
介紹：Whisper這個模型是OpenAI在今年九月釋放出來的吧（2022/09/21）Introducing Whisper ，不過這個效果真的是太好了，它的泛化性能跟別的模型一比，真是天上地下啊。
【LLMs 入門實(shí)戰(zhàn)】 Faster-Whisper 模型學(xué)習(xí)與實(shí)戰(zhàn)
前端：將語音信號轉(zhuǎn)換為頻譜圖，使用CNN進(jìn)行特征提取。
后端：使用RNN進(jìn)行序列建模，輸出每個時間步的概率分布。
解碼器：將概率分布轉(zhuǎn)換為最終的文本輸出。
Making OpenAI Whisper faster：https://nikolas.blog/making-openai-whisper-faster/
Faster Whisper transcription with CTranslate2 ：https://github.com/guillaumekln/faster-whisper
sanchit-gandhi/whisper-jax#creating-an-endpoint：https://github.com/sanchit-gandhi/whisper-jax#creating-an-endpoint
介紹：Faster-Whisper是一種基于深度學(xué)習(xí)的語音識別模型，它采用了一種新穎的架構(gòu)，可以在保持準(zhǔn)確性的同時提高速度。Faster-Whisper的設(shè)計(jì)靈感來自于目標(biāo)檢測領(lǐng)域的Faster R-CNN模型，它將語音信號轉(zhuǎn)換為頻譜圖，并使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行特征提取和序列建模。Faster-Whisper的主要優(yōu)點(diǎn)是速度快、準(zhǔn)確性高、可擴(kuò)展性強(qiáng)，適用于大規(guī)模語音識別任務(wù)。
Faster-Whisper的架構(gòu)包括三個主要組件：
第七層 LLMs to Text To Speech (TTS)
第一重 Massively Multilingual Speech (MMS，大規(guī)模多語種語音)
【LLMs 入門實(shí)戰(zhàn) —— 二十 】 Massively Multilingual Speech (MMS，大規(guī)模多語種語音) 模型學(xué)習(xí)與實(shí)戰(zhàn)
論文：Scaling Speech Technology to 1,000+ Languages
代碼：fairseq/tree/main/examples/mms
公告：https://ai.facebook.com/blog/multilingual-model-speech-recognition/
介紹：Meta 在 GitHub 上再次開源了一款全新的 AI 語言模型——Massively Multilingual Speech (MMS，大規(guī)模多語種語音)，它與 ChatGPT 有著很大的不同，這款新的語言模型可以識別 4000 多種口頭語言并生成 1100 多種語音（文本到語音）。
第二重 Retrieval-based-Voice-Conversion
【LLMs 入門實(shí)戰(zhàn)】 Retrieval-based-Voice-Conversion-WebUI 模型學(xué)習(xí)與實(shí)戰(zhàn)
使用top1檢索替換輸入源特征為訓(xùn)練集特征來杜絕音色泄漏
即便在相對較差的顯卡上也能快速訓(xùn)練
使用少量數(shù)據(jù)進(jìn)行訓(xùn)練也能得到較好結(jié)果(推薦至少收集10分鐘低底噪語音數(shù)據(jù))
可以通過模型融合來改變音色(借助ckpt處理選項(xiàng)卡中的ckpt-merge)
簡單易用的網(wǎng)頁界面
可調(diào)用UVR5模型來快速分離人聲和伴奏
名稱：Retrieval-based-Voice-Conversion-WebUI
論文地址：https://arxiv.org/abs/2305.18975
Github 代碼：https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
使用了RVC的實(shí)時語音轉(zhuǎn)換: w-okada/voice-changer
使用了RVC變聲器訓(xùn)練的人聲轉(zhuǎn)木吉他模型在線demo ：https://huggingface.co/spaces/lj1995/vocal2guitar
RVC人聲轉(zhuǎn)吉他效果展示視頻 ：https://www.bilibili.com/video/BV19W4y1D7tT/
介紹：一個基于VITS的簡單易用的語音轉(zhuǎn)換（變聲器）框架
特點(diǎn)
【LLMs 入門實(shí)戰(zhàn)】 kNN-VC 模型學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：Voice Conversion With Just Nearest Neighbors (kNN-VC)
論文地址：https://arxiv.org/abs/2305.18975
Github 代碼：https://github.com/bshall/knn-vc
LLaMA 衍生物系列
第五重 GPT4ALL
【LLMs 入門實(shí)戰(zhàn) —— 八 】GPT4ALL 模型學(xué)習(xí)與實(shí)戰(zhàn)
介紹：一個 可以在自己筆記本上面跑起來的 Nomic AI 的助手式聊天機(jī)器人，成為貧民家孩子的 福音！
第十一重 OpenBuddy
【LLMs 入門實(shí)戰(zhàn) —— 二十八 】 OpenBuddy 模型學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：OpenBuddy - Open Multilingual Chatbot based on Falcon
github 地址：https://github.com/OpenBuddy/OpenBuddy
動機(jī)：雖然目前 很多人 LLMs 層出不窮，但是他們并不能 在 多語言支持無縫銜接（eg: LLaMA 模型由于是用 英語訓(xùn)練，所以在 中文等其他語種上效果并不好）
介紹：基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型構(gòu)建，OpenBuddy 經(jīng)過微調(diào)，包括擴(kuò)展詞匯表、增加常見字符和增強(qiáng) token 嵌入。通過利用這些改進(jìn)和多輪對話數(shù)據(jù)集，OpenBuddy 提供了一個強(qiáng)大的模型，能夠回答各種語言的問題并執(zhí)行翻譯任務(wù)。
第十二重 Baize
【LLMs 入門實(shí)戰(zhàn) —— 三十 】Baize 學(xué)習(xí)與實(shí)戰(zhàn)
baize-v2-7b 模型：https://huggingface.co/project-baize/baize-v2-7b
baize-v2-13b 模型：https://huggingface.co/project-baize/baize-v2-13b
論文名稱：Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
論文地址：https://arxiv.org/abs/2304.01196
Github 代碼：https://github.com/project-baize/baize-chatbot/blob/main/README.md
模型：
baize 體驗(yàn)網(wǎng)站：https://huggingface.co/spaces/project-baize/baize-lora-7B
動機(jī)：高質(zhì)量的標(biāo)注數(shù)據(jù)問題
介紹：Baize 作者 提出了一個自動收集 ChatGPT 對話的流水線，通過從特定數(shù)據(jù)集中采樣「種子」的方式，讓 ChatGPT 自我對話，批量生成高質(zhì)量多輪對話數(shù)據(jù)集。其中如果使用領(lǐng)域特定數(shù)據(jù)集，比如醫(yī)學(xué)問答數(shù)據(jù)集，就可以生成高質(zhì)量垂直領(lǐng)域語料。
第十三重 OpenChineseLLaMA
【LLMs 入門實(shí)戰(zhàn) 】OpenChineseLLaMA 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/OpenLMLab/OpenChineseLLaMA
模型：https://huggingface.co/openlmlab/open-chinese-llama-7b-patch
介紹：基于 LLaMA-7B 經(jīng)過中文數(shù)據(jù)集增量預(yù)訓(xùn)練產(chǎn)生的中文大語言模型基座，對比原版 LLaMA，該模型在中文理解能力和生成能力方面均獲得較大提升，在眾多下游任務(wù)中均取得了突出的成績。
第十四重 Panda
【LLMs 入門實(shí)戰(zhàn) 】Panda 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models
論文地址：https://arxiv.org/pdf/2305.03025v1.pdf
Github 代碼：https://github.com/dandelionsllm/pandallm
模型：
介紹：開源了基于LLaMA-7B, -13B, -33B, -65B 進(jìn)行中文領(lǐng)域上的持續(xù)預(yù)訓(xùn)練的語言模型, 使用了接近 15M 條數(shù)據(jù)進(jìn)行二次預(yù)訓(xùn)練。
第十五重 Ziya-LLaMA-13B
【LLMs 入門實(shí)戰(zhàn) 】 Ziya-LLaMA-13B 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1
模型：
介紹：該項(xiàng)目開源了姜子牙通用大模型V1，是基于LLaMa的130億參數(shù)的大規(guī)模預(yù)訓(xùn)練模型，具備翻譯，編程，文本分類，信息抽取，摘要，文案生成，常識問答和數(shù)學(xué)計(jì)算等能力。該模型已完成大規(guī)模預(yù)訓(xùn)練、多任務(wù)有監(jiān)督微調(diào)和人類反饋學(xué)習(xí)三階段的訓(xùn)練過程。
第十六重 BiLLa
【LLMs 入門實(shí)戰(zhàn) 】 BiLLa 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability
論文地址：
Github 代碼：https://github.com/Neutralzz/BiLLa
模型：
介紹：該項(xiàng)目開源了推理能力增強(qiáng)的中英雙語LLaMA模型。模型的主要特性有：較大提升LLaMA的中文理解能力，并盡可能減少對原始LLaMA英文能力的損傷；訓(xùn)練過程增加較多的任務(wù)型數(shù)據(jù)，利用ChatGPT生成解析，強(qiáng)化模型理解任務(wù)求解邏輯；全量參數(shù)更新，追求更好的生成效果。
第十七重 Luotuo-Chinese-LLM
【LLMs 入門實(shí)戰(zhàn) 】 Luotuo-Chinese-LLM 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/LC1332/Luotuo-Chinese-LLM
模型：
介紹：囊括了一系列中文大語言模型開源項(xiàng)目，包含了一系列基于已有開源模型（ChatGLM, MOSS, LLaMA）進(jìn)行二次微調(diào)的語言模型，指令微調(diào)數(shù)據(jù)集等。
第十八重 Linly
【LLMs 入門實(shí)戰(zhàn) 】 Linly 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/CVI-SZU/Linly
模型：
介紹：提供中文對話模型 Linly-ChatFlow 、中文基礎(chǔ)模型 Linly-Chinese-LLaMA 及其訓(xùn)練數(shù)據(jù)。中文基礎(chǔ)模型以 LLaMA 為底座，利用中文和中英平行增量預(yù)訓(xùn)練。項(xiàng)目匯總了目前公開的多語言指令數(shù)據(jù)，對中文模型進(jìn)行了大規(guī)模指令跟隨訓(xùn)練，實(shí)現(xiàn)了 Linly-ChatFlow 對話模型。
第十九重 ChatYuan
【LLMs 入門實(shí)戰(zhàn) 】 ChatYuan 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/clue-ai/ChatYuan
介紹：元語智能發(fā)布的一系列支持中英雙語的功能型對話語言大模型，在微調(diào)數(shù)據(jù)、人類反饋強(qiáng)化學(xué)習(xí)、思維鏈等方面進(jìn)行了優(yōu)化。
第二十重 CPM-Bee
【LLMs 入門實(shí)戰(zhàn) 】 CPM-Bee 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/OpenBMB/CPM-Bee
模型：
介紹：一個完全開源、允許商用的百億參數(shù)中英文基座模型。它采用Transformer自回歸架構(gòu)（auto-regressive），在超萬億（trillion）高質(zhì)量語料上進(jìn)行預(yù)訓(xùn)練，擁有強(qiáng)大的基礎(chǔ)能力。開發(fā)者和研究者可以在CPM-Bee基座模型的基礎(chǔ)上在各類場景進(jìn)行適配來以創(chuàng)建特定領(lǐng)域的應(yīng)用模型。
第二十一重 TigerBot
【LLMs 入門實(shí)戰(zhàn) 】 TigerBot 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/TigerResearch/TigerBot
模型：
介紹：一個多語言多任務(wù)的大規(guī)模語言模型(LLM)，開源了包括模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B，基本訓(xùn)練和推理代碼，100G預(yù)訓(xùn)練數(shù)據(jù)，涵蓋金融、法律、百科的領(lǐng)域數(shù)據(jù)以及API等。
第二十二重 書生·浦語
【LLMs 入門實(shí)戰(zhàn) 】 書生·浦語 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼：https://github.com/InternLM/InternLM-techreport
模型：
介紹：商湯科技、上海AI實(shí)驗(yàn)室聯(lián)合香港中文大學(xué)、復(fù)旦大學(xué)和上海交通大學(xué)發(fā)布千億級參數(shù)大語言模型“書生·浦語”（InternLM）。據(jù)悉，“書生·浦語”具有1040億參數(shù)，基于“包含1.6萬億token的多語種高質(zhì)量數(shù)據(jù)集”訓(xùn)練而成。
第二十三重 Aquila
【LLMs 入門實(shí)戰(zhàn) 】 Aquila 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：
Github 代碼： https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
模型：
介紹：由智源研究院發(fā)布，Aquila語言大模型在技術(shù)上繼承了GPT-3、LLaMA等的架構(gòu)設(shè)計(jì)優(yōu)點(diǎn)，替換了一批更高效的底層算子實(shí)現(xiàn)、重新設(shè)計(jì)實(shí)現(xiàn)了中英雙語的tokenizer，升級了BMTrain并行訓(xùn)練方法，是在中英文高質(zhì)量語料基礎(chǔ)上從０開始訓(xùn)練的，通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實(shí)現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時間，獲得比其它開源模型更優(yōu)的性能。也是首個支持中英雙語知識、支持商用許可協(xié)議、符合國內(nèi)數(shù)據(jù)合規(guī)需要的大規(guī)模開源語言模型。
第一重 金融領(lǐng)域
【LLMs 入門實(shí)戰(zhàn) —— 十九】 聚寶盆(Cornucopia) 模型學(xué)習(xí)與實(shí)戰(zhàn)
聚寶盆(Cornucopia) 開源了經(jīng)過中文金融知識指令精調(diào)/指令微調(diào)(Instruct-tuning) 的LLaMA-7B模型。通過中文金融公開數(shù)據(jù)+爬取的金融數(shù)據(jù)構(gòu)建指令數(shù)據(jù)集，并在此基礎(chǔ)上對LLaMA進(jìn)行了指令微調(diào)，提高了 LLaMA 在金融領(lǐng)域的問答效果。
github: jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese
【LLMs 入門實(shí)戰(zhàn) 】 BBT-FinCUGE-Applications 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/ssymmetry/BBT-FinCUGE-Applications
介紹：開源了中文金融領(lǐng)域開源語料庫BBT-FinCorpus，中文金融領(lǐng)域知識增強(qiáng)型預(yù)訓(xùn)練語言模型BBT-FinT5及中文金融領(lǐng)域自然語言處理評測基準(zhǔn)CFLEB。
【LLMs 入門實(shí)戰(zhàn) 】 XuanYuan（軒轅） 學(xué)習(xí)與實(shí)戰(zhàn)：首個千億級中文金融對話模型
論文名稱：
論文地址：https://huggingface.co/xyz-nlp/XuanYuan2.0
介紹：軒轅是國內(nèi)首個開源的千億級中文對話大模型，同時也是首個針對中文金融領(lǐng)域優(yōu)化的千億級開源對話大模型。軒轅在BLOOM-176B的基礎(chǔ)上針對中文通用領(lǐng)域和金融領(lǐng)域進(jìn)行了針對性的預(yù)訓(xùn)練與微調(diào)，它不僅可以應(yīng)對通用領(lǐng)域的問題，也可以解答與金融相關(guān)的各類問題，為用戶提供準(zhǔn)確、全面的金融信息和建議。
第二重 醫(yī)療領(lǐng)域
【LLMs 入門實(shí)戰(zhàn) —— 二十九 】HuatuoGPT (華佗GPT) 學(xué)習(xí)與實(shí)戰(zhàn)
HuatuoGPT (華佗GPT) 知識庫是一個在龐大的中國醫(yī)學(xué)語料庫上訓(xùn)練的大型語言模型。HuatuoGPT (華佗GPT) 的目標(biāo)是為醫(yī)療咨詢場景構(gòu)建一個更專業(yè)的“ChatGPT”。
益增長的在線和醫(yī)院快速醫(yī)療咨詢需求 與 醫(yī)生的時間和精力 矛盾問題
目前并沒有 開源而且高質(zhì)量的 可用于訓(xùn)練 medical LLMs，所以 為 訓(xùn)練 medical LLMs 而構(gòu)建 high-quality instruction training data 至關(guān)重要；
medical LLMs 診斷能力需要進(jìn)行 徹底評估和測試，避免 medical LLMs 誤診問題；
HuatuoGPT (華佗GPT), Towards Taming Language Models To Be a Doctor.
論文地址：https://arxiv.org/pdf/2305.15075.pdf
Github 代碼：https://github.com/FreedomIntelligence/HuatuoGPT
模型：https://huggingface.co/FreedomIntelligence/HuatuoGPT-7b-v1
HuatuoGPT 體驗(yàn)網(wǎng)站：https://www.huatuogpt.cn/
HuatuoGPT (華佗GPT) 監(jiān)督微調(diào)（SFT）：HuatuoGPT-sft-data-v1
動機(jī)：
介紹：
【LLMs 入門實(shí)戰(zhàn) 】DoctorGLM 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/xionghonglin/DoctorGLM
介紹：基于 ChatGLM-6B的中文問診模型，通過中文醫(yī)療對話數(shù)據(jù)集進(jìn)行微調(diào)，實(shí)現(xiàn)了包括lora、p-tuningv2等微調(diào)及部署
【LLMs 入門實(shí)戰(zhàn) 】 BenTsao 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
介紹：開源了經(jīng)過中文醫(yī)學(xué)指令精調(diào)/指令微調(diào)(Instruct-tuning) 的LLaMA-7B模型。通過醫(yī)學(xué)知識圖譜和GPT3.5 API構(gòu)建了中文醫(yī)學(xué)指令數(shù)據(jù)集，并在此基礎(chǔ)上對LLaMA進(jìn)行了指令微調(diào)，提高了LLaMA在醫(yī)療領(lǐng)域的問答效果。
【LLMs 入門實(shí)戰(zhàn) 】 BianQue 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/scutcyr/BianQue
介紹：一個經(jīng)過指令與多輪問詢對話聯(lián)合微調(diào)的醫(yī)療對話大模型，基于ClueAI/ChatYuan-large-v2作為底座，使用中文醫(yī)療問答指令與多輪問詢對話混合數(shù)據(jù)集進(jìn)行微調(diào)。
【LLMs 入門實(shí)戰(zhàn) 】 Med-ChatGLM 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/SCIR-HI/Med-ChatGLM
介紹：基于中文醫(yī)學(xué)知識的ChatGLM模型微調(diào)，微調(diào)數(shù)據(jù)與BenTsao相同。
【LLMs 入門實(shí)戰(zhàn) 】 QiZhenGPT 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/CMKRG/QiZhenGPT
介紹：該項(xiàng)目利用啟真醫(yī)學(xué)知識庫構(gòu)建的中文醫(yī)學(xué)指令數(shù)據(jù)集，并基于此在LLaMA-7B模型上進(jìn)行指令精調(diào)，大幅提高了模型在中文醫(yī)療場景下效果，首先針對藥品知識問答發(fā)布了評測數(shù)據(jù)集，后續(xù)計(jì)劃優(yōu)化疾病、手術(shù)、檢驗(yàn)等方面的問答效果，并針對醫(yī)患問答、病歷自動生成等應(yīng)用展開拓展。
【LLMs 入門實(shí)戰(zhàn) 】 ChatMed 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/michael-wzhu/ChatMed
介紹：該項(xiàng)目推出ChatMed系列中文醫(yī)療大規(guī)模語言模型，模型主干為LlaMA-7b并采用LoRA微調(diào)，具體包括ChatMed-Consult : 基于中文醫(yī)療在線問診數(shù)據(jù)集ChatMed_Consult_Dataset的50w+在線問診+ChatGPT回復(fù)作為訓(xùn)練集；ChatMed-TCM : 基于中醫(yī)藥指令數(shù)據(jù)集ChatMed_TCM_Dataset，以開源的中醫(yī)藥知識圖譜為基礎(chǔ)，采用以實(shí)體為中心的自指令方法(entity-centric self-instruct)，調(diào)用ChatGPT得到2.6w+的圍繞中醫(yī)藥的指令數(shù)據(jù)訓(xùn)練得到。
【LLMs 入門實(shí)戰(zhàn) 】 XrayGLM 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/WangRongsheng/XrayGLM
介紹：該項(xiàng)目為促進(jìn)中文領(lǐng)域醫(yī)學(xué)多模態(tài)大模型的研究發(fā)展，發(fā)布了XrayGLM數(shù)據(jù)集及模型，其在醫(yī)學(xué)影像診斷和多輪交互對話上顯示出了非凡的潛力。
第三重 法律領(lǐng)域
【LLMs 入門實(shí)戰(zhàn) 】 LaWGPT 學(xué)習(xí)與實(shí)戰(zhàn)：基于中文法律知識的大語言模型
論文名稱：
論文地址：https://github.com/pengxiao-song/LaWGPT
介紹：該系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基礎(chǔ)上擴(kuò)充法律領(lǐng)域?qū)Ｓ性~表、大規(guī)模中文法律語料預(yù)訓(xùn)練，增強(qiáng)了大模型在法律領(lǐng)域的基礎(chǔ)語義理解能力。在此基礎(chǔ)上，構(gòu)造法律領(lǐng)域?qū)υ拞柎饠?shù)據(jù)集、中國司法考試數(shù)據(jù)集進(jìn)行指令精調(diào)，提升了模型對法律內(nèi)容的理解和執(zhí)行能力。
【LLMs 入門實(shí)戰(zhàn) 】 LexiLaw 學(xué)習(xí)與實(shí)戰(zhàn)：中文法律大模型
論文名稱：
論文地址：https://github.com/CSHaitao/LexiLaw
介紹：LexiLaw 是一個基于 ChatGLM-6B微調(diào)的中文法律大模型，通過在法律領(lǐng)域的數(shù)據(jù)集上進(jìn)行微調(diào)。該模型旨在為法律從業(yè)者、學(xué)生和普通用戶提供準(zhǔn)確、可靠的法律咨詢服務(wù)，包括具體法律問題的咨詢，還是對法律條款、案例解析、法規(guī)解讀等方面的查詢。
【LLMs 入門實(shí)戰(zhàn) 】 Lawyer LLaMA 學(xué)習(xí)與實(shí)戰(zhàn)：中文法律LLaMA
論文名稱：
論文地址：https://github.com/AndrewZhe/lawyer-llama
介紹：開源了一系列法律領(lǐng)域的指令微調(diào)數(shù)據(jù)和基于LLaMA訓(xùn)練的中文法律大模型的參數(shù)。Lawyer LLaMA 首先在大規(guī)模法律語料上進(jìn)行了continual pretraining。在此基礎(chǔ)上，借助ChatGPT收集了一批對中國國家統(tǒng)一法律職業(yè)資格考試客觀題（以下簡稱法考）的分析和對法律咨詢的回答，利用收集到的數(shù)據(jù)對模型進(jìn)行指令微調(diào)，讓模型習(xí)得將法律知識應(yīng)用到具體場景中的能力。
第四重 教育領(lǐng)域
【LLMs 入門實(shí)戰(zhàn) 】 桃李（Taoli） 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/blcuicall/taoli
介紹：一個在國際中文教育領(lǐng)域數(shù)據(jù)上進(jìn)行了額外訓(xùn)練的模型。項(xiàng)目基于目前國際中文教育領(lǐng)域流通的500余冊國際中文教育教材與教輔書、漢語水平考試試題以及漢語學(xué)習(xí)者詞典等，構(gòu)建了國際中文教育資源庫，構(gòu)造了共計(jì) 88000 條的高質(zhì)量國際中文教育問答數(shù)據(jù)集，并利用收集到的數(shù)據(jù)對模型進(jìn)行指令微調(diào)，讓模型習(xí)得將知識應(yīng)用到具體場景中的能力。
第五重 文化領(lǐng)域
【LLMs 入門實(shí)戰(zhàn) 】 Firefly 學(xué)習(xí)與實(shí)戰(zhàn)
論文名稱：
論文地址：https://github.com/yangjianxin1/Firefly
介紹：中文對話式大語言模型，構(gòu)造了許多與中華文化相關(guān)的數(shù)據(jù)，以提升模型這方面的表現(xiàn)，如對聯(lián)、作詩、文言文翻譯、散文、金庸小說等。
第六重 Coding
【LLMs 入門實(shí)戰(zhàn)】 CodeGeeX2-6B 學(xué)習(xí)與實(shí)戰(zhàn)
DeepKE-LLM鏈接：
OpenKG地址：
Github 地址：https://github.com/THUDM/CodeGeeX2
介紹：CodeGeeX2 是多語言代碼生成模型 CodeGeeX 的第二代模型，基于 ChatGLM2 架構(gòu)注入代碼實(shí)現(xiàn)。得益于 ChatGLM2 的更優(yōu)性能，CodeGeeX2-6B 在多項(xiàng)指標(biāo)上取得了較大的性能提升。與 150 億參數(shù)的 StarCoder-15B 相比，CodeGeeX2-6B 憑借 60 億參數(shù)便具備了近 10% 的優(yōu)勢。