LongLLaMA加強(qiáng)版 LLaMA 模型

LongLLaMA 是一個(gè)能夠處理長上下文的大型語言模型，能夠處理 256k tokens 甚至更多的長上下文。它基于 OpenLLaMA 并使用 Focused Transformer (FoT) 方法進(jìn)行微調(diào)。

開發(fā)團(tuán)隊(duì)在 Apache 2.0 許可下發(fā)布了 LongLLaMA 模型的較小 3B 基本變體（未調(diào)整指令），并在 Hugging Face 上支持更長上下文的推理代碼。模型權(quán)重可以作為現(xiàn)有實(shí)現(xiàn)中 LLaMA 的直接替代品（對于最多 2048 個(gè) tokens 的短上下文）。此外，還提供評估結(jié)果以及與原始 OpenLLaMA 模型的比較。請繼續(xù)關(guān)注進(jìn)一步的更新。

LongLLaMA 具有三層用于上下文擴(kuò)展。至關(guān)重要的是，LongLLaMA 能夠推斷的上下文長度遠(yuǎn)遠(yuǎn)超過訓(xùn)練時(shí)的長度：8k。例如，在密鑰檢索任務(wù)中，它可以處理長度為 256k 的輸入。