大模型榜單再次刷新，比Llama 2更強的大模型來了

來源：機器之心

為了挑戰(zhàn) OpenAI 的 GPT-3.5 和 GPT-4 等閉源模型的主導地位， 一系列開源模型力量正在崛起，包括 LLaMa、Falcon 等。最近，Meta AI 發(fā)布了 LLaMa-2 模型，被譽為開源領域最強的大模型，很多研究者也在此基礎上搭建自己的模型。比如，StabilityAI 利用 Orca 風格的數(shù)據(jù)集對 Llama2 70B 模型進行了微調(diào)，打造出了 StableBeluga2，在 Huggingface 的 Open LLM 排行榜中也取得了不錯的成績。

最近，Open LLM 榜單的排行又發(fā)生了新的變化，一個名叫 Platypus（鴨嘴獸）的模型登上了榜首。

概括地說，Platypus 同樣是基于 Llama 2 微調(diào)。來自波士頓大學的作者使用了 PEFT 和 LoRA 以及數(shù)據(jù)集 Open-Platypus 進行優(yōu)化。

在一篇論文中，作者對 Platypus 進行了詳細的介紹：

論文地址：https://arxiv.org/abs/2308.07317

本文的貢獻主要有以下幾點：

• Open-Platypus 是一個小規(guī)模的數(shù)據(jù)集，由公共文本數(shù)據(jù)集的精選子集組成。該數(shù)據(jù)集由 11 個開源數(shù)據(jù)集組成，重點是提高 LLM 的 STEM 和邏輯知識。它主要由人類設計的問題組成，只有 10% 的問題是由 LLM 生成的。Open-Platypus 的主要優(yōu)勢在于其規(guī)模和質量，它可以在很短的時間內(nèi)實現(xiàn)非常高的性能，并且微調(diào)的時間和成本都很低。具體來說，在單個 A100 GPU 上使用 25k 個問題訓練 13B 模型只需 5 個小時。
• 描述了相似性排除過程，減少數(shù)據(jù)集的大小，并減少數(shù)據(jù)冗余。
• 詳細分析了始終存在的開放 LLM 訓練集與重要 LLM 測試集中包含的數(shù)據(jù)相污染的現(xiàn)象，并介紹了作者避免這一隱患的訓練數(shù)據(jù)過濾過程。
• 介紹了對專門的微調(diào) LoRA 模塊進行選擇和合并的過程。

Open-Platypus 數(shù)據(jù)集

目前，作者在 Hugging Face 上發(fā)布了 Open-Platypus 數(shù)據(jù)集：

污染問題

本文方法優(yōu)先考慮防止基準測試問題泄漏到訓練集中，以避免僅通過記憶產(chǎn)生結果偏差。作者努力追求準確性的同時，也認識到標記重復問題時需要靈活性，因為問題的提出方式多種多樣，而且會受到通用領域知識的影響。為了管理潛在的泄漏，作者精心設計了啟發(fā)式方法，用于手動過濾 Open-Platypus 中與基準問題余弦嵌入相似度超過 80% 的問題。他們將潛在泄漏分為三類：(1) 重復；(2) 灰色區(qū)域；(3) 相似但不相同。并且，為謹慎起見，他們將所有組別都排除在訓練集之外。

重復

這幾乎完全復制了測試題集的內(nèi)容，可能只是稍稍改動了一下單詞或稍作重新排列。根據(jù)上表中泄漏問題的數(shù)量，這是作者認為真正屬于污染的唯一類別。具體例子如下：

灰色區(qū)域

以下問題被稱為灰色區(qū)域，包括并非完全重復、屬于常識范疇的問題。雖然作者將這些問題的最終評判權留給了開源社區(qū)，但他們認為這些問題往往需要專家知識。需要注意的是，這類問題包括指令完全相同，但答案卻同義的問題：

相似但不相同

這些問題的具有較高的相似度，但由于問題之間有著細微的變化，在答案上存在著顯著差異。

微調(diào)與合并

在完善數(shù)據(jù)集之后，作者將重點放在兩種方法上：低秩近似（LoRA）訓練和參數(shù)高效微調(diào)（PEFT）庫。與完全的微調(diào)不同，LoRA 保留了預訓練的模型權重，并在 transformer 層中整合了秩分解矩陣。這就減少了可訓練參數(shù)，節(jié)省了訓練時間和成本。起初，微調(diào)主要針對注意力模塊，如 v_proj、q_proj、k_proj 和 o_proj。后來，根據(jù) He et al. 的見解，過渡到 gate_proj、down_proj 和 up_proj 模塊。除了可訓練參數(shù)小于總參數(shù)的 0.1% 時，這些模塊均顯示出了更好的效果。作者對 13B 和 70B 模型統(tǒng)一采用了這一方法，結果可訓練參數(shù)分別為 0.27% 和 0.2%。唯一的差異在于這些模型的初始學習率。

結果

作者將 Platypus 與其他的 SOTA 模型進行了比較。根據(jù) 2023 年 8 月 10 日的 Hugging Face Open LLM 排行榜數(shù)據(jù)，Platypus2-70Binstruct 變體表現(xiàn)優(yōu)于其他競爭對手，以 73.13 的平均分穩(wěn)居榜首：

值得注意的是，Stable-Platypus2-13B 模型以 63.96 的平均分成為 130 億參數(shù)模型中的佼佼者：

局限性

作為 LLaMa-2 的微調(diào)擴展，Platypus 保留了基礎模型的許多限制條件，并因其有針對性的訓練而引入了特定的挑戰(zhàn)。它共享 LLaMa-2 的靜態(tài)知識庫，而知識庫可能會過時。此外，還存在生成不準確或不恰當內(nèi)容的風險，尤其是在提示不明確的情況下。雖然 Platypus 在 STEM 和英語邏輯方面得到了增強，但它對其他語言的熟練程度并不可靠，而且可能不一致。它偶爾也會產(chǎn)生帶有偏見、攻擊性或有害的內(nèi)容。作者表示已經(jīng)努力減少這些問題，但挑戰(zhàn)依然存在，尤其是在非英語語言方面。

Platypus 可能會被濫用于惡意活動，這也是一個令人擔憂的問題。開發(fā)人員應在部署前對其應用程序進行安全測試。Platypus 在其主要領域之外可能存在局限性，因此用戶應謹慎行事，并考慮進行額外的微調(diào)以獲得最佳性能。用戶應確保 Platypus 的訓練數(shù)據(jù)與其他基準測試集之間沒有重疊。作者對數(shù)據(jù)污染問題非常謹慎，避免與在有污點的數(shù)據(jù)集上訓練的模型合并。雖然經(jīng)過清理的訓練數(shù)據(jù)中確認沒有污染，但也不排除有些問題漏掉了。如需全面了解這些限制，請參閱論文中的限制部分。

分享

收藏

點贊

在看