大模型榜單又被刷新了~~

各位好，我是DASOU。

不出意外，Open LLM 榜單的排行又一次被刷新了！！

一個名叫 Platypus（鴨嘴獸）的模型登上了榜首。

以下內(nèi)容源自機(jī)器之心

概括地說，Platypus 同樣是基于 Llama 2 微調(diào)。來自波士頓大學(xué)的作者使用了 PEFT 和 LoRA 以及數(shù)據(jù)集 Open-Platypus 進(jìn)行優(yōu)化。

論文地址：https://arxiv.org/abs/2308.07317

本文的貢獻(xiàn)主要有以下幾點：

• Open-Platypus 是一個小規(guī)模的數(shù)據(jù)集，由公共文本數(shù)據(jù)集的精選子集組成。該數(shù)據(jù)集由 11 個開源數(shù)據(jù)集組成，重點是提高 LLM 的 STEM 和邏輯知識。它主要由人類設(shè)計的問題組成，只有 10% 的問題是由 LLM 生成的。Open-Platypus 的主要優(yōu)勢在于其規(guī)模和質(zhì)量，它可以在很短的時間內(nèi)實現(xiàn)非常高的性能，并且微調(diào)的時間和成本都很低。具體來說，在單個 A100 GPU 上使用 25k 個問題訓(xùn)練 13B 模型只需 5 個小時。
• 描述了相似性排除過程，減少數(shù)據(jù)集的大小，并減少數(shù)據(jù)冗余。
• 詳細(xì)分析了始終存在的開放 LLM 訓(xùn)練集與重要 LLM 測試集中包含的數(shù)據(jù)相污染的現(xiàn)象，并介紹了作者避免這一隱患的訓(xùn)練數(shù)據(jù)過濾過程。
• 介紹了對專門的微調(diào) LoRA 模塊進(jìn)行選擇和合并的過程。

Open-Platypus 數(shù)據(jù)集

目前，作者在 Hugging Face 上發(fā)布了 Open-Platypus 數(shù)據(jù)集：

污染問題

本文方法優(yōu)先考慮防止基準(zhǔn)測試問題泄漏到訓(xùn)練集中，以避免僅通過記憶產(chǎn)生結(jié)果偏差。作者努力追求準(zhǔn)確性的同時，也認(rèn)識到標(biāo)記重復(fù)問題時需要靈活性，因為問題的提出方式多種多樣，而且會受到通用領(lǐng)域知識的影響。為了管理潛在的泄漏，作者精心設(shè)計了啟發(fā)式方法，用于手動過濾 Open-Platypus 中與基準(zhǔn)問題余弦嵌入相似度超過 80% 的問題。他們將潛在泄漏分為三類：(1) 重復(fù)；(2) 灰色區(qū)域；(3) 相似但不相同。并且，為謹(jǐn)慎起見，他們將所有組別都排除在訓(xùn)練集之外。

重復(fù)

這幾乎完全復(fù)制了測試題集的內(nèi)容，可能只是稍稍改動了一下單詞或稍作重新排列。根據(jù)上表中泄漏問題的數(shù)量，這是作者認(rèn)為真正屬于污染的唯一類別。具體例子如下：

灰色區(qū)域

以下問題被稱為灰色區(qū)域，包括并非完全重復(fù)、屬于常識范疇的問題。雖然作者將這些問題的最終評判權(quán)留給了開源社區(qū)，但他們認(rèn)為這些問題往往需要專家知識。需要注意的是，這類問題包括指令完全相同，但答案卻同義的問題：

相似但不相同

這些問題的具有較高的相似度，但由于問題之間有著細(xì)微的變化，在答案上存在著顯著差異。

微調(diào)與合并

在完善數(shù)據(jù)集之后，作者將重點放在兩種方法上：低秩近似（LoRA）訓(xùn)練和參數(shù)高效微調(diào)（PEFT）庫。與完全的微調(diào)不同，LoRA 保留了預(yù)訓(xùn)練的模型權(quán)重，并在 transformer 層中整合了秩分解矩陣。這就減少了可訓(xùn)練參數(shù)，節(jié)省了訓(xùn)練時間和成本。起初，微調(diào)主要針對注意力模塊，如 v_proj、q_proj、k_proj 和 o_proj。后來，根據(jù) He et al. 的見解，過渡到 gate_proj、down_proj 和 up_proj 模塊。除了可訓(xùn)練參數(shù)小于總參數(shù)的 0.1% 時，這些模塊均顯示出了更好的效果。作者對 13B 和 70B 模型統(tǒng)一采用了這一方法，結(jié)果可訓(xùn)練參數(shù)分別為 0.27% 和 0.2%。唯一的差異在于這些模型的初始學(xué)習(xí)率。

結(jié)果

作者將 Platypus 與其他的 SOTA 模型進(jìn)行了比較。根據(jù) 2023 年 8 月 10 日的 Hugging Face Open LLM 排行榜數(shù)據(jù)，Platypus2-70Binstruct 變體表現(xiàn)優(yōu)于其他競爭對手，以 73.13 的平均分穩(wěn)居榜首：

值得注意的是，Stable-Platypus2-13B 模型以 63.96 的平均分成為 130 億參數(shù)模型中的佼佼者：

局限性

作為 LLaMa-2 的微調(diào)擴(kuò)展，Platypus 保留了基礎(chǔ)模型的許多限制條件，并因其有針對性的訓(xùn)練而引入了特定的挑戰(zhàn)。它共享 LLaMa-2 的靜態(tài)知識庫，而知識庫可能會過時。此外，還存在生成不準(zhǔn)確或不恰當(dāng)內(nèi)容的風(fēng)險，尤其是在提示不明確的情況下。雖然 Platypus 在 STEM 和英語邏輯方面得到了增強(qiáng)，但它對其他語言的熟練程度并不可靠，而且可能不一致。它偶爾也會產(chǎn)生帶有偏見、攻擊性或有害的內(nèi)容。作者表示已經(jīng)努力減少這些問題，但挑戰(zhàn)依然存在，尤其是在非英語語言方面。

Platypus 可能會被濫用于惡意活動，這也是一個令人擔(dān)憂的問題。開發(fā)人員應(yīng)在部署前對其應(yīng)用程序進(jìn)行安全測試。Platypus 在其主要領(lǐng)域之外可能存在局限性，因此用戶應(yīng)謹(jǐn)慎行事，并考慮進(jìn)行額外的微調(diào)以獲得最佳性能。用戶應(yīng)確保 Platypus 的訓(xùn)練數(shù)據(jù)與其他基準(zhǔn)測試集之間沒有重疊。作者對數(shù)據(jù)污染問題非常謹(jǐn)慎，避免與在有污點的數(shù)據(jù)集上訓(xùn)練的模型合并。雖然經(jīng)過清理的訓(xùn)練數(shù)據(jù)中確認(rèn)沒有污染，但也不排除有些問題漏掉了。如需全面了解這些限制，請參閱論文中的限制部分