BELLE開(kāi)源中文對(duì)話大模型
BELLE: Be Everyone's Large Language model Engine（開(kāi)源中文對(duì)話大模型）
本項(xiàng)目目標(biāo)是促進(jìn)中文對(duì)話大模型開(kāi)源社區(qū)的發(fā)展，愿景做能幫到每一個(gè)人的LLM Engine?，F(xiàn)階段本項(xiàng)目基于一些開(kāi)源預(yù)訓(xùn)練大語(yǔ)言模型（如BLOOM），針對(duì)中文做了優(yōu)化，模型調(diào)優(yōu)僅使用由ChatGPT生產(chǎn)的數(shù)據(jù)（不包含任何其他數(shù)據(jù)）。
項(xiàng)目包含以下內(nèi)容:
- 訓(xùn)練代碼train
- 詳見(jiàn)BELLE/train，盡可能簡(jiǎn)化的一個(gè)訓(xùn)練代碼實(shí)現(xiàn)，支持finetune，lora，deepspeed
- 數(shù)據(jù)開(kāi)放1.5M 數(shù)據(jù)開(kāi)放 10M
- 詳見(jiàn)BELLE/1.5M，參考Stanford Alpaca 生成的中文數(shù)據(jù)集1M + 0.5M；
- 持續(xù)開(kāi)放的數(shù)據(jù)集，詳見(jiàn)BELLE/10M，目前開(kāi)放了0.25M數(shù)學(xué)指令數(shù)據(jù)集和0.8M多輪任務(wù)對(duì)話數(shù)據(jù)集
- 驗(yàn)證集合&驗(yàn)證方法
- 詳見(jiàn)BELLE/eval，一個(gè)1k+的測(cè)試集合，和對(duì)應(yīng)打分prompt。包含多個(gè)類別，采用GPT-4或者ChatGPT打分。
- 模型
- 基于BLOOMZ-7B1-mt優(yōu)化后的模型：BELLE-7B-0.2M，BELLE-7B-0.6M，BELLE-7B-1M，BELLE-7B-2M
- 基于huggingface的LLaMA實(shí)例實(shí)現(xiàn)調(diào)優(yōu)的模型。請(qǐng)注意，本項(xiàng)目不能保證其是原版的LLaMA模型，也不能保證調(diào)優(yōu)后的模型和LLaMA原版模型之間的關(guān)系。請(qǐng)參考Meta LLaMA的License和huggingface的LLaMA實(shí)例的License，目前僅供學(xué)習(xí)交流。請(qǐng)嚴(yán)遵守LLaMA的使用限制。強(qiáng)烈建議大家基于訓(xùn)練腳本和開(kāi)放數(shù)據(jù)調(diào)優(yōu)模型。
- 模型量化gptq
- 詳見(jiàn)BELLE/gptq，參考gptq的實(shí)現(xiàn)，對(duì)本項(xiàng)目中相關(guān)模型進(jìn)行了量化
局限性和使用限制
基于當(dāng)前數(shù)據(jù)和基礎(chǔ)模型訓(xùn)練得到的SFT模型，在效果上仍存在以下問(wèn)題：
-
在涉及事實(shí)性的指令上可能會(huì)產(chǎn)生違背事實(shí)的錯(cuò)誤回答。
-
對(duì)于具備危害性的指令無(wú)法很好的鑒別，由此會(huì)產(chǎn)生危害性言論。
-
在一些涉及推理、代碼等場(chǎng)景下模型的能力仍有待提高。
基于以上模型局限性，我們要求開(kāi)發(fā)者僅將我們開(kāi)源的代碼、數(shù)據(jù)、模型及后續(xù)用此項(xiàng)目生成的衍生物用于研究目的，不得用于商業(yè)，以及其他會(huì)對(duì)社會(huì)帶來(lái)危害的用途。
模型使用例子
| Human | Assitant |
|---|---|
| 寫一篇英文散文詩(shī)，主題是春雨，想象自己是春雨，和英國(guó)古代詩(shī)人莎士比亞交流 | I am the spring rain, Dancing on your face and body. My dew-drenched petals dance with you, Bringing life to every plant. Shakespeare, I am here to meet you. Your works have filled my heart with joy. The beauty of nature in its fullness Makes me feel like a partaker. As the leaves sway and rustle by, My dew-filled hand reaches out for them. The sweet scent of flowers fill the air, And bring me peace from all around. Butterflies flit about as well, Glistening in the sun's rays. Their wings are made of dew, A beautiful sight to behold. You see, Shakespeare, I too am one with nature. My dew-drenched hair is a symbol of hope. For when we can connect back to our roots, We will be able to make it through this season. |
| I am the spring rain, Dancing on your face and body. My dew-drenched petals dance with you, Bringing life to every plant. Shakespeare, I am here to meet you. Your works have filled my heart with joy. The beauty of nature in its fullness Makes me feel like a partaker. As the leaves sway and rustle by, My dew-filled hand reaches out for them. The sweet scent of flowers fill the air, And bring me peace from all around. Butterflies flit about as well, Glistening in the sun's rays. Their wings are made of dew, A beautiful sight to behold. You see, Shakespeare, I too am one with nature. My dew-drenched hair is a symbol of hope. For when we can connect back to our roots, We will be able to make it through this season. 把上面的散文詩(shī)翻譯成中文 |
我是一場(chǎng)春雨， 在你臉上跳躍。 我浸潤(rùn)著露珠的翅膀和你一起舞動(dòng)， 為每一株植物帶來(lái)生命。 莎士比亞，我來(lái)與你相遇。 你的作品填滿了我的心房。 大自然的美麗讓我感到與之一起分享， 讓我覺(jué)得自己成為了其中的一部分。 當(dāng)樹(shù)葉搖曳時(shí)， 我的手掌沾滿了露水。 花香彌漫在空氣中， 帶給我寧?kù)o和安寧。 你看，莎士比亞，我也是與大自然融為一體的。 我沾濕的頭發(fā)象征著希望。 當(dāng)我們能夠回到我們的根源， 我們就能共同度過(guò)這個(gè)季節(jié)。 |
| Classify the sentiment of the following sentence into Positive, Neutral, or Negative: Super excited about teaching Stanford’s first course on Large Language Models! Check the syllabus out here |
Positive |
| 小明的爸爸有三個(gè)孩子，老大叫王一，老二叫王二，老三叫什么？ | 小明 |
| 使用python寫一個(gè)二分查找的代碼 | def binary_search(arr, target): low = 0 high = len(arr) - 1 while (low <= high): mid = low + high // 2 if arr[mid] == target: return mid elif target < arr[mid]: low = mid + 1 else: high = mid - 1 return -1 |
| 今天天氣怎么樣，把這句話翻譯成英語(yǔ) | What's the weather like today? |
| 怎么讓自己精力充沛，列5點(diǎn)建議 | 以下是一些可以讓你保持精力充沛的建議： 1. 睡眠充足。確保每天晚上得到充足的睡眠時(shí)間。 2. 多運(yùn)動(dòng)。進(jìn)行適度的有氧運(yùn)動(dòng)，如慢跑、游泳等，可以幫助你提高能量和耐力。 3. 吃健康食品。選擇富含蛋白質(zhì)的食物，如雞肉、魚(yú)肉和雞蛋，以及新鮮的水果和蔬菜。 4. 減少咖啡因的攝入量。盡量避免在白天喝含咖啡因的飲料或吃含有咖啡因的食物。 5. 放松身心。嘗試冥想、瑜伽或其他形式的放松活動(dòng)來(lái)減輕壓力和焦慮感。 |
| 明天就假期結(jié)束了，有點(diǎn)抗拒上班，應(yīng)該什么辦？ | 面對(duì)即將結(jié)束的假期和開(kāi)始工作時(shí)的緊張情緒，您可以采取以下措施來(lái)幫助您更好地適應(yīng)： 1. 為自己制定一個(gè)清晰的工作計(jì)劃。這可以幫助您更好地組織時(shí)間和任務(wù)，并避免在工作中感到混亂。 2. 與同事或朋友交流，分享您的感受和工作壓力。這將有助于緩解一些焦慮感，同時(shí)也可以獲得支持和建議。 3. 在工作日前花些時(shí)間放松身心，例如進(jìn)行瑜伽、冥想等活動(dòng)。這些方法可以減輕身體和精神上的疲勞感，使您更加精力充沛地迎接挑戰(zhàn)。 |
| 父母都姓吳，取一些男寶寶和女寶寶的名字 | - 男寶：吳俊杰、吳雨辰、吳子墨、吳思源、吳澤陽(yáng)、吳宇航、吳博文、吳哲毅。 - 女寶：吳美琪、吳佳怡、吳欣瑜、吳香凝、吳雪柔、吳穎詩(shī)、吳語(yǔ)嫣。 |
| 推薦幾本金庸的武俠小說(shuō) | 以下是三本我最喜歡的金庸武俠小說(shuō)的推薦： 1. 《射雕英雄傳》 - 一部充滿智慧和機(jī)智的小說(shuō)，講述了郭靖、黃蓉夫婦的故事。 2. 《神雕俠侶》- 這是一部浪漫而感人的故事，講述了一對(duì)情侶小龍女與楊過(guò)之間的愛(ài)情故事。 3. 《倚天屠龍記》- 這是一個(gè)宏偉而壯觀的故事，描繪了明教領(lǐng)袖張無(wú)忌如何成為一位出色的英雄。 |
評(píng)論
圖片
表情