七月論文審稿GPT第2.5和第3版:分別微調(diào)GPT3.5、Llama2 13B以擴(kuò)...

這三個輸出按順序如下從左至右展示

1.2 模型評估：對通過156條數(shù)據(jù)微調(diào)后的gpt3.5 16K的效果評估

1.2.1 ft后的gpt3.5效果超過不微調(diào)的gpt3.5和GPT4

如下圖左側(cè)所示，僅才156條數(shù)據(jù)微調(diào)之后的gpt3.5的效果遠(yuǎn)遠(yuǎn)超過不微調(diào)的gpt3.5，且如果下圖右側(cè)所示，也超過了GPT4(對GPT4的勝率達(dá)到61.4%)

當(dāng)然，上述的表現(xiàn)表面上是證明了微調(diào)的威力，其實(shí)是證明了我司爬取的這份超高質(zhì)量paper-review數(shù)據(jù)的威力

1.2.2 ft后的gpt3.5依然不敵我司通過longqlora微調(diào)后的llama2

如下圖所示，ft后的gpt3.5雖然變強(qiáng)了(通過我司爬取的極高質(zhì)量的paper-review數(shù)據(jù)集微調(diào)后接連超過不微調(diào)的gpt3.5和gpt4)，但仍不敵我司通過longqlora微調(diào)后的llama2

你可能會說，那為何不用全部的一萬多條數(shù)據(jù)微調(diào)gpt3.5 16K呢？原因在于

• 一方面 如上文所說，尚不確定有無數(shù)據(jù)泄露給OpenAI的風(fēng)險(畢竟這一萬多條的paper-review數(shù)據(jù)集是目前該審稿項(xiàng)目中最大的資產(chǎn)，不敢輕易上傳云端)

• 另一方面 畢竟也是一萬多塊，故之后再嘗試

第二部分

第3版之微調(diào)Llama2 13b chat

在我司這個論文審稿場景下，對于13B模型的微調(diào)，首選還是微調(diào)llama 13B(模型地址： Llama-2-13b-chat-hf)

其對卡的要求：雙48g的卡或者單卡80g，即13b的話雙A40用longqlora差不多，所以本次微調(diào)方法繼續(xù)用之前微調(diào)過llama2 7B的longqlora(當(dāng)然，longlora也行，不過 考慮到盡可能節(jié)省資源，故還是longqlora了)

2.1 模型訓(xùn)練：LongQLora微調(diào)Llama2 13b chat

2.1.1 資源依賴與環(huán)境配置

以下是所需的資源需求

1. Linux系統(tǒng)

2. 支持cuda11.7

3. 2張A40（即顯存48G+的Ampere架構(gòu)顯卡）

4. 可訪問HuggingFace/Python官方源(操作前確認(rèn)已開啟)

5. 至少120GB的空余硬盤空間

接下來，如下配置環(huán)境

          
            
              # 訓(xùn)練代碼基于LongQLoRA論文的源碼進(jìn)行修改，完整代碼見七月在線的課程
            
          
          
            cd /path/to/LongQLoRA
          
          
            
              

          
          
            
              

          
          
            
              # 創(chuàng)建虛擬環(huán)境
            
          
          
            conda create -n longqlora python=3.9 pip
          
          
            
              

          
          
            
              

          
          
            
              # 配置虛擬環(huán)境
            
          
          
            
              ## 單獨(dú)安裝pytorch
            
          
          
            pip install torch==1.13.0+cu117 torchvision==0.14.0+cu117 torchaudio==0.13.0 --extra-index-url https://download.pytorch.org/whl/cu117 -i https://pypi.org/simple
          
          
            
              ## 單獨(dú)安裝flash attention
            
          
          
            pip install flash_attn -i https://pypi.org/simple
          
          
            
              ## 安裝requirements
            
          
          
            pip install -r requirements.txt -i https://pypi.org/simple
          
        

1. 安裝flash attention的最后階段會需要進(jìn)行聯(lián)網(wǎng)編譯，如果無法有效訪問相關(guān)網(wǎng)絡(luò)可能會導(dǎo)致編譯失敗

requirements中包含對deepspeed的安裝，使用非python官方源安裝的deepspeed可能會出現(xiàn)必要文件丟失或加載不到相關(guān)驅(qū)動的問題，導(dǎo)致無法正常進(jìn)行多卡訓(xùn)練(時點(diǎn)為2024年2月初)  

          
            accelerate==0.21.0
          
          
            transformers==4.31.0
          
          
            peft==0.4.0
          
          
            bitsandbytes==0.39.0
          
          
            loguru
          
          
            numpy
          
          
            pandas
          
          
            tqdm
          
          
            deepspeed==0.9.5
          
          
            tensorboard
          
          
            sentencepiece
          
          
            transformers_stream_generator
          
          
            tiktoken
          
          
            einops
          
          
            
              # torch==1.13.0
            
          
          
            openpyxl
          
          
            httpx
          
          
            
              # flash_attn==2.3.3
            
          
          
            joblib==1.2.0
          
          
            scikit_learn==0.24.2
          
        

2.1.2 前期準(zhǔn)備： 數(shù)據(jù)集與模型文件下載

1. 創(chuàng)建輸出目錄

2. 放置數(shù)據(jù)集  

3. 下載模型文件  安裝git-lfs  

          
            
              # 安裝git-lfs
            
          
          
            curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
          
          
            sudo apt-get install git-lfs
          
          
            
              

          
          
            
              

          
          
            
              # 激活git-lfs
            
          
          
            git lfs install
          
        

 獲取Llama-2-13b-chat-hf模型文件  

          
            
              # 進(jìn)入用于存儲模型文件的目錄
            
          
          
            cd /path/to/models_dir
          
          
            
              

          
          
            
              

          
          
            
              # 獲取Llama-2-13b-chat-hf
            
          
          
            git lfs clone https://huggingface.co/NousResearch/Llama-2-13b-chat-hf
          
        

2.1.3 定義傳參

• 修改yaml文件  

路徑位于“/path/to/LongQLoRA/train_args/llama2-13b-chat-sft-bf16.yaml”，完整配置見七月在線的課程  

• 修改bash文件  

注意，這里和用修改后的longqlora代碼微調(diào)llama2 7B不一樣，由于本次咱們是用的雙卡微調(diào)llama2 13B( 算是通過DS并行訓(xùn)練 )，所以我們需要加個命令： 要 --num_gpus=2  

最終，路徑位于“/path/to/LongQLoRA/ run_train_sft_13b_bf16 .sh”，該文件如下所示  

          
            export CUDA_LAUNCH_BLOCKING=1
          
          
            deepspeed --num_gpus=2 train.py --train_args_file /root/autodl-tmp/LongQLoRA/train_args/llama2-13b-chat-sft-bf16.yaml
          
        

•  其中--train_args_file，即指訓(xùn)練所用yaml文件的路徑你可以對比下之前微調(diào)llama2 7B的配置

•   export CUDA_LAUNCH_BLOCKING=1

•  deepspeed train.py --train_args_file /path/to/LongQLoRA/train_args/llama2-7b-chat-sft-bf16.yaml

2.1.4 運(yùn)行訓(xùn)練

          
            
              # 進(jìn)入LongQLoRA源碼目錄
            
          
          
            cd /path/to/LongQLoRA
          
          
            
              

          
          
            
              

          
          
            
              # 啟動bash文件進(jìn)行訓(xùn)練
            
          
          
            bash run_train_sft_bf16.sh
          
        

2.2 模型評估：llama2 13B longqlora再次接連超過GPT3.5和GPT4

為了全面評估我司審稿模型第3版13B，對GPT4在論文審稿方面的勝率，和文弱做了一系列實(shí)驗(yàn)

• 13B PK GPT4-0125，1106 0125依次裁判

• 13B PK GPT4-1106，1106 0125依次裁判

2.2.1 不同裁判下，llama2 13B longqlora與GPT4-0125的PK

還是用的和第二版一樣的評估方法，只考察命中數(shù)，接連超過GPT3.5、GPT4

不過有一點(diǎn)要強(qiáng)調(diào)下，考慮到如此篇文章《七月論文審稿GPT第2版：用一萬多條paper-review數(shù)據(jù)集微調(diào)LLaMA2 7B最終反超GPT4》的6.3節(jié)開頭所說

“在同在一個季度的工作 才互相PK，且首選當(dāng)季度最強(qiáng)的裁判去評判”

故，接下來，GPT3.5之外，面對GPT4時，PK的均是GPT4-0125的生成結(jié)果

• 下圖無論是左側(cè)還是右側(cè)，都是用的GPT4-1106做的裁判

• 而下圖無論是左側(cè)還是右側(cè)，都是用的GPT4-0125做的裁判

上面有個問題是，為何僅僅只是裁判不同，但差距那么大呢？原因在于GPT4-0125做裁判時，會對GPT4-0125生成的結(jié)果有偏心

舉個例子，對于同一篇文章的同一個review，如下圖所示

  紅框： 1106判阿荀的時候，把A7-B4的相似度判定為7

藍(lán)框：0125判阿荀的時候，把A7-B4的相似度判定不足為7，所以藍(lán)框內(nèi)沒有A7-B4

綠框：0125判0125的時候，把A4-B4的相似度判斷為7，但實(shí)際上 這兩項(xiàng)的相似性如果按照1106的標(biāo)準(zhǔn)的話，不足為7

 啥意思呢，就是0125當(dāng)裁判的時候，對阿荀的生成結(jié)果判定的較嚴(yán)，對0125自己的生成結(jié)果判定的較松

2.2.2 llama2 13B與GPT4-1106、llama2 7B longqlora的對比

下圖無論左側(cè)還是右側(cè)，都是13B對比GPT4-1106的生成結(jié)果，但下圖左側(cè)是GPT4-1106做裁判，下圖右側(cè)是GPT4-0125做裁判

對于上述這個結(jié)果，我再引用下第二版《 七月論文審稿GPT第2版：用一萬多條paper-review數(shù)據(jù)集微調(diào)LLaMA2 7B最終反超GPT4 》的這個結(jié)果：llama2 7B longqlora PK GPT4-1106(且GPT4-1106做裁判)

 你能看出什么端倪不(你是不想說，GPT4-0125不太適合做裁判？)

1. 第一階段 第2.5版之微調(diào)GPT3.5 Tubor 16K  2.3日，新增一節(jié)的內(nèi)容，即  1.1.1 微調(diào)GPT3.5的前期調(diào)研：費(fèi)用、微調(diào)流程等
2. 2.4日，新增一節(jié)，即  1.1.2 先后用150多條、1500多條、15000多條數(shù)據(jù)微調(diào)GPT3.5 Tubor 16K
3. 2.5日，新增一節(jié)，即  1.2 對通過156條數(shù)據(jù)微調(diào)后的gpt3.5 16K的效果評估
4. 第二階段 第3版之微調(diào)Llama2 13b chat  2.7日，新增此節(jié)，即  “2.1 模型訓(xùn)練：LongQLora微調(diào)Llama2 13b chat”
5. 2.15，新增一節(jié)，即  2.2 模型評估：llama2 13B longqlora再次接連超過GPT3.5和GPT4
6. 2.17，更新此節(jié)的內(nèi)容  2.2 模型評估：llama2 13B longqlora再次接連超過GPT3.5和GPT4
7. 2.21，補(bǔ)充關(guān)于13B的下一步訓(xùn)練計(jì)劃
8. 2.28，補(bǔ)充關(guān)于“得克薩斯SelfExtended、微軟LongRoPE等長度擴(kuò)展方法”的初步調(diào)研結(jié)果