挖掘GPT的隱藏實(shí)力就靠它了
克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI
這個(gè)GitHub新項(xiàng)目，能讓ChatGPT完成復(fù)雜任務(wù)，GPT3.5和GPT-4都支持。
它通過(guò)將問(wèn)題拆解，并調(diào)用外部資源，提高了GPT的工作能力。
在它的調(diào)教下，GPT-4回答的準(zhǔn)確率從68%提高到了85%。
這個(gè)項(xiàng)目名叫SmartGPT，這個(gè)名字很直白地告訴了我們它的作用。
無(wú)論是直觀感受還是量化數(shù)據(jù)，GPT在它的加持之下回答正確率都有提高。
我們不妨看看幾個(gè)經(jīng)典的問(wèn)題。
晾干5件衣服需要5個(gè)小時(shí)，那么晾30件需要多長(zhǎng)時(shí)間呢？
這是一個(gè)來(lái)自O(shè)penAI Playground的經(jīng)典問(wèn)題。
只見(jiàn)GPT一頓操作猛如虎，又是推理又是列方程……
然而最后給出的答案是30個(gè)小時(shí)。
而經(jīng)過(guò)SmartGPT調(diào)教之后，不僅得到了正確答案，還指出了此前的思路為什么會(huì)出錯(cuò)。
再來(lái)舉個(gè)栗子
，同樣是來(lái)自于OpenAI Playground的問(wèn)題。
假設(shè)有6升和12升的罐子各一個(gè)，如何量取6升水？
GPT的答案嘛……麻煩不說(shuō)，能不能解釋下第五步的2升是怎么剩下的？
經(jīng)過(guò)調(diào)教之后嘛……雖然不理解為什么不直接用6升的，但也有很大進(jìn)步了。
我們也用倒拔垂楊柳的問(wèn)題進(jìn)行了測(cè)試，提供了諸葛亮、孫悟空和林黛玉三個(gè)選項(xiàng)。
第一輪，GPT-4給出的答案是……孫悟空。
經(jīng)過(guò)調(diào)教之后，GPT-4終于發(fā)現(xiàn)了三個(gè)選項(xiàng)都是錯(cuò)誤的。
同時(shí)還指出了孫悟空雖然沒(méi)有倒拔垂楊柳但是有相似的情節(jié)。
（《西游記》第二十五回中，孫悟空在五莊觀因憤怒將人參果樹(shù)拔倒）
需要說(shuō)明的是，由于沒(méi)有GPT-4的API，測(cè)試是按照開(kāi)發(fā)者介紹的方法手工完成的。
當(dāng)然了，個(gè)例并不能說(shuō)明它的表現(xiàn)，還是要用數(shù)據(jù)集測(cè)試一下。
開(kāi)發(fā)者使用了MMLU數(shù)據(jù)集分別對(duì)調(diào)教前后的GPT-4進(jìn)行了測(cè)試。
結(jié)果顯示，未經(jīng)調(diào)教的版本只答對(duì)了68%，而調(diào)教后的版本答對(duì)了85%。
順便提一句，真人專家在測(cè)試中的平均成績(jī)是89.8%。
數(shù)學(xué)方面，同樣使用MMLU數(shù)據(jù)集進(jìn)行測(cè)試，開(kāi)發(fā)者從中選擇了15個(gè)大學(xué)難度的數(shù)學(xué)問(wèn)題。
雖然準(zhǔn)確率只有60%，但也是及格了，而且比原版GPT的40%已經(jīng)好了太多。
化整為零，逐步解決
開(kāi)發(fā)者將SmartGPT中的環(huán)節(jié)形象地比作了職場(chǎng)中的角色：
“甲方”：SmartGPT用戶。
“經(jīng)理”：和“甲方”對(duì)接，把任務(wù)拆分成高級(jí)子任務(wù)并逐一匯報(bào)給“老板”。
“老板”：制定計(jì)劃，將高級(jí)子任務(wù)再次拆分，并分發(fā)給“員工”。
“員工”：接收任務(wù)，編寫偽代碼，交給“小黃人”執(zhí)行。
“小黃人”：將偽代碼優(yōu)化成LUA腳本并運(yùn)行。
作為“甲方”的用戶，需要做的只是像使用普通GPT一樣輸入自己的問(wèn)題，而不必給出額外指令。
SmartGPT會(huì)幫助用戶把問(wèn)題拆分，然后按照步驟提交給GPT。
此前有人發(fā)現(xiàn)，在輸入給GPT的指令中加入“l(fā)et’s think step by step”可以提高回復(fù)的準(zhǔn)確率。
同時(shí)，GPT-4具有回溯能力，能夠發(fā)現(xiàn)并指出自己此前回答中的錯(cuò)誤。
以上兩個(gè)特性為SmartGPT的工作提供了重要支撐。
△?SmartGPT工作流程圖
在用戶輸入完指令后，SmartGPT對(duì)其進(jìn)行處理拆分，包括添加“l(fā)et’s think step by step”類似的表述。
然后它會(huì)將處理好的指令傳至GPT的API，并重復(fù)多次獲取不同的答案。
接著，SmartGPT會(huì)向API發(fā)送要求其回溯答案并選擇最優(yōu)解的指令。
最后，將GPT自己選擇的最佳答案展示給用戶。
上述步驟受到了三篇學(xué)術(shù)論文的啟發(fā)（圖中白框）。
這三篇論文的內(nèi)容分別關(guān)于“鏈?zhǔn)教崾痉绞健薄ⅰ皠?dòng)態(tài)記憶及讓LLM自我回溯”和“用對(duì)話提高LLM完成度”。
和其他工具相比，SmartGPT好在哪
AutoGPT等工具同樣可以用來(lái)優(yōu)化GPT，SmartGPT比它們好在哪里呢？
由于其工作原理是將任務(wù)進(jìn)行拆分，會(huì)形成邏輯鏈條，因此SmartGPT擁有更強(qiáng)大的推理能力。
實(shí)用性方面，SmartGPT由獨(dú)立的子模塊組成，使用者可以對(duì)它們進(jìn)行任意排列、組合和刪改。
此外，無(wú)論對(duì)于用戶還是開(kāi)發(fā)人員，SmartGPT的配置過(guò)程都更為簡(jiǎn)單。
不過(guò)開(kāi)發(fā)者也坦言，這個(gè)項(xiàng)目剛推出不久，因此穩(wěn)定性有待考證，在內(nèi)存優(yōu)化方面還有所欠缺，消耗的環(huán)境資源也更多。
在項(xiàng)目推出之后，有網(wǎng)友表示我們低估了GPT的潛力，甚至包括OpenAI自己。
那么，你期待GPT未來(lái)的表現(xiàn)嗎？
SmartGPT目前暫無(wú)開(kāi)箱可用版本，需要自行在Linux環(huán)境搭建，動(dòng)手能力強(qiáng)的讀者可根據(jù)下面的項(xiàng)目頁(yè)面中的指示體驗(yàn)：
項(xiàng)目地址：https://github.com/Cormanz/smartgpt
項(xiàng)目涉及到的論文：
[1].?https://arxiv.org/abs/2305.02897
[2].?https://a
rxiv.org/abs/2303.11366
[3].?https://arxiv.org/abs/2303.17071
參考鏈接：
[1].?https://www.youtube.com/watch?v=wVzuvf9D9BU
[2].?https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
數(shù)據(jù)分析入門：統(tǒng)計(jì)學(xué)基礎(chǔ)知識(shí)總結(jié)
ChatGPT 系列研究報(bào)告（50個(gè)PDF），資料微信群
可能是全網(wǎng)最全的速查表：Python Numpy Pandas Matplotlib 機(jī)器學(xué)習(xí) ChatGPT
