GPT-4 被曝“變蠢”！為了降本，OpenAI 偷偷搞“小動作”？

“你們有沒有覺得，最近GPT-4的質(zhì)量有所下降？”

早在今年5月中旬開始，就有GPT-4用戶在OpenAI的在線開發(fā)者論壇中發(fā)帖，表示GPT-4好像開始“變蠢”了：

“我使用ChatGPT已經(jīng)有一段時間了，自GPT-4發(fā)布后，我就成為了GPT Plus用戶。我一般會用GPT-4來助力長篇內(nèi)容的分析和創(chuàng)作。過去，GPT-4似乎能很好地理解我的要求。但現(xiàn)在，它似乎失去了對信息的跟蹤，給了我很多錯誤的信息，誤解我要求的情況也越來越多……目前，GPT-4感覺更像GPT-3.5。

有沒有其他人注意到這一點(diǎn)，還是說只有我偶然遇到了這個問題？”

事實證明，這位GPT-4用戶并不是一個人——該帖下，許多用戶都留言稱：“我也很有同感！”

01

問題百出的新版GPT-4

根據(jù)許多使用者的反饋，GPT-4除了在長篇內(nèi)容的分析和創(chuàng)作上表現(xiàn)有所退步，在寫作質(zhì)量上也有所下滑。

Roblox 的產(chǎn)品負(fù)責(zé)人Peter Yang在推特上表示，GPT-4模型的輸出更快了，但質(zhì)量變差了：“只是簡單的問題，例如讓寫作更清晰簡潔并提供想法……在我看來，寫作質(zhì)量下降了。”

在討論/評估復(fù)雜的逆問題、不同的變化率或變化模式以及時空變異性時，最新版 GPT-4 的邏輯能力明顯下降。

“在 GPT-4 更新之前，我很少收到錯誤的回復(fù)，但現(xiàn)在我必須仔細(xì)檢查所有輸出（即，現(xiàn)在雙重否定條件有時不能適當(dāng)?shù)剞D(zhuǎn)換為肯定條件）。我認(rèn)為這些錯誤更類似于 GPT-3.5，而不是之前的 GPT-4 推理水平。”

甚至在編碼能力上，新版GPT-4的輸出質(zhì)量也不如以往。

一位用GPT-4為網(wǎng)站編寫功能代碼的開發(fā)者抱怨：“目前的GPT-4很令人失望。這就像開了一輛法拉利一個月，然后突然變成了一輛破舊的皮卡，我不確定我是否會愿意繼續(xù)為此付費(fèi)。”

另一位開發(fā)者也提到現(xiàn)在的GPT-4會循環(huán)輸出代碼：“完全糟透了，GPT-4開始一遍又一遍地循環(huán)輸出代碼或其他信息。我讓它寫代碼，它寫到一個點(diǎn)，突然來個"````"，然后又開始！和以前相比，它現(xiàn)在簡直就是個白癡。”

除此之外，在推特和OpenAI的在線開發(fā)者論壇中，也不斷有用戶反映新版GPT-4邏輯弱化、產(chǎn)生很多錯誤響應(yīng)、無法跟蹤提供的信息、不遵循說明要求、忘記在基本軟件代碼中添加括號、只記住最近的提示等種種問題。

對于GPT-4突然“降智”的表現(xiàn)，有用戶提出猜測：“當(dāng)前版本感覺跟剛推出時的版本大不相同，我猜OpenAI為了容納更多客戶選擇在質(zhì)量上妥協(xié)！”

如此看來，如今用戶對于GPT-4的評價確實比不上它剛出道時的“風(fēng)評”巔峰期。

02

GPT-4變快了，卻也變“蠢”了

去年年底基于GPT-3.5的ChatGPT橫空出世，其卓越的生成能力掀起了一股AIGC熱潮，因此今年3月OpenAI公布比GPT-3.5更強(qiáng)大的GPT-4時，全世界都為之驚嘆。

當(dāng)時，GPT-4被稱之為“史上最強(qiáng)大的 AI 模型”，尤其多模態(tài)的特點(diǎn)，意味著它既能理解圖像，也能理解文字輸入，于是迅速成為了開發(fā)人員和其他技術(shù)業(yè)內(nèi)人士的首選模型，也產(chǎn)生了更多對GPT-4的贊譽(yù)：10秒生成一個網(wǎng)站、通過最難美國法考、滿分通過MIT本科數(shù)學(xué)考試……

不過在人們驚嘆于GPT-4的強(qiáng)大之時，其產(chǎn)生的費(fèi)用及響應(yīng)速度也令不少人感到震驚。對此，Lamini（一家?guī)椭_發(fā)者建立定制大型語言模型的初創(chuàng)公司）的首席執(zhí)行官Sharon Zhou表示：“GPT-4雖然速度慢，但非常準(zhǔn)確。"

一直到5月份，GPT-4還一直保持著“又慢又貴但很準(zhǔn)確”的狀態(tài)——后來，GPT-4響應(yīng)變快了，與此同時用戶對其性能下降的質(zhì)疑也爆發(fā)了。

對于這個現(xiàn)象，包括Sharon Zhou在內(nèi)的幾位AI專家認(rèn)為：OpenAI可能正在創(chuàng)建幾個較小的GPT-4模型，這些模型的作用與大型模型類似，但運(yùn)行成本較低。

03

專家推測：或許與MoE技術(shù)有關(guān)

根據(jù)Sharon Zhou的介紹，這種方法被稱為Mixture-of-Experts（MoE），即混合專家系統(tǒng)。MoE 技術(shù)是在神經(jīng)網(wǎng)絡(luò)領(lǐng)域發(fā)展起來的一種集成學(xué)習(xí)技術(shù)，也是目前訓(xùn)練萬億參數(shù)量級模型的關(guān)鍵技術(shù)——由于現(xiàn)階段模型規(guī)模越來越大，導(dǎo)致訓(xùn)練的開銷也日益增長，而MoE技術(shù)可以動態(tài)激活部分神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)在不增加計算量的前提下大幅度增加模型參數(shù)量。

具體來說，MoE會將預(yù)測建模任務(wù)分解為若干子任務(wù)，在每個子任務(wù)上訓(xùn)練一個專家模型（Expert Model），并開發(fā)一個門控模型（Gating Model），該模型可根據(jù)要預(yù)測的輸入來學(xué)習(xí)信任哪個專家，并組合預(yù)測結(jié)果。

那么MoE技術(shù)引用到GPT-4是什么情況呢？Sharon Zhou解釋道，在GPT-4中這些小型專家模型會針對不同的任務(wù)和主題領(lǐng)域進(jìn)行訓(xùn)練，例如可以有針對生物、物理、化學(xué)等方面的小型GPT-4專家模型，那么當(dāng)用戶向GPT-4提出問題時，新系統(tǒng)就會知道要把這個問題發(fā)送給哪個專家模型。另外，為了以防萬一，新系統(tǒng)可能會向兩個或更多的專家模型發(fā)送查詢，然后將結(jié)果混在一起。

對于這個做法，Sharon Zhou的形容是“忒修斯之船”（一種有關(guān)身份更替的悖論，假定某物體的構(gòu)成要素被置換后，但它依舊是原來的物體嗎？），即隨著時間的推移，OpenAI會把GPT-4的各個部分替換掉：“OpenAI 正在將GPT-4變成一支小型艦隊。”

基于以上推測，Sharon Zhou認(rèn)為近來GPT-4“變蠢”的言論，很可能就與MoE這種訓(xùn)練方式有關(guān)：“當(dāng)用戶測試 GPT-4時，我們會問很多不同的問題，而規(guī)模較小的GPT-4專家模型不會做得那么好，但它正在收集我們的數(shù)據(jù)，它會改進(jìn)和學(xué)習(xí)。”

04

 GPT-4 架構(gòu)曝光？

由于用戶對于GPT-4“變蠢”的反饋越來越多，本周幾位AI專家也發(fā)布了所謂的“GPT-4架構(gòu)細(xì)節(jié)”。

其中，一位名為Yam Peleg的推特博主表示，GPT-4有大約1.8萬億個參數(shù)，橫跨120層，比GPT-3大10倍以上，在約 13T token上進(jìn)行訓(xùn)練，訓(xùn)練成本約為6300萬美元……值得一提的是，Yam Peleg也表示OpenAI在采用MoE，即通過使用16個混合專家模型來降低GPT-4運(yùn)行的成本。

截至目前，OpenAI方面并沒有對這一說法做出回應(yīng)。不過 Allen人工智能研究所的創(chuàng)始首席執(zhí)行官Oren Etzioni向媒體表示：“雖然我也沒得到證實，但我認(rèn)為這些猜測應(yīng)該大致正確。

他解釋道，一般使用MOE方法有兩種原因：要么想要生成更好的響應(yīng)，要么想要更便宜、更快的響應(yīng)。

“理想情況下MOE會讓你同時獲得這兩方面的優(yōu)勢，但現(xiàn)實中通常需要在成本和質(zhì)量之間做出權(quán)衡。”基于此，Oren Etzioni認(rèn)為結(jié)合現(xiàn)在的情況來看，OpenAI似乎為了降低GPT-4的成本而犧牲了一些質(zhì)量。

那么對于這件事，你的看法又是什么呢？

    

     歡迎你加入我的「一起玩轉(zhuǎn)ChatGPT」，贈送國內(nèi)手機(jī)可以免費(fèi)玩的GPT，并且?guī)е蠹乙黄鹛剿?/span>ChatGPT和新的AI時代。
    
    

     
    
    

     現(xiàn)在星球在運(yùn)營初期，正式運(yùn)營價格定為599，目前早鳥價149，額外給了50元優(yōu)惠券，到手99（再送一本價值99.8元的紙質(zhì)書），星球馬上要來一波大的漲價，如果你還在猶豫，可能最后就要以更高價格加入了。
    
    

     
     

      

     

    
    

     優(yōu)惠券名額有限，先到先得
    
    

     
    
    

     簡單說下這個星球能給大家提供什么：
     

    
    

     1、為你分享ChatGPT最新的玩法&風(fēng)向標(biāo)
    
    

     2、定期邀請嘉賓分享副業(yè)變現(xiàn)案例
     

    
    

     3、副業(yè)精華電子書1份，百位大咖內(nèi)部分享資料

    
    

     4、前5000人加入星球的小伙伴，可免費(fèi)獲得ChatGPT“獨(dú)立”賬號一個（賬號在加入四天之內(nèi)發(fā)放），還有一個國內(nèi)直接登錄CHATGPT的賬號 ，手機(jī)電腦都可以登錄。
    
    

     5、前5000人額外福利：送價值99.8元的小碼哥的簽名新書《Python +Excel/PPT/Word 一本通》或者其他書單的書
    
6、不斷分享如何使用ChatGPT來完成各種任務(wù)，讓你更高效地使用ChatGPT，以及副業(yè)思考、變現(xiàn)思路、創(chuàng)業(yè)案例、落地案例分享。
7、分享ChatGPT的使用方法、最新資訊、商業(yè)價值。
8、探討未來關(guān)于ChatGPT的機(jī)遇，共同成長。
9、幫助大家解決ChatGPT遇到的問題。
10、提供一整年的售后服務(wù)，一起搞副業(yè)
    

     
    
    

     

    
    

     我們星球也絕對做讓大家認(rèn)可的星球，內(nèi)容、交付絕對都是行業(yè)一流，所以大家大可放心讓感興趣的朋友加入交流！
    

最后，無論是否加入，后臺回復(fù)“chatgpt”送您一套ChatGPT入門資料