OpenAI開放GPT-3微調(diào)功能，一行命令就能實現(xiàn)！正確率最高提升4倍

點擊上方“視學(xué)算法”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達

明敏 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

剛剛OpenAI宣布，允許用戶創(chuàng)建自定義版的GPT-3。

而且步驟非常簡單，只需一行命令就能實現(xiàn)！

經(jīng)過微調(diào)（fine-tuned），定制版的GPT-3在不同應(yīng)用中的提升非常明顯。

OpenAI表示，它可以讓不同應(yīng)用的準(zhǔn)確度能直接從83%提升到95%、錯誤率可降低50%。

解小學(xué)數(shù)學(xué)題目的正確率也能提高2-4倍。

這樣一來，踩在巨人的肩膀上、直接在1750億參數(shù)的大模型上微調(diào)，不少研發(fā)人員都可以不用再重頭訓(xùn)練自己的AI模型了。

這讓網(wǎng)友們大呼：

現(xiàn)在我能直接訓(xùn)練我的聊天機器人了，這可節(jié)省太多時間和費用了！

加之前不久OpenAI才取消GPT-3接口的等待機制，讓所有滿足條件的開發(fā)人員都可快速申請使用它。

顯然，在把GPT-3開放給更多人用這件事上，OpenAI真的是不遺余力。

微調(diào)好處多

微調(diào)好處多，這一點OpenAI早有證明。

今年6月，他們就曾只用80個文本的數(shù)據(jù)集進行訓(xùn)練，讓GPT-3說話的危險性大幅降低，而且表達也更有人情味。

（下圖中藍線表示訓(xùn)練后模型，紅線表示基礎(chǔ)模型，分數(shù)越高意味著表現(xiàn)越好）

事實上，已經(jīng)有不少應(yīng)用已經(jīng)用上了定制版的GPT-3，并且表現(xiàn)都不錯。

比如這個稅收應(yīng)用——Keeper Tax。

它能通過定制版的GPT-3來識別賬單上的各種數(shù)據(jù)，以幫助用戶找到可以免稅的費用。

Keeper Tax表示，在用上微調(diào)后的GPT-3后，應(yīng)用識別的準(zhǔn)確率每周都會提高約1%，準(zhǔn)確率已經(jīng)從過去的85%提升到了93%。

再來看這個人工智能檢索工具——Elicit。

它可以根據(jù)用戶搜索的問題來智能給出結(jié)果。

在用上定制版GPT-3后，Elicit給出的結(jié)果在易懂性上提高了24%、準(zhǔn)確性上提高了17%、整體方面則提升了33%。

還有這個可智能讀取用戶評論的應(yīng)用——Viable。

它能夠從大量評論中讀取用戶的重要建議，比如投訴、疑問等。

定制化GPT-3使該應(yīng)用在識別用戶反饋的準(zhǔn)確率上從66%提升到了90%。

事實上，不只是準(zhǔn)確率上的提升。

在輸出結(jié)果的用時、多樣性上，定制化GPT-3都有著更明顯的優(yōu)勢。

如何食用？

OpenAI表示，想要微調(diào)GPT-3大致需要3個步驟：

準(zhǔn)備和上傳訓(xùn)練數(shù)據(jù)；訓(xùn)練微調(diào)模型；最后使用。

其中，訓(xùn)練數(shù)據(jù)必須是JSONL文檔，這一步是讓GPT-3在哪方面表現(xiàn)突出的關(guān)鍵。

創(chuàng)建微調(diào)模型是在OpenAI CLI上進行，步驟也很簡單，只需上傳數(shù)據(jù)文件、創(chuàng)建微調(diào)作業(yè)、再等待幾分鐘或幾小時等待作業(yè)完成。

最后，使用微調(diào)模型時，只需將命令行中fine_tuned_model字段換成模型名稱即可。

具體步驟OpenAI已在官方網(wǎng)頁上給出，可參看文末鏈接2。

當(dāng)然，想要用更加強大的GPT-3，所需費用也會有些提升。

微調(diào)后模型每1K token的費用，將比基礎(chǔ)版高出50%。

OpenAI技術(shù)人員在采訪時表示：“我們開發(fā)此功能時，希望能夠讓沒有AI研究背景的人也能使用它。

不少網(wǎng)友也紛紛留言表示，自己用GPT-3寫出了很多有意思的應(yīng)用。

比如有人就寫了一個睡眠播客，可以講童話故事的那種：

參考鏈接：
[1]https://openai.com/blog/customized-gpt3/
[2]https://beta.openai.com/docs/guides/fine-tuning
[3]https://news.ycombinator.com/item?id=29554116

點個在看 paper不斷！