日本黄色电影网站视频,久草免费福利,尻屄视频在线看,天天摸天天操天天日,亚洲乱伦黄色小说视频网址,一级成人电影,中国性爱在线,小h片网站

來源：AI科技評論

本文約2700字，建議閱讀5分鐘?
近日，OpenAI訓(xùn)練了一個新系統(tǒng)，可解決小學(xué)數(shù)學(xué)題，稱其提升了GPT-3的邏輯推理問題。

現(xiàn)在小學(xué)數(shù)學(xué)題有多難？小學(xué)生拍圖上傳作題App找不到現(xiàn)成答案，稍微變換下題設(shè)語句，就要買會員換人工答題。

一時間小學(xué)生紛紛成了“氪金玩家”。

即便是題目換湯不換藥，講題APP還是罷了工。如果有一款能聽懂大白話的作題軟件能有多好！

近日，OpenAI訓(xùn)練了一個新系統(tǒng)，可解決小學(xué)數(shù)學(xué)題，稱其提升了GPT-3的邏輯推理問題。

自去年6月11日以來，OpenAI公布GPT-3語言模型，GPT-3成為OpenAI的旗艦語言生成算法，參數(shù)規(guī)模達1750億，在文本生成上與人類寫作相媲美。

三個月后，OpenAI 又推出用于數(shù)學(xué)問題的 GPT-f，利用基于 Transformer 語言模型的生成能力進行自動定理證明。

時至今日，GPT-3的能力依據(jù)被冠以“大力出奇跡”，光憑解答小學(xué)程度的幾道數(shù)學(xué)題，就能蓋過對OpenAI的質(zhì)疑聲嗎？

論文地址：
https://arxiv.org/pdf/2110.14168.pdf
數(shù)據(jù)集地址：
https://github.com/openai/grade-school-math

其中涉及一大難點：GPT-3真的懂邏輯嗎？即便是數(shù)學(xué)語言不同于大白話，但依舊涉及很多邏輯關(guān)系，一步錯步步錯。

為此，OpenAI 基于四個設(shè)計原則創(chuàng)建了 GSM8K 數(shù)據(jù)集供GPT-3反復(fù)訓(xùn)練，即數(shù)據(jù)集為高質(zhì)量、高多樣性、中等難度和自然語言的答題形式。

GSM8K 數(shù)據(jù)集由 8.5K 個高質(zhì)量小學(xué)數(shù)學(xué)應(yīng)用題組成，每個問題需要 2 到 8 步解決，涉及到加減乘除整合運算，難度近乎9-12歲的小學(xué)數(shù)學(xué)題。

結(jié)果發(fā)現(xiàn)，60億參數(shù)的GPT-3采用“新方法”，準確率直接翻倍！甚至追平了擁有1750億參數(shù)，采用微調(diào)方法的GPT-3模型。

新方法挑戰(zhàn)比自己高30倍的大參數(shù)模型，力證參數(shù)并非越大越好，這一新方法是什么？

訓(xùn)練驗證器：從錯誤中學(xué)習(xí)的模型

像GPT-3這樣的大型語言模型有許多驚人的技能，包括模仿多種寫作風(fēng)格，自動編程、自然對話、語義搜索等。然而，它們很難完成需要精確的多步驟推理的任務(wù)，比如解決小學(xué)數(shù)學(xué)應(yīng)用題。

「小明每半小時喝一瓶水。一個普通的數(shù)獨難題要花他45分鐘。一個極難的數(shù)獨需要4倍的時間。做一道極難的數(shù)獨的時間他喝了多少瓶水？」

在這樣的數(shù)學(xué)題中，GPT-3要匹配人類在復(fù)雜邏輯領(lǐng)域中的表現(xiàn)，一味提高參數(shù)，是解決辦法的長遠之策嗎？

并不！OpenAI在新方法中提到，為什么不讓模型學(xué)會識別自己的錯誤呢？從許多候選的解決方案中選擇出最佳方案！

為此，OpenAI訓(xùn)練了驗證器（verifier），來評估所提出的解決方案是否正確?？杀韧ㄟ^更新模型參數(shù)，最小化所有訓(xùn)練token的交叉熵損失的方法要多一個思路。?

增加一個“驗證”模塊，通過反復(fù)試錯，學(xué)習(xí)，再計算，原先微調(diào)無法解決的GPT-3邏輯推理能力，在新方法中得到進步。?

對于兩種思路，OpenAI通過新的GSM8K數(shù)據(jù)集來測試兩種方法：

高質(zhì)量：GSM8K中的問題都是人工設(shè)計的，避免了錯誤問題的出現(xiàn)。

高多樣性：GSM8K中的問題都被設(shè)計得相對獨特，避免了來自相同語言模板或僅在表面細節(jié)上有差異的問題。

中等難度：GSM8K中的問題分布對大型SOTA語言模型是有挑戰(zhàn)的，但又不是完全難以解決的。這些問題不需要超出早期代數(shù)水平的概念，而且絕大多數(shù)問題都可以在不明確定義變量的情況下得到解決。

自然語言解決方案：GSM8K中的解決方案是以自然語言而不是純數(shù)學(xué)表達式的形式編寫的。模型由此生成的解決方案也可以更容易被人理解。此外，OpenAI也期望它能闡明大型語言模型內(nèi)部獨白的特性。

GSM8K中的三個問題示例，紅色為計算的注釋

在GSM8K數(shù)據(jù)集上，OpenAI測試了新方法驗證（verification）和基線方法微調(diào)（fine-tuning）生成的答案。

即4種不同的解決方案：6B微調(diào)、6B 驗證、175B 微調(diào)和 175B 驗證。

在性能展示中，OpenAI提供了十個數(shù)學(xué)題實例，其中一個是的解決方案如下：

小明種了 5 棵樹。他每年從每棵樹上收集 6 個檸檬。他十年能得到多少檸檬？

175B 驗證正確

175B 微調(diào)錯誤

6B 驗證正確

6B微調(diào)正確

很明顯，驗證方法（verification）比基線方法微調(diào)（fine-tuning）在回答數(shù)學(xué)應(yīng)用題上有了很大的提升。

在完整的訓(xùn)練集上，采用「驗證」方法的60億參數(shù)模型，會略微優(yōu)于采用「微調(diào)」的1750億參數(shù)模型！

但大模型也不是一無是處，采用「驗證」的1750億參數(shù)模型還是比采用「驗證」方法的60億參數(shù)模型學(xué)習(xí)速度更快，只需要更少的訓(xùn)練問題，就能超過微調(diào)基線。

OpenAI發(fā)現(xiàn)，只要數(shù)據(jù)集足夠大，大模型就能從「驗證」中獲得強大的性能提升。

但是，對于太小的數(shù)據(jù)集，驗證器會通過記憶訓(xùn)練集中的答案而過度擬合，而不是學(xué)習(xí)基本的數(shù)學(xué)推理這種更有用的屬性。

所以，根據(jù)目前的結(jié)果進行推斷，「驗證」似乎可以更有效地擴展到額外的數(shù)據(jù)。

大模型畢竟有大模型的優(yōu)勢，如果之后能夠用大模型+驗證的方式，將會使得模型性能再上一個level !

新方法是如何驗證的

驗證器訓(xùn)練時，只訓(xùn)練解決方案是否達到正確的最終答案，將其標記為正確或不正確。但是在實踐中，一些解決方案會使用有缺陷的推理得出正確的最終答案，從而導(dǎo)致誤報。

現(xiàn)在的驗證器具體訓(xùn)練方法分為三步走：

先把模型的「生成器」在訓(xùn)練集上進行2個epoch的微調(diào)。
從生成器中為每個訓(xùn)練問題抽取100個解答，并將每個解答標記為正確或不正確。
在數(shù)據(jù)集上，驗證器再訓(xùn)練單個epoch。

生成器只訓(xùn)練2個epoch是因為2個epoch的訓(xùn)練就足夠?qū)W習(xí)這個領(lǐng)域的基本技能了。如果采用更長時間的訓(xùn)練，生成的解決方案會過度擬合。

測試時，解決一個新問題，首先要生成100個候選解決方案，然后由驗證器打分，排名最高的解決方案會被最后選中。

訓(xùn)練驗證器既可以在全部的生成解決方案里進行單個標量預(yù)測（single scalar prediction），也可以在解決方案的每個 token 后進行單個標量預(yù)測，OpenAI 選擇后者，即訓(xùn)練驗證器在每個 token 之后進行預(yù)測。

如下圖所示，它們分別標記為“解決方案級別”和“token 級別”。

在b圖中，通過消融實驗驗證訓(xùn)練驗證器中使用目標（objective）的作用， OpenAI 將使用兩個目標與僅使用驗證目標進行比較。

在c圖中，OpenAI 對生成器和驗證器的大小進行了實驗，研究發(fā)現(xiàn)使用大的生成器、小的驗證器組合性能顯著優(yōu)于小的生成器、大的驗證器組合。

寫在最后

通過OpenAI所展現(xiàn)出的10個數(shù)學(xué)實例是看出，使用驗證方法比單純擴大參數(shù)要更加智能，但缺點是并不穩(wěn)定。比如在另一個問題實例中，僅有175B驗證模型輸出正確結(jié)果：小明是一所私立學(xué)校的院長，他有一個班。小紅是一所公立學(xué)校的院長，他有兩個班，每個班的人數(shù)是小明班級人數(shù)120人的1/8。問兩所學(xué)校的總?cè)藬?shù)是多少？

AI發(fā)展道阻且長，目前絕大多數(shù)的機器學(xué)習(xí)仍依賴于數(shù)據(jù)堆砌，缺乏根本性的技術(shù)突破，存在一定的發(fā)展瓶頸。Google 工程總監(jiān) Ray Kurzweil 曾在采訪中表示，直到 2029 年，人類才有超過 50% 的概率打造出 AGI 系統(tǒng)，還有一部分專家表示至少要到2099年或2200年。

現(xiàn)下，通過在一些簡單的領(lǐng)域試驗新路徑，識別和避免機器學(xué)習(xí)的錯誤是推動模型發(fā)展的關(guān)鍵方法，比如這種簡單的小學(xué)數(shù)學(xué)題。最終當我們試圖將模型應(yīng)用到邏輯上更復(fù)雜的領(lǐng)域時，那些不被了解的黑箱子將變得越來越透明。

參考鏈接：

https://openai.com/blog/grade-school-math/

https://zhuanlan.zhihu.com/p/427877874

編輯：王菁

校對：林亦霖

OpenAI新發(fā)現(xiàn)：GPT-3做小學(xué)數(shù)學(xué)題能得55分，驗證勝過微調(diào)！

訓(xùn)練驗證器：從錯誤中學(xué)習(xí)的模型

新方法是如何驗證的

寫在最后

參考鏈接：

OpenAI新發(fā)現(xiàn)：GPT-3做小學(xué)數(shù)學(xué)題能得55分，驗證勝過微調(diào)！