改變宇宙之前，GPT-3最先改變的可能是OpenAI

大數(shù)據(jù)文摘出品

來源：bdtechtalks

編譯：Hippo

GPT-3是人工智能研究實驗室OpenAI的最新成果。它是有史以來規(guī)模最大的語言模型，引發(fā)了一系列關(guān)于人工智能將如何快速改變眾多行業(yè)的討論。

但是，很少有人去討論GPT-3是如何改變OpenAI本身的。在創(chuàng)建有史以來最成功的自然語言處理系統(tǒng)的過程中，OpenAI已逐漸從一個非盈利性人工智能實驗室演化成一家出售人工智能服務(wù)的公司。

由于糾纏在兩個相互矛盾的目標之間，該實驗室處于一種不穩(wěn)定的狀態(tài)。一方面要開發(fā)有利可圖的人工智能服務(wù)，另一方面又要探索人類級別的人工智能并造福所有人。在這之間尋求平衡是OpenAI成立的特殊使命。

2019年3月，OpenAI宣布它將從非營利實驗室轉(zhuǎn)變?yōu)椤坝O(shè)限”公司。這種模式為從投資者和大型科技公司籌集資金開辟了道路，投資方被告知他們的回報將以投資額的100倍為上限（這上限夠誘人！）。

為什么會發(fā)生這樣的架構(gòu)變化？該公司在一篇網(wǎng)站告示中宣布，此舉旨在“迅速增加我們在算力和人才方面的投資以平衡實現(xiàn)公司使命所需要的支出。”

“算力和人才”是這里的關(guān)鍵詞。

人才和算力成本是人工智能研究的兩個核心挑戰(zhàn)。從事OpenAI這類研究的人才庫非常有限。鑒于對人工智能商業(yè)化的興趣日益濃厚，大型科技公司之間在為自己的項目招募人工智能研究人員時存在激烈的競爭。這引發(fā)了一場軍備競賽，每家科技巨頭都給出更高的薪水和津貼以吸引人工智能研究人員。

Google和Facebook搶走了3位深度學(xué)習鼻祖中的2位，即Geoffrey Hinton和Yann LeCun。備受尊敬的人工智能專家Ian Goodfellow（同時也是對抗式生成網(wǎng)絡(luò)GAN的發(fā)明者）就職于Apple，另一位人工智能天才Andrej Karpathy在Tesla工作。

OpenAI對科學(xué)研究仍然有濃厚的興趣，但是隨著大多數(shù)人工智能人才被吸引到可以提供豐厚薪水的公司，非營利性人工智能實驗室發(fā)現(xiàn)要填補他們的職位空缺越來越難，除非他們能夠提供類似水平的薪水。根據(jù)2018年《紐約時報》的報道，只有少數(shù)OpenAI的研究人員每年能獲得超過100萬美元的收入，而報告稱另一家人工智能研究實驗室DeepMind在2018年向700名員工支付了超過4.83億美元的薪水。

深度學(xué)習算法是人工神經(jīng)網(wǎng)絡(luò)的主要組成部分，而其算力需求是導(dǎo)致人工智能成本進一步增加的主要原因。在能夠勝任實際任務(wù)之前，神經(jīng)網(wǎng)絡(luò)必須對利用大量案例進行訓(xùn)練，這一過程需要昂貴的計算資源。近些年OpenAI參與了一些非常昂貴的人工智能項目，包括通過機械手臂玩轉(zhuǎn)Rubik魔方，通過扮演游戲?qū)κ謸魯ota2冠軍，以及一組人工智能扮演不同角色玩500萬次捉迷藏游戲。

據(jù)估計，訓(xùn)練GPT-3至少需要460萬美元。需要明確的是，訓(xùn)練深度學(xué)習模型并不是一個純粹的一次性的過程。反復(fù)的試驗、意外的錯誤和超參數(shù)調(diào)整可能會使成本增加數(shù)倍。

OpenAI并不是第一個采用商業(yè)模式的人工智能研究實驗室。面對類似的困境，DeepMind在2014年接受了Google提出的6.5億美元的收購提議。

在聯(lián)合創(chuàng)始人之一Sam Altman的領(lǐng)導(dǎo)下，OpenAI開始向投資者開放市場化營銷，他辭去了備受推崇的創(chuàng)業(yè)加速器Y Combinator的總裁一職并成為OpenAI的首席執(zhí)行官。

在Altman之前，Greg Brockman是該組織的代表。Brockman是OpenAI的聯(lián)合創(chuàng)始人兼CTO，同時也是一位經(jīng)驗豐富的科學(xué)家和工程師。

在科技投資領(lǐng)域，聲譽和產(chǎn)品管理能力比科學(xué)天才更受重視，而Altman正是那種受投資者信任，并能把資金交給他管理的人。在Y Combinator任職期間，他幫助創(chuàng)立了許多成功的公司，包括Airbnb和Dropbox。

2019年5月，在接受知名科技媒體TechCrunch采訪時，Altman說：“我們從未取得任何收益，目前也沒有賺錢的計劃。也許某一天我們會賺到錢，但我們并不知道如何做。”

但這并沒有妨礙投資者對OpenAI大筆投資。微軟相信Altman會以某種方式找到使投資獲利的方法，因此他們在7月向該公司提供了10億美元的投資。

但是，技術(shù)投資公司和類似OpenAI這樣的科學(xué)研究實驗室是存在根本上的沖突的。

OpenAI的既定使命是確保能夠“構(gòu)建安全的通用人工智能（AGI）并向全世界分享這項技術(shù)來惠及全人類”。

但是根據(jù)專家估計，要想實現(xiàn)AGI這個崇高的目標至少需要幾十年的時間，而科技投資者的耐心極少能有那么久。如果幾年之內(nèi)其投資無法得到回報，他們將會變得懈怠。對于這一點只需要看看著名的Boston Dynamics（波士頓動力公司），盡管在YouTube上發(fā)布的機器人視頻像病毒似的瘋狂傳播，但籌資者已經(jīng)幾度易手。

那么，OpenAI如何能夠在保持AGI研究的同時獲得資助者青睞？

“OpenAI正在開發(fā)一系列功能越來越強大的人工智能技術(shù)，這需要大量資金以支撐算力。想要覆蓋這些成本最顯而易見的方法是制造出一個產(chǎn)品，但這將意味著我們工作重心的轉(zhuǎn)移。我們選擇了折中的方法，我們打算推出部分“準AGI”技術(shù)，而微軟成為我們將這些“準AGI技術(shù)”商業(yè)化的首選合作伙伴，”O(jiān)penAI在宣布獲得Microsoft投資的博客公告中寫道。

相關(guān)鏈接：

但是有明顯跡象表明，OpenAI至少部分地成為了一家產(chǎn)品公司。

2020年5月，Microsoft宣布與OpenAI合作并專門為OpenAI建設(shè)世界前五名級別的超級計算機，由此Microsoft可以充分挖掘OpenAI的才能來創(chuàng)建Altman所說的“我們的夢想系統(tǒng)”。超級計算機一方面將幫助OpenAI訓(xùn)練其深度學(xué)習模型，另一方面還將為Microsoft Azure云計算平臺的其他客戶提供服務(wù)。

此后不到兩周，OpenAI在arXiv（論文預(yù)印本網(wǎng)站）上發(fā)表了第一版的GPT-3論文。與之前的GPT-2不同，GPT-3不會向公眾發(fā)布。OpenAI選擇了商業(yè)發(fā)布，開發(fā)人員可以通過應(yīng)用程序編程接口（API）購買對GPT-3的訪問權(quán)限。

OpenAI 的API公告于6月11日發(fā)布，一些開發(fā)人員可以獲得相關(guān)技術(shù)的早期訪問權(quán)限。

這使GPT-3與微軟認知服務(wù)（Microsoft Cognitive Services）十分相似，后者是一個基于黑盒子的人工智能云平臺，通過API接口向開發(fā)人員提供計算機視覺、自然語言處理和其他人工智能類功能，同時無需提供后臺運行的模型的實際細節(jié)。

這至少將幫助OpenAI返還Microsoft投資的一部分，同時Microsoft也將從雙方合作中受益并更深入地應(yīng)用該項技術(shù)，能夠?qū)⑵渑cBing，Office 365，Outlook.com和Teams等產(chǎn)品集成。

GPT-3的商業(yè)發(fā)布使OpenAI與成為人工智能產(chǎn)品公司更近了一步，而與非盈利性人工智能科學(xué)研究的初衷越發(fā)偏離。

在開發(fā)出GPT-2后，基于對“技術(shù)的惡意應(yīng)用”（例如散布垃圾郵件和虛假新聞）的擔憂，OpenAI團隊決定不向公眾發(fā)布。取而代之的是采用了分階段的方法，先發(fā)布了一個較小版本的人工智能模型并進行了評估，之后才發(fā)布了較大的模型。

雖然當時的作者認為性能良好的語言模型不會造成假新聞的泛濫，但他也支持在發(fā)布技術(shù)之前先認真地思考一下這種技術(shù)可能帶來的后果。

GPT-3比GPT-2大三個數(shù)量級。在深度學(xué)習的語言模型中，關(guān)鍵問題之一是記憶廣度。隨著神經(jīng)網(wǎng)絡(luò)生成的文本變長，人工智能開始失去連貫性。實驗表明，較大的神經(jīng)網(wǎng)絡(luò)通常具有較長的記憶廣度，這意味著GPT-3中被誤用的可能性比GPT-2要大得多。

但是這次OpenAI并沒有為GPT-3可能成為制造垃圾郵件機的和虛假新聞的武器而大聲疾呼。相反，OpenAI高管們試圖淡化有關(guān)GPT-3的警告。7月， Sam Altman在一條推文中刪除了“ GPT-3宣傳”。

Altman的評論大部分是正確的，因為人工智能在達到人類智力水平之前還有一段路要走。GPT-3的許多實驗表明，盡管取得了令人著迷的進步，但語言模型仍然難以解決一些體現(xiàn)智能的基本任務(wù)。

盡管如此，Altman的言論依然可以表明公司高管向投資者保證一切都在控制之中。

GPT-3自發(fā)布以來受到了技術(shù)界的廣泛好評。許多開發(fā)人員和企業(yè)家都發(fā)布了GPT-3自動生成內(nèi)容的推文，例如詩歌、模因（文化的基本單位，與基因在生物進化過程中所起的作用相類似）、推文和網(wǎng)站模型。

一位開發(fā)人員甚至設(shè)法用GPT-3生成Python代碼用來搭建深度學(xué)習模型。

GPT-3具有明顯的優(yōu)勢，并有可能成為人工智能業(yè)務(wù)的轉(zhuǎn)折點。深度學(xué)習的主要限制之一在于它是狹義的人工智能系統(tǒng)。它在特定的任務(wù)上可以表現(xiàn)很好，但推廣到其他領(lǐng)域中就表現(xiàn)不佳了。想要創(chuàng)建一個新的深度學(xué)習應(yīng)用程序，就必須從零開始訓(xùn)練模型或運用遷移學(xué)習對新任務(wù)的預(yù)訓(xùn)練模型進行參數(shù)微調(diào)。

這種限制阻礙了人工智能服務(wù)作為平臺的發(fā)展。盡管GPT-3仍然屬于狹義的人工智能領(lǐng)域，但事實證明，它在許多沒有學(xué)習樣本的訓(xùn)練中依然能夠運行。這就意味著你無需重新調(diào)整參數(shù)，它也能適應(yīng)新的應(yīng)用程序。

這種功能已經(jīng)催生了許多運用人工智能模型創(chuàng)造新服務(wù)的點子。Debuild.co就是這樣一個通過GPT-3創(chuàng)建Web應(yīng)用程序的公司。

幫助租戶研究潛在房東的公司Augrented，正在探索通過GPT-3撰寫法律告示或其他簡單的英語聲明，幫助租戶捍衛(wèi)自己的權(quán)利。

OthersideAI也在運用GPT-3向用戶提供創(chuàng)意工具。

GPT-3最終可能會成為一個新平臺，在此平臺上將創(chuàng)建新的業(yè)務(wù)和生態(tài)系統(tǒng)。這對于Altman是成功的，但是它會使OpenAI成為一個產(chǎn)品/服務(wù)公司，這與發(fā)布開源人工智能模型并讓開發(fā)人員用它來做自己的事情是完全不同的。

現(xiàn)階段的OpenAI需滿足客戶需求，擴展其基礎(chǔ)架構(gòu)，處理合規(guī)性問題等。隨著人工智能模式成為初創(chuàng)公司生死攸關(guān)的力量，OpenAI還必須能夠應(yīng)對開展深度學(xué)習業(yè)務(wù)所帶來的特定挑戰(zhàn)。OpenAI仍有許多問題需要處理，如消除有害偏差，解決模型衰減等等。這些都是成本極其高昂的任務(wù)，處理1750億參數(shù)的深度學(xué)習模型尤為如此。

與此同時，OpenAI在需要弄清如何解決這些事情的同時，還需保持盈利。

盡管Altman是一位非常成功的企業(yè)家，他也無法單打獨斗。隨著OpenAI進一步涉足產(chǎn)品管理領(lǐng)域，它將需要Microsoft的更多幫助。

OpenAI已經(jīng)在依靠Microsoft的云架構(gòu)來訓(xùn)練和運行其模型，但不久的將來，它可能需要這家技術(shù)巨頭來協(xié)助處理合法性、客戶支持、安全隱私、產(chǎn)品擴展等其他問題。

舊金山OpenAI總部

OpenAI的故事描繪出了科學(xué)人工智能研究面臨的挑戰(zhàn)。目前，人們普遍認為更大的深度學(xué)習模型將發(fā)展出更先進的人工智能系統(tǒng)。這意味著人工智能研究實驗室需要大量資金吸引人才來訓(xùn)練他們?nèi)找纨嫶蟮纳疃葘W(xué)習模型。

目前，唯一愿意提供資金的是那些大型高科技公司，但投資者同樣希望獲得投資回報，這就迫使研究實驗室不得不利用部分資源來創(chuàng)造有利可圖的產(chǎn)品。如此一來，大型公司可能會完全將實驗室納入自己的商業(yè)目標。

在Google收購DeepMind之后，我們已經(jīng)看到了這種趨勢：人工智能實驗室必須將資源同時分配給AGI研究部門和致力于創(chuàng)造可盈利產(chǎn)品的“應(yīng)用人工智能”部門，但是該公司尚未實現(xiàn)收支平衡。

至于OpenAI，它現(xiàn)在還發(fā)展的很好。越是困于將人工智能服務(wù)商業(yè)化，不忘初心就越難。它是會堅持維持研究人類智力水平的人工智能的透明性、堅持開放源代碼性質(zhì)，還是會傾向于通過生產(chǎn)商業(yè)實體，并將其研究作為公司的機密和知識產(chǎn)權(quán)予以嚴密保護？它是會堅持“以人為本”，還是以滿足投資者（及未來所有者）作為其主要關(guān)注點？

時間會證明一切。

實習/全職編輯記者招聘ing

加入我們，親身體驗一家專業(yè)科技媒體采寫的每個細節(jié)，在最有前景的行業(yè)，和一群遍布全球最優(yōu)秀的人一起成長。坐標北京·清華東門，在大數(shù)據(jù)文摘主頁對話頁回復(fù)“招聘”了解詳情。簡歷請直接發(fā)送至[email protected]

志愿者介紹

后臺回復(fù)“志愿者”加入我們

點「在看」的人都變好看了哦！