<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    2. 

    <del id="afajh"><form id="afajh"></form></del>
    

    5. 

        1. <th id="afajh"><progress id="afajh"></progress></th>

          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>
          開放代碼又如何？成本昂貴、資源集中，大規(guī)模語言模型的民主化越來越難
          共
                3051字，需瀏覽
                    7分鐘
                
           ·
          2022-05-19 18:19
          
            
          大數(shù)據(jù)文摘轉(zhuǎn)載AI科技評論
          作者：Ben Dickson
          編譯：李梅
          編輯：陳彩嫻

          5月初，Meta發(fā)布了一個可以執(zhí)行多個不同任務(wù)的大型語言模型：Open pretraining Transformer (OPT-175B)。在過去幾年里，大型語言模型（large language model，LLM）已經(jīng)成為人工智能研究的熱點之一。

          在OpenAI發(fā)布包含1750億參數(shù)的深度神經(jīng)網(wǎng)絡(luò)GPT-3之后，就引發(fā)了一場LLM的「軍備競賽」，OPT-175B是這場競賽的一個最新參與者。GPT-3已經(jīng)表明，LLM可以無需額外訓(xùn)練就能執(zhí)行許多任務(wù)。后來，微軟將GPT-3集成到它的幾個產(chǎn)品中，不僅展示了LLM在科學(xué)研究上的前景，也展示了LLM在商業(yè)上的應(yīng)用潛力。

          而OPT-175B的獨一無二性在于Meta對「開放」的承諾，正如這個模型的名字（OpenXX）所暗示的那樣。Meta已經(jīng)向公眾提供了這個模型，并且公布了訓(xùn)練和發(fā)展過程中的大量細節(jié)。在Meta AI博客上發(fā)表的一篇文章中，Meta將OPT-175B的發(fā)布描述為「大規(guī)模語言模型的民主化訪問」（Democratizing access to large-scale language models）。

          Meta這種朝著透明化方向的發(fā)展是值得稱贊的。然而，在大型語言模型的激烈競爭下，民主化已經(jīng)變得難以實現(xiàn)。

          1750億參數(shù)的OPT


          Meta發(fā)布的OPT-175B有一些關(guān)鍵特征。它包括了預(yù)訓(xùn)練的模型以及需要訓(xùn)練和使用LLM的代碼。訓(xùn)練神經(jīng)網(wǎng)絡(luò)比運行神經(jīng)網(wǎng)絡(luò)要消耗更多的計算資源，所以，對于沒有計算資源來訓(xùn)練模型的組織來說，預(yù)訓(xùn)練模型特別有用。通過減少訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)所需的計算資源，它還會有助于避免造成巨大的碳足跡。

          與GPT-3一樣，OPT也有不同的規(guī)模，參數(shù)從1.25億到1750億不等，參數(shù)越多的模型學(xué)習(xí)能力越強。目前，所有300億參數(shù)及以下的版本都可以直接下載。完整的1750億參數(shù)版本的模型將提供給部分研究人員和機構(gòu)，只需要填寫一張申請表。

          Meta AI在博客上表示：
          “為了保證學(xué)術(shù)誠信和防止濫用，我們將在非商業(yè)許可下發(fā)布我們的模型，以專注于研究用例。該模型將授權(quán)學(xué)術(shù)研究人員使用，與政府、民間社會和學(xué)術(shù)界有關(guān)的組織，以及世界各地的行業(yè)研究實驗室?！?/span>

          除了模型，Meta還發(fā)布了一個完整的日志，提供了大型語言模型開發(fā)和訓(xùn)練過程的詳細技術(shù)時間表。通常來說，經(jīng)發(fā)表論文只包含關(guān)于最終版本模型的信息。Meta表示，該日志提供了一些有價值的信息，包括「用于訓(xùn)練OPT-175B的計算量，以及當(dāng)?shù)讓踊A(chǔ)設(shè)施或訓(xùn)練過程本身在規(guī)模上變得不穩(wěn)定時所需的人力開銷」。

          Meta：GPT-3不夠透明


          Meta在其博客文章中還表示，大型語言模型大多可以通過「付費API」來訪問，對LLM的訪問進行約束「限制了研究人員去理解這些大型語言模型如何工作以及為什么能工作，阻礙進一步提高模型的魯棒性和減少模型的偏見和有害性等已知問題」。

          這是對OpenAI的一種抨擊，OpenAI發(fā)布GPT-3只是提供了一種黑箱API服務(wù)，而不是將其模型的權(quán)重和源代碼公開。OpenAI宣稱沒有公開GPT-3的原因之一，是為了控制有害應(yīng)用程序的濫用和開發(fā)。

          而Meta認為，通過將模型提供給更廣泛的受眾，會有利于研究和預(yù)防它們可能造成的任何傷害。

          Meta這樣描述他們所做的工作：
          我們希望OPT-175B將為大型語言模型創(chuàng)建的前沿領(lǐng)域帶來更多的聲音，幫助社區(qū)共同設(shè)計負責(zé)任的發(fā)布策略，并為該領(lǐng)域大型語言模型的開發(fā)增加前所未有的透明度和開放性。

          大型語言模型的成本

          然而，需要注意的是，大型語言模型的「透明和開放」并不等同于「民主化」。訓(xùn)練、配置和運行大型語言模型的成本仍然很高，而且未來可能還會繼續(xù)增加。

          根據(jù)Meta的博客文章，研究人員已經(jīng)成功地大大降低了訓(xùn)練大型語言模型的成本。他們表示，該模型的碳足跡已減少到GPT-3的七分之一。之前也有專家估計，GPT-3的培訓(xùn)成本高達2760萬美元。

          這說明，OPT-175B的培訓(xùn)成本仍然高達數(shù)百萬美元。幸運的是，預(yù)訓(xùn)練的模型將避免訓(xùn)練模型的需要，并且Meta表示，將提供「只用16塊NVIDIA V100 gpu」來進行訓(xùn)練和部署完整模型的代碼庫。這相當(dāng)于一臺Nvidia DGX-2，成本約為40萬美元，對于資金緊張的研究實驗室或單個的研究人員來說，這仍不是一筆小數(shù)目。根據(jù)一篇提供了更多關(guān)于OPT-175B細節(jié)的論文顯示，Meta使用了992塊 80GB A100 gpu訓(xùn)練了自己的模型，比V100明顯更快。

          Meta AI的日志進一步證實，訓(xùn)練大型語言模型是一項非常復(fù)雜的任務(wù)。OPT-175B的開發(fā)時間表上，充斥了諸如服務(wù)器崩潰、硬件故障和其他需要高級技術(shù)人員來解決的并發(fā)癥。研究人員還不得不多次重啟訓(xùn)練過程，調(diào)整超參數(shù)，改變損失函數(shù)。所有這些產(chǎn)生的額外費用，都是小型實驗室所無法承擔(dān)的。

          民主化的阻礙：權(quán)力集中在少數(shù)公司手中


          語言模型如OPT和GPT都是基于transformer架構(gòu)。transformer的關(guān)鍵特性之一，是它能夠并行和大規(guī)模地處理大型順序數(shù)據(jù)(如文本)。

          近年來，研究人員已經(jīng)證明，通過在transformer架構(gòu)中添加更多的層和參數(shù)，可以提高語言任務(wù)的表現(xiàn)。一些研究人員認為，達到更高的智力水平只是一個規(guī)模問題。因此，資金充裕的研究實驗室，如Meta AI、DeepMind （Alphabet旗下)和OpenAI（微軟贊助)，都在致力于創(chuàng)建越來越大的神經(jīng)網(wǎng)絡(luò)，比如DeepMind最新推出了多模態(tài)AI系統(tǒng)Gato。

          去年，微軟和英偉達創(chuàng)建了一個價值5300億參數(shù)的語言模型，名為Megatron-Turing (MT-NLG)。上個月，谷歌引入了語言模型 Pathways Language Model (PaLM)，這是一個包含了5400億參數(shù)的大規(guī)模語言模型。更有傳言稱，OpenAI將在未來幾個月發(fā)布GPT-4。

          然而，更大的神經(jīng)網(wǎng)絡(luò)也需要更多的財政和技術(shù)資源。雖然更大的語言模型會有更多新花哨（和新的失?。?，但它們也會不可避免地把權(quán)力集中在少數(shù)富有的公司手中，這導(dǎo)致較小的研究實驗室和獨立的研究人員在大型語言模型的研究上更加艱難。

          在商業(yè)方面，大型科技公司將擁有更大的優(yōu)勢。運行大型語言模型是非常昂貴和具有挑戰(zhàn)性的。像谷歌和微軟這樣的公司都有專門的服務(wù)器和處理器，所以他們能大規(guī)模運行這些模型并盈利。對于較小的公司來說，搞出一個自家版本的LLM（如GPT-3）的開銷太大了。正如大多數(shù)企業(yè)都使用云托管服務(wù)而不是建立自己的服務(wù)器和數(shù)據(jù)中心一樣，隨著大型語言模型變得越來越流行，像GPT-3 API這樣的開箱即用系統(tǒng)將會更具有吸引力。

          而這反過來又會進一步地將AI集中在大型科技公司手中。更多的人工智能研究實驗室將不得不與大型科技公司合作，以獲得研究資金。這將賦予大型科技公司更大的權(quán)力來決定AI未來的研究方向（與他們的經(jīng)濟利益相一致的方向）。那些沒有短期投資回報的研究領(lǐng)域，可能就會成為這其中的代價。

          一個底線是，當(dāng)我們慶祝Meta為LLM帶來透明度的時候不要忘記，大型語言模型的本質(zhì)仍是不民主的，它們只是更多地對宣傳它們的公司有利。

          原文鏈接：
          https://bdtechtalks.com/2022/05/16/opt-175b-large-language-models/


          點「在看」的人都變好看了哦！
          
          
          瀏覽
                    27
          點贊
    
          評論
    
          收藏
    
          分享
        
          手機掃一掃分享
          分享
    
          
        舉報
    
          評論
          圖片
          表情
          推薦
        
          點贊
    
          評論
    
          收藏
    
          分享
        
          手機掃一掃分享
          分享
    
          
        舉報
    
          

          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            2. 

            <del id="afajh"><form id="afajh"></form></del>
            

            5. 

                1. <th id="afajh"><progress id="afajh"></progress></th>

                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  

亚洲精品色婷婷
|
久久免费的精品国产v∧
|
天堂一级片
|
骚逼影音先锋
|
日本欧洲三级
|