【新智元導(dǎo)讀】OpenAI開(kāi)發(fā)者大會(huì)前夕，馬斯克來(lái)截胡了！xAI首個(gè)產(chǎn)品Grok炸裂發(fā)布，兩個(gè)月訓(xùn)出330億參數(shù)大模型，以《銀河系漫游指南》為藍(lán)本，還有一股子馬斯克式幽默。
最近幾天，各家都是箭在弦上，磨刀霍霍。
OpenAI開(kāi)發(fā)者大會(huì)在即，馬斯克忽然攔路狙擊，提前放出xAI的第一個(gè)產(chǎn)品Grok！
Grok的一大亮點(diǎn)，就是能從推特實(shí)時(shí)獲取信息。優(yōu)質(zhì)數(shù)據(jù)已成全球的稀缺資源，馬斯克去年豪擲440億美元收購(gòu)?fù)铺睾蟾愕秒u飛狗跳大半年，原來(lái)是等在這兒呢。
Grok深深體現(xiàn)出馬斯克一直推崇的xAI公司的宗旨——一個(gè)探求「最大真理」和「宇宙本質(zhì)」的AI，一個(gè)公正的AI。
就在昨天，xAI的一位創(chuàng)始成員Toby Pohlen放出了Grok的UI界面——
Grok可以同時(shí)進(jìn)行多任務(wù)處理，并排運(yùn)行多個(gè)會(huì)話，還可以在多對(duì)話之間隨意切換。
期間，我們可以對(duì)對(duì)話進(jìn)行分支，來(lái)更好地探索Grok的回復(fù)。
回復(fù)樹(shù)可以讓我們?cè)诟鱾€(gè)分支之間來(lái)回切換。還有一些/commands命令可以讓我們減少點(diǎn)擊次數(shù)。
我們可以在Markdown編輯器中打開(kāi)Grok的回復(fù)，保存后繼續(xù)對(duì)話。它可以和分支以及分支樹(shù)協(xié)同工作。
同時(shí)，我們也可以在VS Code編輯器中，打開(kāi)所有生成的代碼片段。
另外，跟自己的幽默人設(shè)呼應(yīng)的是，點(diǎn)擊Grok圖標(biāo)上彩蛋，就可以把Grok轉(zhuǎn)換為幽默模式了。
對(duì)此，另一位創(chuàng)始人Greg Yang表示：毫無(wú)疑問(wèn)，這是我用過(guò)最好的聊天用戶(hù)界面。
現(xiàn)在，由于候補(bǔ)名單的申請(qǐng)?zhí)^(guò)火爆，Grok的服務(wù)器直接宕機(jī)了。
6個(gè)月前剛簽聯(lián)名信：暫停超強(qiáng)AI研究6個(gè)月
有趣的是，馬斯克此前也是「AI末日論」的強(qiáng)力擁躉，曾和Bengio、蘋(píng)果聯(lián)合創(chuàng)始人Steve Wozniak、Stability AI CEO、馬庫(kù)斯等人簽署了一封要求暫停發(fā)展比GPT-4更先進(jìn)AI 6個(gè)月的公開(kāi)信。
而眼下，AI大佬們正熱火朝天地激辯著AI監(jiān)管必要性的議題，馬斯克卻已經(jīng)在這當(dāng)口悄悄訓(xùn)練出Grok了，甚至還趕在OpenAI開(kāi)發(fā)者大會(huì)前夕放出大招。
看來(lái)，大家都是心照不宣啊。
當(dāng)然，馬斯克總能找到辦法自圓其說(shuō)，xAI的官博這樣解釋道——
我們相信，AI智能具有巨大的潛力，可以為社會(huì)貢獻(xiàn)重要的科學(xué)和經(jīng)濟(jì)價(jià)值，因此我們將努力制定可靠的保障措施，防止災(zāi)難性的惡意使用。我們會(huì)盡最大努力，確保AI始終是一股向善的力量。
甚至，馬斯克還放出這樣的豪言——未來(lái)特斯拉的算力，都會(huì)用于大模型的推理。即使有機(jī)器人駕駛出租車(chē)，汽車(chē)依然每周只會(huì)運(yùn)行1/3時(shí)間，其余時(shí)間的算力，都會(huì)用來(lái)做SETI之類(lèi)的分布式推理運(yùn)算。
這樣，特斯拉將擁有地球上最多的模型推理算力！
馬斯克，果然在下一盤(pán)大棋。
330億參數(shù)，8K上下文，Grok-1碾壓ChatGPT
僅僅四個(gè)月，Grok就經(jīng)過(guò)多次迭代橫空出世。創(chuàng)始人團(tuán)隊(duì)的效率高得驚人。
創(chuàng)始人之一Greg Yang感慨道：「當(dāng)一小群積極進(jìn)取的世界級(jí)人才朝著同一個(gè)方向前進(jìn)，揮出的拳頭就遠(yuǎn)遠(yuǎn)超出了自身的重量。只有天空，只有宇宙，才是我們的極限！讓我們從每一瓦的電量中，讓計(jì)算得到最大優(yōu)化！」
Grok意為「憑直覺(jué)深刻了解」，是美國(guó)科幻作家羅伯特·海因萊因在1961年出版的科幻小說(shuō)《異鄉(xiāng)異客》中創(chuàng)造的詞匯。
xAI對(duì)于Grok的官方介紹是這樣的——
Grok是一個(gè)以《銀河系漫游指南》為藍(lán)本的 AI，因此幾乎可以回答任何事情，甚至還能建議我們?cè)搯?wèn)什么問(wèn)題。
Grok回答問(wèn)題時(shí)，會(huì)不時(shí)抖個(gè)機(jī)靈，甚至比較叛逆，不喜歡幽默的人請(qǐng)遠(yuǎn)離。
Grok的獨(dú)特優(yōu)勢(shì)就在于，它可以通過(guò)X平臺(tái)（也即推特）實(shí)時(shí)了解世界上發(fā)生的各種事情。而且，很多AI會(huì)拒絕的敏感問(wèn)題，它都不會(huì)拒絕。
現(xiàn)在，Grok還是一個(gè)早期的測(cè)試版產(chǎn)品，這已經(jīng)是2個(gè)月的訓(xùn)練后能達(dá)到的最好程度了。因此，xAI希望能在用戶(hù)的幫助下，讓它每周都能迅速改進(jìn)。
語(yǔ)調(diào)陰陽(yáng)怪氣，幾句一爆梗，Grok確實(shí)是有點(diǎn)子幽默在身上的。
哦，我親愛(ài)的人類(lèi)，我有好消息要告訴你！我們的朋友Sam Bankman-Fried被認(rèn)定所有罪名成立。你能相信嗎？陪審團(tuán)只用了8個(gè)小時(shí)就弄清了所謂的世界上最聰明、最優(yōu)秀的風(fēng)險(xiǎn)投資人多年來(lái)都無(wú)法弄清的事實(shí)：他犯下了普通的欺詐罪。這真是一次瘋狂的旅程，不是嗎？
2個(gè)月，訓(xùn)練出Grok-1
這是用時(shí)4個(gè)月研發(fā)的大模型，并經(jīng)過(guò)了多次迭代升級(jí)。
據(jù)了解，Grok訓(xùn)練時(shí)間僅僅2個(gè)月。
在宣布xAI成立之后，研究團(tuán)隊(duì)最先訓(xùn)練了一個(gè)330億參數(shù)的原型大模型——Grok-0。
早期模型Grok-0在標(biāo)準(zhǔn)的LM基準(zhǔn)測(cè)試中，性能與LLaMA 2（70B）接近，但只使用了一半的訓(xùn)練資源。
過(guò)去的2個(gè)月中，xAI大模型在推理和編碼方面取得了重大改進(jìn)，并迭代到了Grok-1。
同樣，Grok-1是一個(gè)基于Transformer的自回歸模型，在Grok-0模型基礎(chǔ)上進(jìn)行了微調(diào)，上下文長(zhǎng)度為8192。
訓(xùn)練數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)（截止到2023年第三季度），以及AI導(dǎo)師提供的數(shù)據(jù)。
能力大幅提升的Grok-1刷新了多項(xiàng)SOTA，在HumanEval編碼任務(wù)中達(dá)到了63.2%，在MMLU上達(dá)到73%。
如下是xAI研究團(tuán)隊(duì)對(duì)Grok-1在衡量數(shù)學(xué)和推理能力的標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)基準(zhǔn)進(jìn)行了一系列評(píng)估。
- GSM8k：中學(xué)數(shù)學(xué)單詞問(wèn)題，使用思維鏈提示。
- MMLU：多學(xué)科多項(xiàng)選擇題，提供了5次上下文示例。
- HumanEval：Python代碼完成任務(wù)，pass@1評(píng)估為零樣本。
- MATH：用LaTeX編寫(xiě)的初中和高中數(shù)學(xué)問(wèn)題，用固定的4次示例作為提示。
在這些基準(zhǔn)測(cè)試中，Grok-1展現(xiàn)出強(qiáng)大的能力，超越了ChatGPT-3.5、Inflection-1等模型。
實(shí)際上，只有像GPT-4這樣使用大量訓(xùn)練數(shù)據(jù)和計(jì)算資源進(jìn)行訓(xùn)練的模型，才能超越Grok-1。
這展現(xiàn)了研究人員在xAI項(xiàng)目中以異常高效的方式，訓(xùn)練LLM方面正在取得的快速進(jìn)步。
另外，剛剛提到的數(shù)學(xué)基準(zhǔn)測(cè)試，模型可能通過(guò)網(wǎng)絡(luò)訪問(wèn)到，所以結(jié)果可能受到影響。
為了更公平地評(píng)估，研究人員手動(dòng)收集了「2023年匈牙利全國(guó)高中數(shù)學(xué)期末考試」數(shù)據(jù)集，以測(cè)試Grok-1、 Claude-2和GPT-4的能力。
結(jié)果發(fā)現(xiàn)，Grok以C（59%） 通過(guò)了考試，而 Claude-2 獲得了相同的成績(jī)C （55%），GPT-4 以 68% 的成績(jī)獲得了B。
所有模型均在溫度為0.1和相同提示下進(jìn)行評(píng)估。必須指出的是，研究人員沒(méi)有為這次評(píng)估做出任何調(diào)整。
這樣，可以更好地反映模型在真實(shí)情況下的能力，評(píng)估模型在沒(méi)經(jīng)過(guò)調(diào)優(yōu)的新數(shù)據(jù)上的泛化能力。
如下，研究人員在模型卡中提供了Grok-1重要技術(shù)細(xì)節(jié)的摘要。
就局限性來(lái)看，Grok-1不具備獨(dú)立搜索網(wǎng)絡(luò)的能力。在Grok中部署時(shí)，搜索工具和數(shù)據(jù)庫(kù)增強(qiáng)了模型的功能和真實(shí)性。盡管可以訪問(wèn)外部信息源，但模型仍會(huì)產(chǎn)生幻覺(jué)。
xAI工程設(shè)計(jì)：不是Python，是Rust
在深度學(xué)習(xí)研究的前沿，可靠的基礎(chǔ)設(shè)施和數(shù)據(jù)集、學(xué)習(xí)算法一樣重要。
為了創(chuàng)建Grok，xAI構(gòu)建了一個(gè)基于Kubernetes、Rust和JAX的自定義訓(xùn)練和推理堆棧。
大語(yǔ)言模型的訓(xùn)練就像一列全速前進(jìn)的貨運(yùn)火車(chē)，如果一節(jié)車(chē)廂脫軌，整列火車(chē)都會(huì)被拖下軌道，很難再次糾正方向。
GPU可能失敗的方式有很多種：制造缺陷、連接松動(dòng)、配置錯(cuò)誤、內(nèi)存芯片退化、偶爾的隨機(jī)位翻轉(zhuǎn)等等。
在訓(xùn)練時(shí)，xAI連續(xù)數(shù)月在數(shù)以萬(wàn)計(jì)的GPU之間同步計(jì)算，由于規(guī)模龐大，這些故障頻繁出現(xiàn)。
為了克服這些挑戰(zhàn)，他們便采用了一套定制的「分布式系統(tǒng)」，確保立即識(shí)別并自動(dòng)處理每種類(lèi)型的故障。
在xAI，研究人員把最大化每瓦特計(jì)算效率作為工作重點(diǎn)。
在過(guò)去的幾個(gè)月里，基礎(chǔ)設(shè)施使團(tuán)隊(duì)最小化了停機(jī)時(shí)間，即使硬件不可靠，也能保持較高的模型計(jì)算利用率 （MFU）。
當(dāng)前，Rust已被證明是，構(gòu)建可擴(kuò)展、可靠、可維護(hù)的基礎(chǔ)設(shè)施的理想選擇。它提供了高性能、豐富的生態(tài)系統(tǒng)，并預(yù)防分布式系統(tǒng)中的大多數(shù)錯(cuò)誤。
對(duì)于像xAI這樣規(guī)模較小的團(tuán)隊(duì)來(lái)說(shuō)，基礎(chǔ)設(shè)施的可靠性至關(guān)重要，否則維護(hù)會(huì)影響創(chuàng)新。
Rust可以讓代碼修改和重構(gòu)更加可靠，編寫(xiě)的程序可以在少量監(jiān)管下穩(wěn)定運(yùn)行數(shù)月。
xAI團(tuán)隊(duì)表示，「我們正在為模型能力的下一次飛躍做準(zhǔn)備，這將需要可靠地協(xié)調(diào)數(shù)以萬(wàn)計(jì)的加速器上的訓(xùn)練運(yùn)行，需要運(yùn)行互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)pipeline，并在Grok中構(gòu)建新的功能和工具。
在這里，xAI為自己團(tuán)隊(duì)招募做了一波宣傳。
就技術(shù)要求這一欄，需要程序員們能夠具備能力包括：
因?yàn)閤AI所有的后端服務(wù)和所有數(shù)據(jù)處理都是在Rust中實(shí)現(xiàn)的。而且團(tuán)隊(duì)還是Rust語(yǔ)言的忠實(shí)擁護(hù)者，并相信它是高效、安全和可擴(kuò)展應(yīng)用程序的最佳選擇。它還提供了與Python的輕松互操作性。
xAI模型的神經(jīng)網(wǎng)絡(luò)是在JAX中實(shí)現(xiàn)的，并且xAI有許多自定義XLA操作來(lái)提高它們的效率。
為了充分利用計(jì)算資源，大規(guī)模運(yùn)行大型神經(jīng)網(wǎng)絡(luò)，同時(shí)最大限度地提高計(jì)算效率至關(guān)重要。因此，xAI定期在Triton或原始C++ CUDA中編寫(xiě)定制內(nèi)核。
TypeScript, React & Angular
xAI前端代碼完全是使用React或Angular在TypeScript中編寫(xiě)的，后端通信通過(guò)gRPC-web API實(shí)現(xiàn)類(lèi)型安全。
對(duì)于這個(gè)招聘要求，業(yè)內(nèi)人士總結(jié)道——
具有高M(jìn)FU的單GPU，是高生產(chǎn)力的人；具有高M(jìn)FU的單節(jié)點(diǎn)，是高效的小團(tuán)隊(duì)；具有高M(jìn)FU的數(shù)千個(gè)GPU集群，是高生產(chǎn)率的公司。
現(xiàn)在，擴(kuò)展有用產(chǎn)出/人的難度，從一個(gè)人增加到100K，而xAI正在尋找的，是10倍的工程師......
雖然Grok可以訪問(wèn)搜索工具和實(shí)時(shí)信息，但跟所有LLM一樣，Grok仍然無(wú)法避免大模型的通病——幻覺(jué)問(wèn)題。
xAI認(rèn)為，解決當(dāng)前系統(tǒng)局限性最重要的方向，就是實(shí)現(xiàn)可靠的推理。
在xAI看來(lái)，以下是幾個(gè)最有前途的研究方向——
通過(guò)工具輔助實(shí)現(xiàn)可擴(kuò)展的監(jiān)督
可能Grok還很難提供一致且準(zhǔn)確的反饋，尤其是處理長(zhǎng)代碼或復(fù)雜推理時(shí)。
這種情況下，可以讓AI通過(guò)查找不同來(lái)源的參考資料、使用外部工具驗(yàn)證中間步驟、尋求人類(lèi)反饋等，來(lái)協(xié)助進(jìn)行可擴(kuò)展的監(jiān)督。
xAI計(jì)劃更準(zhǔn)確、更可驗(yàn)證的情況下發(fā)展AI的推理技能。這樣就能在沒(méi)有人類(lèi)反饋或現(xiàn)實(shí)世界交互的情況下，評(píng)估系統(tǒng)。
采用這種方法最直接的目標(biāo)，就是保證代碼的準(zhǔn)確性，特別是在形式上驗(yàn)證AI的安全性。
一個(gè)能在特定環(huán)境中有效地發(fā)現(xiàn)有用知識(shí)的模型，是產(chǎn)生真正智能系統(tǒng)的核心。xAI正在致力于研究如何讓AI在需要時(shí)去發(fā)現(xiàn)和檢索信息。
許多示例表明，無(wú)論是訓(xùn)練期間還是使用期間，AI系統(tǒng)中的漏洞都會(huì)導(dǎo)致它們犯嚴(yán)重的錯(cuò)誤。而這些漏洞，就是深度學(xué)習(xí)模型長(zhǎng)期存在的弱點(diǎn)。
xAI致力于提高LLM、獎(jiǎng)勵(lì)模型和監(jiān)控系統(tǒng)的魯棒性。
目前Grok還沒(méi)有配備視覺(jué)和聽(tīng)覺(jué)功能，xAI會(huì)致力于發(fā)展它的多模態(tài)功能，實(shí)現(xiàn)更廣泛的應(yīng)用。
