明敏 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
為應(yīng)對ChatGPT，谷歌在大模型方面的動作還在繼續(xù)。最新消息，其旗下專注語言大模型領(lǐng)域的“藍(lán)移團(tuán)隊(duì)”（Blueshift Team）宣布，正式加入DeepMind，旨在共同提升LLM能力！
DeepMind科學(xué)家們在推特下面“列隊(duì)歡迎”，好不熱鬧~
藍(lán)移團(tuán)隊(duì)隸屬于谷歌研究，和谷歌大腦實(shí)驗(yàn)室同等級。之前谷歌耗時2年發(fā)布的大模型新基準(zhǔn)BIG-Bench，就有該團(tuán)隊(duì)的重要貢獻(xiàn)。還有谷歌5400億大模型PaLM，背后也有藍(lán)移團(tuán)隊(duì)成員提供建議。綜合此前消息，DeepMind表示要在今年發(fā)布聊天機(jī)器人麻雀（Sparrow）內(nèi)測版本。如今又有擅長大模型研究的團(tuán)隊(duì)加入，強(qiáng)強(qiáng)聯(lián)手，或許會加快谷歌應(yīng)對ChatGPT的腳步？藍(lán)移團(tuán)隊(duì)是誰？
據(jù)官網(wǎng)介紹，藍(lán)移團(tuán)隊(duì)主要關(guān)注的研究點(diǎn)是如何理解和改進(jìn)大語言模型的能力。他們專注于了解Transformer的局限性，并挑戰(zhàn)將其能力擴(kuò)展到解決數(shù)學(xué)、科學(xué)、編程、算法和規(guī)劃等領(lǐng)域。
團(tuán)隊(duì)的代表性工作有數(shù)學(xué)做題模型Minerva。綜合了數(shù)理化生、電子工程和計(jì)算機(jī)科學(xué)的綜合考試MMLU-STEM，它的分?jǐn)?shù)比以往AI高了20分左右。
并且它的做題方法也是理科式的，基于谷歌5400億參數(shù)大模型PaLM，Minerva狂讀論文和LaTeX公式后，可可以按照理解自然語言的方式理解數(shù)學(xué)符號。作者透露，讓該模型參加波蘭的數(shù)學(xué)高考，成績都超過了全國平均分?jǐn)?shù)。還有谷歌耗時2年發(fā)布的大模型新基準(zhǔn)BIG-Bench，藍(lán)移團(tuán)隊(duì)全部成員均參與了這項(xiàng)工作。BIG-bench由204個任務(wù)組成，內(nèi)容涵蓋語言學(xué)、兒童發(fā)展、數(shù)學(xué)、常識推理、生物學(xué)、物理學(xué)、社會偏見、軟件開發(fā)等方面的問題。
以及如上提到的谷歌大模型PaLM，藍(lán)移團(tuán)隊(duì)成員Ethan S Dyer也貢獻(xiàn)了建議。官網(wǎng)顯示，藍(lán)移團(tuán)隊(duì)目前有4位主要成員。Behnam Neyshabur現(xiàn)在是DeepMind的高級研究員。他在豐田工業(yè)大學(xué)（芝加哥）攻讀了計(jì)算機(jī)博士學(xué)位，后來在紐約大學(xué)進(jìn)行博士后工作，同時是普林斯頓大學(xué)高等研究理論機(jī)器學(xué)習(xí)項(xiàng)目組的成員。
研究領(lǐng)域是大語言模型的推理和算法能力、深度學(xué)習(xí)和泛化等。Vinay Ramasesh在加州大學(xué)伯克利分校獲得物理學(xué)博士學(xué)位，曾致力于研究基于超導(dǎo)量子比特的量子處理器，碩士畢業(yè)于麻省理工學(xué)院。最近他主要在研究語言模型，職位是研究科學(xué)家。Ethan Dyer博士畢業(yè)于麻省理工學(xué)院，2018年加入谷歌工作至今。Anders Johan Andreassen同樣是物理專業(yè)出身，博士畢業(yè)于哈佛大學(xué)。在哈佛大學(xué)、加州大學(xué)伯克利分校都做過博士后，2019年起加入谷歌。谷歌還有多少后手？
這次藍(lán)移團(tuán)隊(duì)的調(diào)動，也不免讓外界猜測是否是谷歌為應(yīng)對ChatGPT的最新舉措。
ChatGPT引爆大模型趨勢后，谷歌幾乎是最先打響“阻擊戰(zhàn)”的大廠。
盡管加急發(fā)布的Bard效果確實(shí)有失水準(zhǔn)，但這并不意味著谷歌會就此喪失競爭力。
誠如OpenAI之于微軟，谷歌也有DeepMind。
DeepMind還是上一輪AI浪潮的引爆者。
消息顯示，DeepMind手里也有聊天機(jī)器人。
去年9月，他們介紹了一個對話AI麻雀（Sparrow），它的原理同樣是基于人類反饋的強(qiáng)化學(xué)習(xí)，能夠依據(jù)人類偏好訓(xùn)練模型。
DeepMind創(chuàng)始人兼CEO哈薩比在今年早些時候說，麻雀的內(nèi)測版本將在2023年發(fā)布。
他表示，他們將會“謹(jǐn)慎地”發(fā)布模型，以實(shí)現(xiàn)模型可以開發(fā)強(qiáng)化學(xué)習(xí)功能，比如引用資料等——這是ChatGPT不具備的功能。
但具體的發(fā)布時間還沒有透露。
藍(lán)移團(tuán)隊(duì)的加入公告中提到，他們是為了加速提升DeepMind乃至谷歌的LLM能力，不知這一動向是否會加速該對話模型的發(fā)布。
與此同時，谷歌也沒有把目光完全局限在自家開發(fā)能力上。
本月初，劈柴哥重磅宣布，斥資3億美元，緊急投資ChatGPT競品公司Anthropic——由GPT-3核心成員出走創(chuàng)辦。
1月底，該公司內(nèi)測聊天機(jī)器人Claude，
這是一個超過520億參數(shù)的大模型，自稱基于前沿NLP和AI安全技術(shù)打造。它同ChatGPT一樣，靠強(qiáng)化學(xué)習(xí)（RL）來訓(xùn)練偏好模型，并進(jìn)行后續(xù)微調(diào)。但又與ChatGPT采用的人類反饋強(qiáng)化學(xué)習(xí)（RLHF）不同，Claude訓(xùn)練時，采用了基于偏好模型而非人工反饋的原發(fā)人工智能方法（Constitutional AI），這種方法又被稱為AI反饋強(qiáng)化學(xué)習(xí)（RLAIF）。如今，Claude尚未作為商業(yè)產(chǎn)品正式發(fā)布，但已有人（如全網(wǎng)第一個提示工程師Riley Goodside）拿到了內(nèi)測資格。有人說效果比ChatGPT要好。目前，這家公司的最新估值已經(jīng)達(dá)到50億美元。
總而言之，谷歌雖然在Bard上栽了跟頭，但也沒把雞蛋放在一個籃子里。接下來它在大模型上還有哪些新動作？還很有看頭。
參考鏈接：
[1]https://twitter.com/bneyshabur/status/1629150056715816962
[2]https://research.google/teams/blueshift/
[3]https://www.deepmind.com/blog/building-safer-dialogue-agents
推薦閱讀：
世界的真實(shí)格局分析，地球人類社會底層運(yùn)行原理
不是你需要中臺，而是一名合格的架構(gòu)師（附各大廠中臺建設(shè)PPT）
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么，如何轉(zhuǎn)？
華為干部與人才發(fā)展手冊（附PPT）
企業(yè)10大管理流程圖，數(shù)字化轉(zhuǎn)型從業(yè)者必備！
【中臺實(shí)踐】華為大數(shù)據(jù)中臺架構(gòu)分享.pdf
華為的數(shù)字化轉(zhuǎn)型方法論
華為如何實(shí)施數(shù)字化轉(zhuǎn)型（附PPT）
超詳細(xì)280頁Docker實(shí)戰(zhàn)文檔！開放下載
華為大數(shù)據(jù)解決方案（PPT）
