沒日沒夜創(chuàng)業(yè)“卷”了20個月、胖了30斤，AI大牛：還是重回Google香！

大模型時代，人人都是開發(fā)者，人人也都想成為創(chuàng)業(yè)者，欲從大模型卷起的浪潮中分得一杯羹。然而，創(chuàng)業(yè)之路有多難？

前谷歌大腦高級研究科學(xué)家 Yi Tay 在離開 Google 勇闖 AI 創(chuàng)業(yè)圈 20 個月后發(fā)文表示——「為了同時兼顧很多事情，我的身心健康受到了很大的損害，由于高強(qiáng)度的工作和不健康的生活方式，我胖了 30 斤。」

11 月 26 日，Yi Tay 在社交平臺 X 及個人博客上分享自己的最新決定——重回 Google DeepMind，從事 AI 和 LLM 研究。

擺脫了創(chuàng)業(yè)者的身份，Yi Tay 如釋重負(fù)，異常開心：

在創(chuàng)業(yè)世界探索了一年半之后，我決定回歸我的研究初心。

我將重返 Google DeepMind 從事 AI 研究。我很高興能夠探索與 LLM 相關(guān)的激動人心的研究方向，并期待發(fā)現(xiàn)新的研究突破點。

我將以高級研究員的身份重新向我之前的主管（Quoc Le）匯報工作。

這是我回來的第一周，我非常興奮。

在 Google 任職的 3.3 年

對于 Yi Tay 而言，這一次看似以“失敗”告終的創(chuàng)業(yè)也并非當(dāng)時的一時沖動。和許多心懷大志的年輕人一樣，彼時 33 歲的 Yi Tay 想試試自己在未來 3.3 年里究竟能有多少成長。

至于為什么是以 3.3 年為周期，Yi Tay 曾透露，他花了約 3.3 年的時間攻讀博士學(xué)位。一畢業(yè)之后就以研究員身份加入 Google 美國山景城園區(qū)的研究團(tuán)隊，隨后回到新加坡，作為“新加坡辦公室的唯一研究員”繼續(xù)工作。

而后他成為 Google Research 美國研究團(tuán)隊的技術(shù)主管，致力于 Transformer 擴(kuò)展和架構(gòu)。在此期間，他還為大約 20 款產(chǎn)品的發(fā)布做出了貢獻(xiàn)。隨后，Yi Tay 加入 Google Brain 團(tuán)隊，成為一名高級研究科學(xué)家，致力于大模型和 AI 的研究，這一干又是一個 3.3 年。

這段時間里，Yi Tay 參與并推動了 Google 不少前沿研究工作，如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard 和 MUM 等。此外，他在 ViT-22B 和 PaLI-X 等大型多模態(tài)模型的開發(fā)中也發(fā)揮了重要作用，并擔(dān)任新 PaLM-2 和 PaLM API 的建模聯(lián)合負(fù)責(zé)人。

同時，他在 Google 任職的 3.3 年時間里共撰寫了約 45 篇論文，其中約 16 篇為第一作者或共同第一作者。

有了豐富的經(jīng)驗積累，Yi Tay 想要開啟自己下一個冒險之旅。于是在去年 3 月，Yi Tay 和 Meta 研究科學(xué)家 Mikel Artetxe 等人一拍即合，創(chuàng)立了 Reka 公司，而他擔(dān)任 Reka AI 的聯(lián)合創(chuàng)始人/首席科學(xué)家。

融資 1 億元，15 個人共同創(chuàng)業(yè)的一年半

在百模大戰(zhàn)期間，Reka 也不負(fù)團(tuán)隊的共同努力，發(fā)布了在文本、代碼、圖像、視頻和音頻數(shù)據(jù)上從頭開始進(jìn)行訓(xùn)練的多模態(tài)語言模型 Reka Core (67B)、Flash (21B)、Edge (7B) 和 Spark (2B) ，效果都不錯，同時 Reka 也和英偉達(dá)、Oracle 和阿里云等公司有著不同程度的合作。

回看過去一年半的經(jīng)歷，Yi Tay 在最新發(fā)布的《重返 Google DeepMind》博文中透露出，創(chuàng)業(yè)的確能學(xué)到很多，但也真的是累！

在創(chuàng)立 Reka 過程中，Yi Tay 寫道：

從技術(shù)層面來看，我學(xué)到了很多關(guān)于 Google 之外的基礎(chǔ)設(shè)施的知識，掌握了使用 PyTorch、GPU 以及其他外部資源的技能。我和 Reka 創(chuàng)始團(tuán)隊的其他成員一起，以成本最優(yōu)的方式構(gòu)建了高質(zhì)量的模型。我還學(xué)會了如何應(yīng)對不可靠的 GPU、供應(yīng)商和計算資源。

此外，我還基于自己的經(jīng)驗在 WebConf 的 LLM Day 發(fā)表主旨演講以及在越南 GenAI 峰會上進(jìn)行了技術(shù)性、內(nèi)省性和面對面的分享。特別感謝 swyx 邀請我參加 Latent Space 播客分享我的冒險經(jīng)歷，也感謝 TechInAsia 邀請我參加有趣的爐邊談話。

作為初創(chuàng)公司創(chuàng)始人，我還經(jīng)歷了許多在 Google 無法接觸到的有趣事件，這讓我大開眼界。我學(xué)到了很多關(guān)于創(chuàng)業(yè)、商業(yè)以及從零開始建立公司的知識。盡管如此，我仍然認(rèn)為自己更像是一名科學(xué)家/研究員，因此決定回歸本心，重新專注于研究。

我為我們在 Reka 創(chuàng)立初期取得的成就感到自豪。今年 5 月，我們憑借 Reka Core 成為 LMSys 排行榜的前五機(jī)構(gòu)之一。雖然模型實際排名第七，但我們達(dá)成了超越 GPT-4 早期版本的目標(biāo)。考慮到我們比其他實驗室少得多的資源（資金、計算能力和人力），這是一個了不起的成就。雖然我們總共分批融資超過 1 億美元，但與其他團(tuán)隊相比，這仍是相對較少的資金。

此外，這些成就是由不到 15 人的技術(shù)團(tuán)隊完成的。

個人層面，這對我來說是一個極為緊張的時期，尤其是在創(chuàng)業(yè)初期發(fā)現(xiàn)我的妻子懷上了我們的第一個孩子，而且正好是在我剛離開 Google 時。為了同時處理這么多事情，我的身體和心理健康受到了巨大影響，由于高強(qiáng)度和不健康的生活方式，我的體重增加了 15 公斤。好的一面是，我現(xiàn)在正在積極努力恢復(fù)健康，或許未來會寫一篇文章分享這段“恢復(fù)之旅”。

僅從 Yi Tay 分享過去一年半的照片記錄中，肉眼可見的是，創(chuàng)業(yè)真的使 Yi Tay 變胖了。

Yi Tay 回憶道，「對我來說，這是一段瘋狂但意義非凡的旅程...我已經(jīng)有了一段不錯的旅程，我相信 Reka 在那些才華橫溢且有能力的人手中會發(fā)展得很好！這是一次不錯的“學(xué)術(shù)休假”和學(xué)習(xí)機(jī)會。現(xiàn)在，是時候回歸 Google，繼續(xù)我的研究之路了」。

臨近文末，Yi Tay 還感嘆一聲——放棄舒適區(qū)并創(chuàng)業(yè)對我個人來說真的很可怕！可見這次 AI 創(chuàng)業(yè)其實也給他帶來了不小的沖擊。

人才流回大廠，AI 發(fā)展的下一步

不得不說，AI 領(lǐng)域的“卷”不止讓 Yi Tay 感到心力憔悴，更多的從業(yè)者想必也感同身受。尤其是近年來，多種宏觀因素的共同作用推動了 AI 的迅猛發(fā)展。計算能力和存儲成本的大幅下降、互聯(lián)網(wǎng)的普及以及數(shù)十年的算法研究，為 AI 的實際應(yīng)用創(chuàng)造了理想條件。

雖然學(xué)術(shù)界早已預(yù)見到 AI 在大數(shù)據(jù)集上的潛力，但由于基礎(chǔ)設(shè)施成本過高，一直因素阻礙著這些理論的實現(xiàn)。然而，如今隨著支持 AI 模型的成本變得更低、更普及，這種局面迎來了根本性轉(zhuǎn)變。

隨之而來的就是無論是硬件產(chǎn)品、AI 大模型還是 AI 基礎(chǔ)設(shè)施，都涌現(xiàn)出大量新玩家和新嘗試。

然而，一頭涌入這波浪潮中的人不乏有盲目的，早些時候我們也親眼見證了很多 AI 初創(chuàng)公司為了抓住最新的 AI 熱潮，選擇簡單地將業(yè)務(wù)建立在現(xiàn)有平臺如 GPT、Gemini 大模型之上，試圖通過“蹭熱度”快速進(jìn)入市場。然而，這種缺乏核心競爭力的做法往往導(dǎo)致“OpenAI 一次更新，毀掉無數(shù)創(chuàng)業(yè)公司”的「悲慘結(jié)局」。

此外，當(dāng)初也有不少 AI 人才選擇離開大廠創(chuàng)業(yè)，似乎低估了 AI 的研發(fā)本質(zhì)上是一場高成本、高風(fēng)險的“燒錢”游戲。從昂貴的算力、人才成本到持續(xù)的模型研發(fā)優(yōu)化，都對企業(yè)的財力和執(zhí)行力提出了嚴(yán)苛要求。面對資源有限的同時還要應(yīng)對來自行業(yè)巨頭的競爭壓力，許多初創(chuàng)企業(yè)最終未能持久，不得不尋找其他出路。

也正如 Yi Tay 在其創(chuàng)立 Reka 經(jīng)歷中提到的，盡管他們成功籌集了超過 1 億美元的資金，但相對于競爭對手來說這筆資金仍顯不足；同時，僅有 15 人的團(tuán)隊規(guī)模也顯得捉襟見肘。最終 Reka 在成立一年后，也被外媒爆出，美國云計算數(shù)據(jù)服務(wù)公司 Snowflake 有意以超 10 億美元的價格收購。然而，疑似 Reka 方面認(rèn)為 Snowflake 開價太低，這筆收購此后又被曝終止。

這并非 Reka 一家公司正處于艱難生存的窘境中，其他不少 AI 創(chuàng)業(yè)公司同樣如此，這也導(dǎo)致越來越多的 AI 人才選擇回歸大廠，就在過去一年里：

• 微軟斥資 6.5 億美元聘請 AI 初創(chuàng)公司 Inflection 的聯(lián)合創(chuàng)始人 Mustafa，負(fù)責(zé) Bing、Copilot；

• 人工智能初創(chuàng)公司 Adept CEO David 帶著聯(lián)創(chuàng)和幾乎全體員工加入亞馬遜。

• 初創(chuàng)公司 Character.AI 聯(lián)合創(chuàng)始人兼原 CEO  Noam Shazeer 回歸 Google，擔(dān)任 Google AI 項目 Gemini 的聯(lián)合技術(shù)負(fù)責(zé)人。另一位聯(lián)合創(chuàng)始人丹尼爾?德?弗雷塔斯加入 DeepMind 研究團(tuán)隊。

國內(nèi)也呈現(xiàn)同樣的情況，有消息稱，原零一萬物核心成員黃文灝、原面壁智能核心成員秦禹嘉已加入字節(jié)大模型團(tuán)隊...不久前，同為 AI 初創(chuàng)公司的月之暗面 Kimi 創(chuàng)始人兼 CEO 楊植麟在媒體采訪中也談到了 AI 人才回流大廠的現(xiàn)象，其表示，“倒也正常，因為行業(yè)發(fā)展進(jìn)入了一個新的階段，最初很多公司在做，變成現(xiàn)在少一點公司在做。”

現(xiàn)實來看，這一現(xiàn)象的背后亦是資源爭奪與行業(yè)洗牌的加劇。可以說，AI 領(lǐng)域的高速發(fā)展既是一場技術(shù)競賽，也是一場資本的對抗，或許新一輪的 AI 浪潮才剛剛開始。