国产乱人乱偷精品视频a人人澡,国产亚洲欧美性爱,国产毛片成人网站,国产视频xxxxxx,欧美XXX视频,视频播放一区,欧美大屌肏屄在线视频,中文字幕乱伦大杂烩

點擊下方卡片，關(guān)注「集智書童」公眾號

作者丨碳硅智慧CEO 鄧亞峰來源丨DragFlow編輯丨小書童

ChatGPT 是 OpenAI 開發(fā)的一個基于文本生成技術(shù)的對話機器人，以其驚艷的效果迅速出圈，在這個低迷的 2023 年初，憑著一己之力重新掀起了 AI 領(lǐng)域的熱潮。

早在上個世紀(jì)五十年代，就有學(xué)者提出了人工智能（Artificial Intelligence）的概念，其目的是希望讓計算機擁有人類智能（或部分人類智能）。這個領(lǐng)域經(jīng)過很多年的發(fā)展，依然沒有突破，直到 2012 年出現(xiàn)了深度學(xué)習(xí)技術(shù)。深度學(xué)習(xí)主要解決了模型表示能力的瓶頸。我們面對的建模問題，比如圖像理解、語言翻譯、語音識別、分子 - 蛋白結(jié)合構(gòu)象預(yù)測等技術(shù)，都是非常復(fù)雜的非線性問題，在深度學(xué)習(xí)出現(xiàn)之前，模型表示能力很弱，無法對這些復(fù)雜問題進(jìn)行精確表示。而深度學(xué)習(xí)技術(shù)，可以通過模型的層次堆疊，理論上可以構(gòu)建任意深度的模型，突破了模型表示能力的瓶頸，從而在語音識別、計算機視覺、自然語言理解等領(lǐng)域取得了突破性進(jìn)展。

深度學(xué)習(xí)技術(shù)的出現(xiàn)標(biāo)志著人工智能進(jìn)入到一個新的階段，我們姑且把 2012 年左右開始的通過深度學(xué)習(xí)驅(qū)動的人工智能浪潮叫作新一代人工智能時代（實際上在語音識別領(lǐng)域深度學(xué)習(xí)應(yīng)用可以追溯到最早，但是鑒于后續(xù)很多深度學(xué)習(xí)的進(jìn)步都來自于計算機視覺領(lǐng)域，所以，我們以 2012 年 AlexNet 出現(xiàn)作為起點）。這個時期，可以認(rèn)為是深度學(xué)習(xí)驅(qū)動的新一代人工智能的第一個階段，即標(biāo)注數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)模型，大幅提高了模型表示能力，從而推動人工智能技術(shù)顯著提升，并且在計算機視覺和語音識別領(lǐng)域獲得了產(chǎn)品和商業(yè)上的成功。這個階段的主要局限，是非常依賴于標(biāo)注數(shù)據(jù)的數(shù)量。由于模型參數(shù)變多，想要求解這么多的模型參數(shù)，需要大量的訓(xùn)練數(shù)據(jù)作為約束。而想獲得大量的標(biāo)注數(shù)據(jù)非常貴，到億級別之后就很難再有提升，數(shù)據(jù)支撐的有效模型大小也受到限制。2012-2015 年這段時間，計算機視覺是最活躍的領(lǐng)域，出現(xiàn)了包括 ResNet 在內(nèi)的各種深度網(wǎng)絡(luò)模型。

2017 年，一個重要的基礎(chǔ)工作 Transformer 出現(xiàn)了。2019 年，在一直未能有重大突破的自然語言處理（NLP）領(lǐng)域，一個叫作 BERT 的工作脫穎而出，在十幾個不同的自然語言處理領(lǐng)域（NLP）任務(wù)中都取得了最好的結(jié)果，這些任務(wù)之間的差別很大，所以 BERT 工作發(fā)表后，馬上引起了整個領(lǐng)域的關(guān)注。BERT 采用了一個叫作自監(jiān)督預(yù)訓(xùn)練的思路，無需標(biāo)注數(shù)據(jù)僅利用文本語料本身存在的約束就可以訓(xùn)練模型（比如某句話的某個位置只能用某些限定的詞），這樣互聯(lián)網(wǎng)上存在的優(yōu)質(zhì)語料不需要進(jìn)行人工標(biāo)定就可以用來做訓(xùn)練，從而一下子使得可用訓(xùn)練數(shù)據(jù)的數(shù)量有了巨大的提高，再配合上大模型，使得 BERT 模型的效果遠(yuǎn)遠(yuǎn)超過過去的模型，并且在不同任務(wù)間具有很好的通用性，成為 NLP 領(lǐng)域里程碑工作之一。

其實在 BERT 出現(xiàn)之前的 2018 年，還有個工作叫作 GPT（即 GPT1.0），更早利用了自監(jiān)督預(yù)訓(xùn)練的思路來做文本生成，即輸入前面的文本，模型預(yù)測輸出后面的文本，領(lǐng)域里面的優(yōu)質(zhì)語料無需標(biāo)注就可以做訓(xùn)練。BERT 和 GPT 都是在 Transformer 基礎(chǔ)上發(fā)展而來的，而 Transformer 也逐漸發(fā)展成為 AI 領(lǐng)域的通用模型。GPT1.0 的效果并不驚艷。在 BERT 出現(xiàn)后不久，GPT 很快發(fā)布了 GPT2.0，模型大小和訓(xùn)練數(shù)據(jù)量都有大幅提升，作為通用模型（即不用下游任務(wù)做訓(xùn)練，直接測試結(jié)果）在大多數(shù)任務(wù)上結(jié)果好于現(xiàn)有模型。但由于 BERT 模型在特征表示上比 GPT2.0 模型更有優(yōu)勢，也更容易訓(xùn)練，所以這個階段領(lǐng)域里最受關(guān)注的工作還是 BERT。但 2020 年 7 月，GPT3.0 橫空出世，以 1700 億參數(shù)驚艷四座，更重要的是，在效果上，GPT3.0 作為一個通用語言模型，只需向它提供一段簡單描述，說明想生成的內(nèi)容，就可以在無需重新訓(xùn)練的情況下，根據(jù)提示，生成可執(zhí)行代碼，生成網(wǎng)頁或圖標(biāo)，完成一篇文章或新聞，還可以編寫詩歌和音樂。GPT3.0 出現(xiàn)后，受到了行業(yè)的廣泛關(guān)注，很多開發(fā)者基于 GPT3.0 做了很多好玩的應(yīng)用。GPT3.0 成為最好也最受關(guān)注的文本生成模型。

在自監(jiān)督預(yù)訓(xùn)練技術(shù)出現(xiàn)之后，我們可以認(rèn)為新一代人工智能發(fā)展到了第二個階段，即自監(jiān)督預(yù)訓(xùn)練技術(shù)使得可用訓(xùn)練數(shù)據(jù)有了幾個數(shù)量級的提升，在訓(xùn)練數(shù)據(jù)大幅提升的支撐下，模型大小也有了數(shù)個數(shù)量級的提升（有效模型達(dá)到了千億規(guī)模），而在模型效果上，這些模型變得不再依賴于下游任務(wù)領(lǐng)域數(shù)據(jù)的再訓(xùn)練，所以，領(lǐng)域進(jìn)入到基于自監(jiān)督預(yù)訓(xùn)練的通用大模型時代。

之后，GPT3.0 與領(lǐng)域其他工作一起引發(fā)了一波模型大小的軍備競賽，但鮮有真正有突破的技術(shù)出現(xiàn)。大家意識到僅僅增加模型大小，并不能根本上解決問題。就在大家期待 GPT4.0 等后續(xù)工作出現(xiàn)的時候，整整兩年過去，GPT 一直沒有更新。這段時間內(nèi)，人工智能領(lǐng)域最活躍的工作主要集中在兩個方面，多模態(tài)統(tǒng)一模型和內(nèi)容生成。多模態(tài)統(tǒng)一模型，希望構(gòu)建多模態(tài)或跨模態(tài)統(tǒng)一模型，嘗試將文本、圖像、語音等不同模態(tài)數(shù)據(jù)統(tǒng)一表示在一個模型中，其中包括最早的跨模態(tài)表示模型 CLIP，和后續(xù)的一系列多模態(tài)統(tǒng)一表示模型。而內(nèi)容生成領(lǐng)域，一方面在技術(shù)層面，出現(xiàn)了擴散模型（Diffusion Model）這樣的基礎(chǔ)模型，Diffusion Model 及一系列變種模型的發(fā)展，使得人工智能內(nèi)容生成（AI Generated Content，即 AIGC）領(lǐng)域變得非常熱，從圖像生成領(lǐng)域擴展到自然語言處理和生命科學(xué)領(lǐng)域；另一方面在應(yīng)用層面，基于文本生成圖像領(lǐng)域取得了很多實質(zhì)進(jìn)展，其中最有代表性的工作 DALLE2，模型能夠按照輸入的文本描述輸出看起來很真實的圖像，即使在文本描述超越了現(xiàn)實的情況下，依然可以生成看似合理符合文本描述的圖像，如下圖所示。DALLE2 等一系列工作的成功，一方面歸功于大量的文本 - 圖像對應(yīng)關(guān)系數(shù)據(jù)（大約有數(shù)億對），建模了文本和圖像語義之間的對應(yīng)關(guān)系，另外一方面歸功于擴散模型克服了 GAN、VAE 等模型難訓(xùn)練、生成效果細(xì)節(jié)保留不夠等缺陷。圖像生成效果的驚艷，甚至讓很多人相信 AI 已經(jīng)可以創(chuàng)造內(nèi)容了。

圖. DALLE2 生成效果

時間來到了 2022 年 11 月底，OpenAI 發(fā)布了 ChatGPT。ChatGPT 發(fā)布后，大家發(fā)現(xiàn)這個聊天機器人很不一般，經(jīng)常給出令人驚艷的回答。對話機器人領(lǐng)域曾出現(xiàn)過很多個對話機器人，比如蘋果的 Siri，微軟的小冰小娜等，這些通用對話系統(tǒng)的體驗都不是非常理想，大家拿來調(diào)戲一下就扔到了一邊。而智能音箱等產(chǎn)品中使用的指令執(zhí)行式問答機器人，系統(tǒng)框架是基于規(guī)則驅(qū)動的對話管理系統(tǒng)，存在大量的手工規(guī)則，使得這些系統(tǒng)一方面無法擴展到通用領(lǐng)域，只能進(jìn)行簡單程式化的回答，另一方面，無法處理多輪對話的環(huán)境語義信息（Context）。從技術(shù)層面看，ChatGPT 和原來主流的對話系統(tǒng)完全不同，整個系統(tǒng)基于一個深度生成大模型，對于給定的輸入，經(jīng)過深度模型的處理，直接輸出抽象總結(jié)性的回答。而在產(chǎn)品體驗上，ChatGPT 也遠(yuǎn)遠(yuǎn)超越了過去的聊天系統(tǒng)。作為一個通用聊天機器人，它幾乎可以回答任何領(lǐng)域的問題，而且準(zhǔn)確率已經(jīng)達(dá)到人類愿意持續(xù)使用的要求，在多輪對話的場景下依然保持非常好的體驗。

當(dāng)然，ChatGPT 并不完美，作為一個深度學(xué)習(xí)模型，ChatGPT 存在無法百分之百精準(zhǔn)的缺陷，對于一些需要精確回答的問題（比如數(shù)學(xué)計算、邏輯推理或人名等），會出現(xiàn)一些可感知的明顯錯誤。后面又出現(xiàn)了一些改進(jìn)工作，比如有些工作會提供信息的參考網(wǎng)頁鏈接，而在 Facebook 最新的工作 ToolFormer 中，則嘗試在生成模型中，將特定任務(wù)交給特定 API 去計算，不走通用模型，這有望克服模型無法百分之百精準(zhǔn)的問題。如果這條路走通，深度生成模型有望成為 AGI 的核心框架，用插件方式集成其他技能 API，想想就很激動人心。

商業(yè)上，ChatGPT 一方面引發(fā)了對于 Google 等搜索引擎挑戰(zhàn)的暢想，另一方面，大家看到了各種自然語言理解有關(guān)的垂直產(chǎn)品應(yīng)用機會。無疑，ChatGPT 在自然語言理解領(lǐng)域正掀起一次可能媲美搜索推薦的新商業(yè)機會。

ChatGPT 為什么能有這樣驚艷的效果？其中一個核心原因是 ChatGPT 基于生成大模型 GPT3.5 構(gòu)建，這應(yīng)該是當(dāng)前自然語言理解領(lǐng)域文本生成最好的模型（GPT3.5 比 GPT3.0 使用了更多的數(shù)據(jù)和更大的模型，具有更好的效果）。

第二個核心原因則是基于人類反饋的強化學(xué)習(xí)技術(shù)，即 Reinforcement Learning from Human Feedback（簡寫作 RLHF）。由于 OpenAI 并沒有發(fā)表 ChatGPT 的論文，也沒有代碼公開，大家一般認(rèn)為其與之前的一篇文章 InstructGPT（https://arxiv.org/pdf/2203.02155.pdf）中批露的技術(shù)最為相近。如下圖所示，按照 InstructGPT 中的描述，第一步，先收集用戶對于同一問題不同答案的偏好數(shù)據(jù)；第二步，利用這個偏好數(shù)據(jù)重新訓(xùn)練 GPT 模型，這一步是基于監(jiān)督信息的精調(diào)；第三步，根據(jù)用戶對于不同答案的偏好，訓(xùn)練一個打分函數(shù)，對于 ChatGPT 的答案會給出分?jǐn)?shù)，這個分?jǐn)?shù)會體現(xiàn)出用戶對于不同答案的偏好；第四步，用這個打分函數(shù)作為強化學(xué)習(xí)的反饋（Reward）訓(xùn)練強化學(xué)習(xí)模型，使得 ChatGPT 最終輸出的答案更偏向于用戶喜歡的答案。通過上述過程，ChatGPT 在 GPT3.5 的基礎(chǔ)上，針對用戶輸入，輸出對用戶更友好的回答。

ChatGPT 第一階段訓(xùn)練 GPT 生成模型使用的訓(xùn)練數(shù)據(jù)非常多，大約在幾十 TB，訓(xùn)練一次模型需要花費千萬美元，而第二個階段，基于強化學(xué)習(xí)的少量優(yōu)質(zhì)數(shù)據(jù)反饋則只需要數(shù)萬條優(yōu)質(zhì)數(shù)據(jù)。我們可以看到，ChatGPT 技術(shù)，是在自監(jiān)督預(yù)訓(xùn)練大模型基礎(chǔ)上結(jié)合基于人類反饋的強化學(xué)習(xí)技術(shù)，取得了非常顯著的進(jìn)展。這種新的范式，有可能成為第三階段人工智能的核心驅(qū)動技術(shù)，即首先基于自監(jiān)督預(yù)訓(xùn)練的大模型，再結(jié)合基于少量優(yōu)質(zhì)數(shù)據(jù)反饋的強化學(xué)習(xí)技術(shù)，形成模型和數(shù)據(jù)的閉環(huán)反饋，獲得進(jìn)一步的技術(shù)突破。

關(guān)于 ChatGPT，我們的觀點如下：

（1）ChatGPT 確實是這個時代最偉大的工作之一，讓我們看到了基于自監(jiān)督預(yù)訓(xùn)練的生成大模型與基于少量優(yōu)質(zhì)數(shù)據(jù)強化學(xué)習(xí)反饋策略結(jié)果后 AI 的驚艷效果，某種意義上改變了我們的認(rèn)知。

（2）ChatGPT 相關(guān)技術(shù)具有非常大的商業(yè)價值，使得搜索引擎在內(nèi)的很多產(chǎn)品都面臨被重構(gòu)或者顛覆的機會，無疑會帶來很多新的商業(yè)機會，整個 NLP 領(lǐng)域都會受益。

（3）基于自監(jiān)督預(yù)訓(xùn)練的生成大模型與基于少量優(yōu)質(zhì)數(shù)據(jù)強化學(xué)習(xí)反饋策略的學(xué)習(xí)范式，有望成為未來推動各個領(lǐng)域前進(jìn)的動力，除 NLP 領(lǐng)域外，有望在生命科學(xué)、機器人、自動駕駛等各個領(lǐng)域引發(fā)新一輪人工智能熱潮。

（4）ChatGPT 并不能證明人工智能已經(jīng)有了人類心智，ChatGPT 表現(xiàn)出來的一些創(chuàng)造性和心智，是因為自然語言理解語料中包含了語義、邏輯，基于自然語言語料訓(xùn)練出來的生成模型，統(tǒng)計意義上學(xué)習(xí)到了這些對應(yīng)關(guān)系，看起來似乎有了智能，但并不是真的有人類心智。ChatGPT 很棒，但說他智力等于幾歲小朋友的說法，都不夠嚴(yán)謹(jǐn)。因為從根本上講，人學(xué)習(xí)新知識、進(jìn)行邏輯推理、想象、運動反饋這些能力，目前 AI 還沒有具備。過度炒作 ChatGPT 的智能和能力，會劣幣驅(qū)逐良幣，損害整個行業(yè)。

（5）在這個領(lǐng)域，中國的技術(shù)還有差距，過去兩年，我們還沒有看到真正復(fù)制出 GPT3.0 效果的文本生成模型，而沒有 GPT3.0 和 3.5，就不會有 ChatGPT。GPT3、GPT3.5 和 ChatGPT 等工作都沒有開源，甚至 API 都對中國做了封鎖，這都是復(fù)制工作實際面臨的困難。說得悲觀一點，大部分想復(fù)制 ChatGPT 效果的團(tuán)隊，都不會成功。

（6）ChatGPT 并不是一兩個研究人員做出的算法突破，而是在先進(jìn)理念指導(dǎo)下，非常復(fù)雜的算法工程體系創(chuàng)造出來的成果，需要在團(tuán)隊和組織上匹配（類比 OpenAI 和 DeepMind）。純研究型的團(tuán)隊恐怕不能成功，對深度學(xué)習(xí)理解不夠、太工程化的團(tuán)隊也不會成功。這只團(tuán)隊需要：第一要有足夠資源支持，可以支撐昂貴的深度學(xué)習(xí)訓(xùn)練和人才招聘；第二要有真正在工業(yè)界領(lǐng)導(dǎo)過工程化大模型團(tuán)隊的專家領(lǐng)導(dǎo)，ChatGPT 不僅有算法創(chuàng)新，更是工程體系創(chuàng)新；第三，也可能是最重要的，需要一個團(tuán)結(jié)協(xié)作有統(tǒng)一領(lǐng)導(dǎo)且不追求論文發(fā)表的組織（松散型的組織利于算法創(chuàng)新，但不利于工程化算法攻堅），且配備足夠多優(yōu)秀的工程和算法人才。

（7）我們不僅追求做一個 ChatGPT，更要持續(xù)追求其背后的技術(shù)創(chuàng)新，即大力發(fā)展自監(jiān)督預(yù)訓(xùn)練生成大模型和基于少量優(yōu)質(zhì)數(shù)據(jù)的強化學(xué)習(xí)反饋策略技術(shù)，這既是下一代 ChatGPT 的核心技術(shù)，也是推動人工智能領(lǐng)域整體進(jìn)步的技術(shù)。最擔(dān)心的是，由于投機追風(fēng)，造成力量分散而使大量資源被浪費，或者過度宣傳 ChatGPT 損害了行業(yè)。

（8） ChatGPT 還存在改進(jìn)空間，也不是唯一值得關(guān)注和期待的技術(shù)。對于 AI，最常見的誤區(qū)是，高估其短期表現(xiàn)，而低估其長期表現(xiàn)。這是一個 AI 成為核心推動力的偉大時代，但 AI 并不會那么快無所不能，需要我們長期努力。

這里，我們簡單總結(jié)一下 2012 年以來深度學(xué)習(xí)引起的新一代人工智能浪潮里面的關(guān)鍵技術(shù)演進(jìn)：

（1）第一個階段，關(guān)鍵進(jìn)展是標(biāo)記數(shù)據(jù)驅(qū)動的有監(jiān)督深度學(xué)習(xí)模型，大幅提高了模型表示能力，從而推動人工智能技術(shù)顯著進(jìn)步，這個階段最活躍的是計算機視覺和語音識別領(lǐng)域，主要的局限是有標(biāo)記數(shù)據(jù)比較貴，限制了可以獲得的數(shù)據(jù)量，進(jìn)而限制了數(shù)據(jù)能支撐的有效模型大小。

（2）第二個階段，關(guān)鍵進(jìn)展是自監(jiān)督預(yù)訓(xùn)練大數(shù)據(jù)驅(qū)動的通用大模型，自監(jiān)督預(yù)訓(xùn)練技術(shù)使得可用訓(xùn)練數(shù)據(jù)有了幾個數(shù)量級的提升，從而支撐著模型大小也有了數(shù)個數(shù)量級的提高，成為無需依賴下游任務(wù)領(lǐng)域數(shù)據(jù)再訓(xùn)練的通用模型，這個階段進(jìn)步最大、最活躍的是自然語言理解領(lǐng)域；主要的局限在于需要海量數(shù)據(jù)訓(xùn)練，且模型非常大，訓(xùn)練和使用都非常昂貴，重新訓(xùn)練垂直場景模型也非常不方便。

（3）第三個階段，目前雖然還不能蓋棺論定，但呈現(xiàn)出一定趨勢。未來非常重要的技術(shù)關(guān)鍵在于，能否在大模型的基礎(chǔ)上，用強化學(xué)習(xí)、Prompting 等方式，僅通過少量優(yōu)質(zhì)數(shù)據(jù)就能顯著影響大模型的輸出結(jié)果。如果這個技術(shù)走通，那么無人駕駛、機器人以及生命科學(xué)等數(shù)據(jù)獲取昂貴的領(lǐng)域?qū)@著受益。過去，如果想改善 AI 模型存在的問題，必須采集大量的數(shù)據(jù)重新訓(xùn)練模型。假如，在需要線下交互的機器人領(lǐng)域，在預(yù)訓(xùn)練大模型的基礎(chǔ)上，僅通過告知機器人真實場景中一些正確和錯誤的動作選擇就能影響機器人的決策，那么無人駕駛和機器人領(lǐng)域在技術(shù)迭代上會更加高效。生命科學(xué)領(lǐng)域，如果僅通過少量的試驗數(shù)據(jù)反饋，就能顯著影響模型預(yù)測結(jié)果的話，整個生命科學(xué)領(lǐng)域與計算融合的革命將會來得更快一些。在這一點上，ChatGPT 是非常重要的里程碑，相信后面還會有非常多的工作出現(xiàn)。

讓我們把目光回到我們更關(guān)注的生命科學(xué)領(lǐng)域。

由于 ChatGPT 帶來的技術(shù)進(jìn)步改善了大多數(shù) NLP 相關(guān)領(lǐng)域，所以，生命科學(xué)領(lǐng)域內(nèi)和信息查詢檢索抽取有關(guān)的技術(shù)和產(chǎn)品，會優(yōu)先受益。例如，在未來有沒有可能出現(xiàn)一個生命科學(xué)領(lǐng)域?qū)υ挿绞降拇怪彼阉饕妫瑢＜铱梢韵蛩儐柸魏螁栴}（比如關(guān)于疾病、靶點、蛋白等有關(guān)的問題），它一方面可以給出綜合趨勢的判定（也許沒有那么精確，但大概正確，有助于我們快速了解一個領(lǐng)域），另一方面可以給出關(guān)于某個話題的相關(guān)有價值資料，這無疑會顯著改善專家的信息處理效率。還例如，能否構(gòu)建一個 AI 醫(yī)生，病人可以咨詢有關(guān)疾病的知識和處理辦法（限于技術(shù)的局限，AI 無法給出精確的答案，更無法代替醫(yī)生），但可以給出很多信息參考和后續(xù)該做什么的建議，其體驗一定會顯著優(yōu)于現(xiàn)在的搜索引擎。

生命科學(xué)領(lǐng)域本身還存在很多沒有被解決的重要任務(wù)，比如小分子 - 蛋白結(jié)合構(gòu)象和親和力預(yù)測、蛋白 - 蛋白相互作用預(yù)測、小分子表示和性質(zhì)預(yù)測、蛋白質(zhì)性質(zhì)預(yù)測、小分子生成、蛋白質(zhì)設(shè)計、逆合成路線設(shè)計等任務(wù)。目前看這些問題還沒有被完美解決，如果在這些任務(wù)上取得突破，那么藥物發(fā)現(xiàn)甚至整個生命科學(xué)領(lǐng)域，都會迎來巨大變化。

基于大模型的 AIGC 領(lǐng)域，以及基于專家或試驗反饋的 RLHF 領(lǐng)域，受益于 ChatGPT 的推動，一定會引來一輪新的技術(shù)進(jìn)步。其中 AIGC（人工智能內(nèi)容生成）技術(shù)，在過去一年中，已經(jīng)在小分子生成、蛋白質(zhì)設(shè)計等領(lǐng)域取得了不錯的進(jìn)展。我們預(yù)測，在不遠(yuǎn)的未來，下列任務(wù)將顯著受益于 AIGC 生成技術(shù)的發(fā)展，產(chǎn)生技術(shù)階躍：

（1）小分子生成和優(yōu)化技術(shù)，即如何不依賴活性配體信息，而是基于蛋白口袋結(jié)構(gòu)信息生成綜合考慮活性、成藥性、可合成性等多種條件約束的配體小分子，這部分技術(shù)將顯著受益于 AIGC 領(lǐng)域的發(fā)展；

（2）構(gòu)象預(yù)測某種意義上可以看作是生成問題，小分子和蛋白結(jié)合構(gòu)象預(yù)測任務(wù)也會受益于 AIGC 相關(guān)技術(shù)的發(fā)展；

（3）蛋白質(zhì)、多肽、AAV 等序列設(shè)計領(lǐng)域，也一定會受益于 AIGC 技術(shù)的發(fā)展。

上述 AIGC 相關(guān)任務(wù)，以及幾乎所有需要試驗驗證反饋的任務(wù)，包括但不限于活性預(yù)測、性質(zhì)預(yù)測、合成路線設(shè)計等，都將有機會受益于 RLHF 技術(shù)帶來的紅利。

當(dāng)然也存在很多挑戰(zhàn)。受限于可用數(shù)據(jù)數(shù)量，當(dāng)前生命科學(xué)領(lǐng)域使用的生成模型還比較淺，主要使用的是 GNN 等淺層深度學(xué)習(xí)模型（GNN 受限于消息傳遞的平滑性，層數(shù)只能使用到 3 層左右），生成效果上雖然體現(xiàn)了很好的潛力，但依然沒有 ChatGPT 那樣驚艷。而基于專家或試驗反饋的強化學(xué)習(xí)技術(shù)，受限于試驗數(shù)據(jù)產(chǎn)生速度以及生成模型表示能力不夠的影響，驚艷效果呈現(xiàn)也會需要一定的時間。但從 ChatGPT 技術(shù)演進(jìn)趨勢推演，如果能訓(xùn)練足夠深、表示能力足夠強的生成大模型，并且利用強化學(xué)習(xí)，基于少量優(yōu)質(zhì)試驗數(shù)據(jù)或者專家反饋來進(jìn)一步提升生成大模型的效果，我們可以預(yù)期 AIDD 領(lǐng)域一定會迎來一次革命。

簡而言之，ChatGPT 不僅是自然語言理解領(lǐng)域的一項技術(shù)進(jìn)步，會引發(fā)新一輪信息服務(wù)和內(nèi)容生成領(lǐng)域的商業(yè)潮流，同時，其背后基于海量數(shù)據(jù)的深度生成技術(shù)，以及基于人類反饋的強化學(xué)習(xí)技術(shù)，是更長遠(yuǎn)的進(jìn)步動力，會引起生命科學(xué)等領(lǐng)域的長足發(fā)展。我們會再迎來一次 AI 技術(shù)進(jìn)步和產(chǎn)業(yè)落地的浪潮。

參考文章：

InstructGPT 論文：https://arxiv.org/pdf/2203.02155.pdf