作者：劉聰NLP（NLP算法工程師）

文章經(jīng)過作者同意轉(zhuǎn)載

作為一個(gè)NLP工程師，自22年11月30號起，我的心態(tài)的從焦慮到平靜再到焦慮，每天的感覺就像做過山車一樣，跌宕起伏，只因它-ChatGPT。

今天決定好好聊一聊，所見、所聞、所感。

心態(tài)為何如此波動？

第一次焦慮，在ChatGPT剛剛出來的一個(gè)月內(nèi)，我跟幾個(gè)同事對其進(jìn)行深入探討后，陷入了深思--“下一步我們要做什么？”。當(dāng)NLP模式發(fā)生改變的時(shí)候，我們要拿什么去做回應(yīng)，是不是即將被淘汰，如何抓住這一次變革所帶來的機(jī)遇，焦慮和興奮伴隨著每一個(gè)日夜。于是開始了理論的學(xué)習(xí)，去了解LaMda^[1]、Sparrow^[2]和InstructGPT^[3]。

瘋狂的人總會慢慢恢復(fù)理智，于是進(jìn)入了平靜期。過多測試之后，越發(fā)現(xiàn)，生成模型在事實(shí)性上依然存在很大的問題，特別是在一本正經(jīng)的胡說八道時(shí)，越發(fā)覺得可怕。細(xì)思極恐，如果使用者真的不了解，真的照做了怎么辦？

并且，工作在小廠的我，無卡無人無數(shù)據(jù)，根本沒有資格去碰T5及之后的模型，那么我們該如何去做這樣的工作。當(dāng)知道一件事情是我/我們不可為的時(shí)候，會快速地選擇躺平。雖然每天都會對其關(guān)注，時(shí)而對其調(diào)侃測試，但只有一種想法，與我何干。

再一次焦慮，來自于全民的追捧。當(dāng)身邊所有人，無論是AI從業(yè)者，還是AI非從業(yè)者，都在談?wù)揅hatGPT時(shí)；當(dāng)朋友圈10條有8條都是ChatGPT時(shí)；當(dāng)知乎每日幾條ChatGPT熱搜時(shí)；當(dāng)客戶問我們，公司什么時(shí)候會有ChatGPT時(shí)；當(dāng)老板拉著一起討論及強(qiáng)調(diào)ChatGPT重要性時(shí)；當(dāng)勸說所有人停下來看看，卻無人理時(shí)；當(dāng)不管誰都敢說自己即將擁有ChatGPT時(shí)，我焦慮了，太焦慮了。

個(gè)人感覺，這種焦慮至少要持續(xù)到3月份吧，需要看看以百度為首的幾大廠到底可以做到什么程度。但在這期間，并不影響我們的思考，我們要努力去擁抱它。

特別喜歡一句話：“壓力不會消失，只會轉(zhuǎn)移”。

ChatGPT為何能引起轟動？

相較于之前OpenAI宣傳的大模型GPT3，所有人只需注冊賬號，即可有免費(fèi)體驗(yàn)，輕松得進(jìn)入到了大眾的視野。如果說22年12月份是AI從業(yè)者的狂歡，那么23年就是非從業(yè)的狂飆。

ChatGPT對于AI外人員來說，是一個(gè)太強(qiáng)大的工具了，可以無腦獲取想獲取的內(nèi)容，無論對錯(cuò)，炫酷即可；極具沖擊力的交互體驗(yàn)，讓其對AI又重拾了希望，暢想著Moss的到來。

ChatGPT對于AI從業(yè)者來說，是一個(gè)思路的擴(kuò)充，大模型不只是刷榜的玩具，而是可以在戰(zhàn)場上激情揮霍的加特林；在它的加持下，所有人都認(rèn)識到高質(zhì)量數(shù)據(jù)的重要性，更加堅(jiān)信“有多少人工，就會有多少智能”。并且從大模型的響應(yīng)速度上，就足以讓我們汗顏，不知后面又多少服務(wù)器在支撐，在工程上做了多少的優(yōu)化。

很多人也從中看到了商機(jī)，有人靠賣號、賣服務(wù)，有人靠內(nèi)容創(chuàng)作用到知乎、貼吧、小紅書等賺取個(gè)人流量，甚至美國大學(xué)生用其寫作業(yè)等等，當(dāng)然也有一些人被騙。這里難免會存在很多大手在操控，像@平凡(知乎)大佬 所說：“對于這種風(fēng)口類型的東西，別被騙錢，收智商稅就算是掙錢了?！?/p>

我覺得ChatGPT的爆火&成功是OpenAI堅(jiān)持的結(jié)果。2018年OpenAI提出GPT模型，在風(fēng)頭不如BERT的情況下，再次提出GPT2模型；隨著Google提出T5模型之后，再次提出GPT3模型，依然是自回歸語言模型，并將“參數(shù)至上和數(shù)據(jù)至上”的思想發(fā)揮到了極致。非常贊同@張俊林(知乎)大佬所說：“國內(nèi)LLM在做這方面技術(shù)選型的時(shí)候，貌似很多都走了Bert雙向語言模型或T5混合語言模型的技術(shù)路線，很可能方向走偏了?！?sup style="outline: 0px;line-height: 0;font-weight: bold;color: grey;">[4] 而ChatGPT的爆火，還是因?yàn)榻?jīng)歷了很多人的檢驗(yàn)，在高質(zhì)量人工校驗(yàn)數(shù)據(jù)下，使得模型生成的友好性、安全性更加完善，對測試結(jié)果的驚艷遠(yuǎn)遠(yuǎn)大于犯錯(cuò)。

特別喜歡@Naiyan Wang(知乎)在群里說的一句；“信仰是需要對問題的深刻認(rèn)知才會產(chǎn)生的，不是無腦allin；也是多次小規(guī)模的驗(yàn)證才慢慢建立起來的，而不是一蹴而就?！?/p>

ChatGPT如何進(jìn)行國產(chǎn)化？

ChatGPT的效果，雖然依賴于高質(zhì)量標(biāo)注數(shù)據(jù)、RLHF 技術(shù)等，但是也離不開強(qiáng)大的底座GPT3模型（text-davinci-002）。而這強(qiáng)大的底座，就需要龐大的45TB數(shù)據(jù)及1024張A100算力才能完成訓(xùn)練，甚至需要多輪迭代。很多學(xué)者都認(rèn)為，國內(nèi)大廠距離OpenAI的LLM技術(shù)至少1-2年。

我認(rèn)為在數(shù)據(jù)層面，百度、騰訊、字節(jié)、知乎是有很強(qiáng)優(yōu)勢的；在算力層面，百度、阿里、騰訊、華為也是有很大優(yōu)勢的。通過OpenAI的提示，各大廠應(yīng)該也不會再吝嗇高質(zhì)量標(biāo)注，人海戰(zhàn)術(shù)在國內(nèi)還是有一定優(yōu)勢的，畢竟學(xué)生可以成為廉價(jià)勞動力。

但說句實(shí)話，國內(nèi)也做了很多大模型，我就不一一舉例了（都得都懂），感覺都是在刷榜玩，放出來測得，很多都不行，真是一個(gè)能打的都沒有。

目前，很多大廠都已經(jīng)放出狠話，都正在進(jìn)行國產(chǎn)化ChatGPT的研發(fā)與測試。百度三月份完成內(nèi)測，阿里已經(jīng)在進(jìn)行內(nèi)測了，360、字節(jié)、快手、京東等都再進(jìn)行，只希望到時(shí)候不被打臉。但目前從股票上來看，是“秦始皇摸電線，贏麻了”。

如果真的在廣泛測試中，得到了大眾的認(rèn)可，我收回“一個(gè)能打的都沒有”這句話，可別到時(shí)候變成一個(gè)產(chǎn)品發(fā)布會，一堆PR文，然后就沒有然后了，根本就測不到看不到摸不著。

如果真的有一家成功，論證該事情的可行性，那么國內(nèi)大廠應(yīng)該都能做出來，只是時(shí)間長短的問題，是3個(gè)月還是6個(gè)月還是一年了。對于我們這種小廠來說，要不然調(diào)用大廠API受人限制；要不然建立企業(yè)聯(lián)合會，集幾家之力訓(xùn)練ChatGPT，幾家共用；要不然直接原地解散。

如果真的沒有一家做成，感覺需要各大廠聯(lián)合發(fā)力了。其實(shí)，我對國內(nèi)能做出來的東西的預(yù)期，只是ChatGPT的60%，差不多就算成功了，也不知道為啥這么想。

ChatGPT在應(yīng)用上的問題

個(gè)人做了這么久的問答和生成任務(wù)，答案的真實(shí)及可控性依然困擾著我，雖然ChatGPT的大部分的回復(fù)使我感到驚艷，但作為一個(gè)NLP算法工程師，不能抱著娛樂至上的想法去看待這個(gè)問題。

在很多真實(shí)問答場景中，人們是不能接受犯錯(cuò)的，例如：“雙十一優(yōu)惠政策”，假設(shè)生成回復(fù)是“滿300減300”，商家豈不是虧死；“雞蛋一般煮多久”，假設(shè)生成回復(fù)是“5min”，恭喜你吃了個(gè)生蛋；假如生成回復(fù)中包含了政治內(nèi)容、事實(shí)性錯(cuò)誤、偏見問題，該如何解決，這些都是生成模型無法避開的話題。就Google新品Bard來說，僅因發(fā)布會回復(fù)答案的一個(gè)事實(shí)性錯(cuò)誤，股價(jià)直接暴跌6%。而微軟在新Bing的發(fā)布會上的例子也只是旅游類開放性問答。

而在ToB的企業(yè)場景上，往往是不允許出現(xiàn)事實(shí)性錯(cuò)誤的，ChatGPT真的可以用在ToB場景嗎？針對于無法連接外網(wǎng)的企業(yè)來說，如何使用API進(jìn)行訪問？真的有很多企業(yè)可以購買設(shè)備進(jìn)行本地部署嗎？僅在購買API的情況下，如何將通用接口進(jìn)行領(lǐng)域數(shù)據(jù)優(yōu)化？還是可以不優(yōu)化，通用即最優(yōu)？如何保證企業(yè)內(nèi)部數(shù)據(jù)的保密性，Prompt泄露信息怎么辦？那么，置信內(nèi)容與生成融合、領(lǐng)域Prompt規(guī)范化、設(shè)備部署會成為我們重點(diǎn)攻克的課題。

對于ToC來說，娛樂至上，一定會有一些不軌之徒，將其用在刀刃上。那么內(nèi)容檢測將來一定會是一個(gè)重點(diǎn)，當(dāng)ChatGPT生成內(nèi)容泛濫時(shí)，我們?nèi)绾芜M(jìn)行檢測，判斷哪些是真實(shí)人寫的，哪些是機(jī)器生成的。雖然目前已經(jīng)存在一些內(nèi)容檢測工具，例如：openai自身提供的檢測器（雖然僅有26%）^[5]， @蟈蟈 (知乎)大佬的“中英雙語ChatGPT檢測器”^[6]；但只能說，在檢測的路上依然是任重而道遠(yuǎn)。

我們會被ChatGPT所取代嗎？

我覺得最多是工種的改變，以前駕馬車的，現(xiàn)在開滴滴了。

可能對于很多NLP工程師來說，以前被稱為煉丹師的我們，即將成為小藥童。無需調(diào)整配方，只需拿拿原材料，在爐外扇扇扇子就好了。很悲觀的說法，從前需要魔改網(wǎng)絡(luò)，2018年只需對Bert進(jìn)行finetune，2023年只需要In-Context Learning了吧，只能拿著別人大模型的API找找prompt了。

但，畢竟不是所有企業(yè)，會支持外網(wǎng)、購買設(shè)備等。既然Bert橫行的時(shí)代，都還存在TextCNN。為什么ChatGPT大模型的時(shí)代，容不下我們呢？

END

分享

收藏

點(diǎn)贊

在看