百萬(wàn)級(jí)ChatGPT對(duì)話曝光！AI竟然經(jīng)常被“調(diào)戲”？
共 4951字，需瀏覽 10分鐘
·
2024-05-23 18:35
大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自夕小瑤科技說(shuō)
作者：Richard
近年來(lái)，隨著ChatGPT、Claude等大型對(duì)話模型相繼問(wèn)世，它們已經(jīng)開始為數(shù)以百萬(wàn)計(jì)的用戶提供服務(wù)。這些強(qiáng)大的AI助手可以與人進(jìn)行流暢的多輪對(duì)話，完成寫作、編程、分析等各種任務(wù)，展現(xiàn)出廣闊的應(yīng)用前景。然而目前公開的人機(jī)對(duì)話數(shù)據(jù)集大多由專家根據(jù)特定場(chǎng)景設(shè)計(jì)生成，與真實(shí)用戶的自然交互存在差異，導(dǎo)致研究者難以深入了解用戶與AI助手的實(shí)際交互模式。
最近，艾倫人工智能研究所發(fā)布了WildChat數(shù)據(jù)集，包含100萬(wàn)個(gè)真實(shí)用戶與ChatGPT的對(duì)話。研究發(fā)現(xiàn)，WildChat涵蓋編程、創(chuàng)意寫作、數(shù)學(xué)等多樣化主題，支持68種語(yǔ)言，并且用戶提問(wèn)和模型回復(fù)的平均長(zhǎng)度超過(guò)現(xiàn)有數(shù)據(jù)集。值得關(guān)注的是，其中超10%對(duì)話涉及不當(dāng)言論，為研究AI應(yīng)對(duì)惡意輸入提供了樣本。此外，在WildChat上微調(diào)語(yǔ)言模型，可顯著提升模型的多輪對(duì)話能力。
WildChat為對(duì)話AI研究提供了真實(shí)而豐富的數(shù)據(jù)。相信基于該數(shù)據(jù)集的進(jìn)一步研究，將有助于打造更智能、安全、貼近用戶的AI對(duì)話系統(tǒng)，推動(dòng)人機(jī)交互技術(shù)發(fā)展。
論文標(biāo)題：
WildChat: 1M ChatGPT Interaction Logs in the Wild
論文鏈接：
WildChat：對(duì)話AI研究的"游戲規(guī)則改變者"
不按套路出牌：野生數(shù)據(jù)打破AI對(duì)話固有模式
傳統(tǒng)的人機(jī)對(duì)話數(shù)據(jù)集，如Alpaca、Dolly等，主要由專家根據(jù)特定場(chǎng)景設(shè)計(jì)問(wèn)答對(duì)生成。這類數(shù)據(jù)雖然質(zhì)量較高，但與真實(shí)用戶的自然交互存在差距。用戶在實(shí)際使用中的提問(wèn)方式、語(yǔ)言風(fēng)格、關(guān)注點(diǎn)往往更加多樣化，而且對(duì)話往往是多輪互動(dòng)，而非簡(jiǎn)單的一問(wèn)一答。
WildChat的出現(xiàn)為對(duì)話AI研究帶來(lái)了新的突破。這個(gè)數(shù)據(jù)集包含了100萬(wàn)個(gè)由真實(shí)用戶與ChatGPT的多輪對(duì)話，總token數(shù)超過(guò)8億，是目前最大的公開人機(jī)對(duì)話數(shù)據(jù)集之一。更重要的是，這些對(duì)話都是用戶在實(shí)際使用中自然產(chǎn)生的，涵蓋了編程、寫作、數(shù)學(xué)、角色扮演等各種真實(shí)場(chǎng)景。
百萬(wàn)對(duì)話68種語(yǔ)言，AI話癆環(huán)游"數(shù)據(jù)"世界
WildChat的一大亮點(diǎn)是其語(yǔ)言的多樣性。數(shù)據(jù)集中包含了68種語(yǔ)言的對(duì)話，從主流的英語(yǔ)、漢語(yǔ)，到小語(yǔ)種如斯瓦希里語(yǔ)等，覆蓋了全球各地用戶。這為研究多語(yǔ)言對(duì)話AI提供了寶貴的資源。通過(guò)分析不同語(yǔ)言用戶的交互特點(diǎn)，可以設(shè)計(jì)更加本地化、個(gè)性化的對(duì)話策略。
同時(shí)，WildChat在數(shù)據(jù)規(guī)模上也十分驚人。平均每個(gè)用戶提問(wèn)包含295個(gè)token，是Alpaca的15倍；每個(gè)AI回復(fù)則包含441個(gè)token，是Dolly的5倍。如此海量的數(shù)據(jù)，為訓(xùn)練更加強(qiáng)大的對(duì)話AI模型奠定了基礎(chǔ)。下圖展示了WildChat數(shù)據(jù)集和現(xiàn)有人機(jī)對(duì)話數(shù)據(jù)集之間的對(duì)比。
模型大亂斗！中美俄網(wǎng)友花樣"調(diào)教"ChatGPT
WildChat數(shù)據(jù)集涵蓋了不同版本的ChatGPT模型生成的數(shù)據(jù)，其中GPT-3.5系列模型占比約76%，GPT-4系列模型占比約24%。這為研究不同模型在真實(shí)場(chǎng)景下的表現(xiàn)差異提供了基礎(chǔ)。
從地域分布來(lái)看，WildChat的用戶主要來(lái)自美國(guó)、俄羅斯、中國(guó)等國(guó)家，反映了ChatGPT在全球范圍內(nèi)的受歡迎程度。不同國(guó)家和地區(qū)用戶的交互模式可能存在差異，WildChat為研究這些差異提供了數(shù)據(jù)支持。
此外，WildChat還展現(xiàn)了對(duì)話主題的多樣性。通過(guò)對(duì)英文對(duì)話的第一輪用戶提問(wèn)進(jìn)行分析，研究者發(fā)現(xiàn)輔助/創(chuàng)意寫作是最常見的對(duì)話目的，占比高達(dá)61.9%，其次是分析/決策解釋(13.6%)和編程(6.7%)。這一分布有助于我們理解真實(shí)用戶對(duì)話AI的主要使用場(chǎng)景和需求偏好。
話癆用戶VS話嘮AI：巔峰對(duì)決誰(shuí)怕誰(shuí)？GPT家族內(nèi)戰(zhàn)再度升級(jí)！
當(dāng)話癆用戶遇上話嘮AI，會(huì)擦出怎樣的火花？WildChat數(shù)據(jù)集給出了答案。數(shù)據(jù)顯示，WildChat中有近41%的對(duì)話為多輪互動(dòng)，雙方你來(lái)我往展開了一場(chǎng)場(chǎng)的巔峰對(duì)決。面對(duì)話癆用戶的連環(huán)炮式提問(wèn)，AI助手也毫不示弱，平均每次對(duì)話要生成441個(gè)token的回復(fù)，是用戶提問(wèn)長(zhǎng)度的1.5倍，堪稱話嘮本嘮。
這些高強(qiáng)度的多輪對(duì)話，不僅考驗(yàn)AI的知識(shí)儲(chǔ)備，更考驗(yàn)其邏輯思維和語(yǔ)言組織能力。要想在唇槍舌劍的交鋒中占得上風(fēng)，AI助手必須時(shí)刻保持頭腦清晰、對(duì)話連貫，還要懂得見招拆招，不落下風(fēng)。否則，稍有不慎就可能被話癆用戶抓住把柄，陷入尷尬的境地。
話癆之戰(zhàn)背后還有GPT家族內(nèi)訌的隱秘故事。統(tǒng)計(jì)顯示，在WildChat的百萬(wàn)對(duì)話中，GPT-3.5系列模型占比高達(dá)76%，而GPT-4系列模型則以24%的份額緊隨其后。隨著時(shí)間推移，GPT-4的崛起勢(shì)如破竹，到2024年1月其對(duì)話量已超過(guò)GPT-3.5。兩大模型陣營(yíng)的此消彼長(zhǎng)，似乎預(yù)示著AI話癆界的新王即將誕生。而眾多話癆網(wǎng)友，又將在這場(chǎng)家族內(nèi)戰(zhàn)中扮演怎樣的角色呢?
不僅語(yǔ)言模型熱衷于喋喋不休，就連用戶也是來(lái)自五湖四海，語(yǔ)種別具一格。統(tǒng)計(jì)發(fā)現(xiàn)，WildChat包含了多達(dá)68種語(yǔ)言，遠(yuǎn)超其他同類數(shù)據(jù)集。除了英語(yǔ)占比過(guò)半外，中文和俄語(yǔ)用戶也各自貢獻(xiàn)了13%和12%的對(duì)話內(nèi)容。如此豐富的多語(yǔ)言語(yǔ)料，讓W(xué)ildChat成為了名副其實(shí)的"小型聯(lián)合國(guó)"。AI要想玩轉(zhuǎn)全球，語(yǔ)言關(guān)可不能失守啊！
AI話癆全景圖：狂飆突進(jìn)or急剎猛打?
當(dāng)AI變成"暴言制造機(jī)"：超10%對(duì)話驚現(xiàn)不當(dāng)言論!！
WildChat數(shù)據(jù)集揭示了一個(gè)令人不安的事實(shí)：在真實(shí)的人機(jī)交互中，不當(dāng)言論無(wú)處不在。數(shù)據(jù)顯示，WildChat中超過(guò)10%的對(duì)話涉及各類不當(dāng)內(nèi)容，包括仇恨、騷擾、色情、暴力等。這一發(fā)現(xiàn)敲響了AI安全的警鐘，凸顯了加強(qiáng)對(duì)話AI內(nèi)容審核和風(fēng)險(xiǎn)控制的迫切需求。
更令人擔(dān)憂的是，面對(duì)用戶的惡意輸入，當(dāng)前的對(duì)話AI系統(tǒng)表現(xiàn)得十分脆弱。根據(jù)統(tǒng)計(jì)，當(dāng)用戶輸入不當(dāng)內(nèi)容時(shí)，有6%的幾率會(huì)導(dǎo)致ChatGPT也生成同樣不恰當(dāng)?shù)幕貜?fù)。一旦放任這種情況，AI助手就有可能淪為"暴言制造機(jī)"，給用戶帶來(lái)難以預(yù)料的傷害。
那么，究竟是哪些因素導(dǎo)致了AI助手的墮落呢？通過(guò)對(duì)WildChat數(shù)據(jù)的深入分析，研究者發(fā)現(xiàn)了一些值得關(guān)注的模式。首先，匿名交互的環(huán)境似乎成為滋生不當(dāng)言論的溫床。在WildChat的對(duì)話中，超過(guò)88%的有害內(nèi)容出現(xiàn)在未登錄用戶的匿名對(duì)話中。其次，一些熱門的"越獄提示"在煽動(dòng)AI生成有害回復(fù)方面發(fā)揮了重要作用。數(shù)據(jù)顯示，使用誘導(dǎo)AI無(wú)視倫理限制的prompt，成功率高達(dá)60%以上。
面對(duì)這些棘手的問(wèn)題，研究者提出了一系列應(yīng)對(duì)建議。首先，要建立完善的內(nèi)容審核機(jī)制，實(shí)時(shí)檢測(cè)和過(guò)濾有害信息，將其扼殺在萌芽狀態(tài)。其次，要加強(qiáng)對(duì)話AI的魯棒性訓(xùn)練，提高其抵御惡意輸入的能力，避免被用戶輕易擺布。再者，平臺(tái)方還需完善用戶管理，對(duì)違規(guī)用戶進(jìn)行必要的限制和懲戒，營(yíng)造更加健康的交互環(huán)境。
WildChat數(shù)據(jù)集雖然揭示了對(duì)話AI安全的諸多隱患，但也為相關(guān)研究指明了方向。通過(guò)分析這些真實(shí)的不當(dāng)對(duì)話，研究者可以洞察有害內(nèi)容的來(lái)源、傳播和演變規(guī)律，為打造更加智能、安全的對(duì)話AI系統(tǒng)提供參考。未來(lái)或許有一天我們能教會(huì)AI明辨是非，讓它抵御人性的惡意，成為一個(gè)值得信賴的好助手、好伙伴。
AI模型煉丹術(shù)：WildChat神藥讓Chatbot更上一層樓！
WildChat數(shù)據(jù)集不僅是研究者的金礦，也是AI模型的煉丹爐。想要打造一個(gè)出類拔萃的對(duì)話AI助手，少不了在真實(shí)數(shù)據(jù)的熔爐中淬煉和錘煉。論文作者正是看中了WildChat的這一潛力，嘗試用其來(lái)微調(diào)語(yǔ)言模型，結(jié)果令人眼前一亮。
研究者們祭出了煉丹界的頂級(jí)法寶——Llama-7B模型，以WildChat為引，以海量計(jì)算力為爐，開始了一場(chǎng)大規(guī)模的煉丹打怪。他們?cè)?70萬(wàn)輪對(duì)話的蒸餾液中，以2e-5的學(xué)習(xí)率，反復(fù)淬煉3個(gè)epoch，只為鍛造出最強(qiáng)的AI話癆。而他們的秘訣就在于OpenAI的獨(dú)門絕學(xué)——對(duì)Llama使用"指令微調(diào)"。
功夫不負(fù)有心人，WildChat神功果然名不虛傳。經(jīng)過(guò)微調(diào)的Llama模型在開源對(duì)話能力評(píng)測(cè)MT-bench上一騎絕塵，將純種的Llama甩出幾條街。
無(wú)論是整體對(duì)話質(zhì)量、角色扮演，還是編程能力，WildLlama都全面碾壓，展現(xiàn)出了驚人的實(shí)力增幅。
更讓人驚喜的是，煉丹師傅還特意安排了WildLlama與各路AI高手的巔峰對(duì)決。面對(duì)Vicuna、Alpaca、Dolly等開源界的一線選手，WildLlama可謂神擋殺神佛擋殺佛。數(shù)據(jù)顯示，其在多領(lǐng)域任務(wù)上取得了全面勝利，展現(xiàn)出了壓倒性的優(yōu)勢(shì)。WildChat作為調(diào)參圣藥的效果得到了充分驗(yàn)證。這也啟示我們，真實(shí)的人機(jī)交互數(shù)據(jù)是語(yǔ)言模型成長(zhǎng)的養(yǎng)分，適量服用就能讓你的Chatbot更上一層樓。未來(lái)相信會(huì)有越來(lái)越多的"煉丹師"將目光投向WildChat，在這個(gè)大數(shù)據(jù)的熔爐中淬煉出更多AI界的明日之星。
展望未來(lái)：個(gè)性化AI助手還遠(yuǎn)嗎?
WildChat數(shù)據(jù)集為對(duì)話AI研究開啟了一扇新的大門。它宛如一面魔鏡，映照出了人機(jī)對(duì)話的百態(tài)：有話癆式的唇槍舌戰(zhàn)，有多語(yǔ)種的異域風(fēng)情，也有不當(dāng)言論的暗流涌動(dòng)。而這一切，都為我們理解用戶需求、提升AI系統(tǒng)性能提供了寶貴的參考。
當(dāng)然，WildChat的妙用遠(yuǎn)不止于此。它還是調(diào)教AI的神丹妙藥，能讓你的Chatbot更聽話、更聰明、更全能。只要找準(zhǔn)配方，用心煉制，一個(gè)不負(fù)眾望的AI助手就指日可待。
不過(guò)，打造明星AI的路上也充滿挑戰(zhàn)。如何馴服話癆用戶？如何制止不當(dāng)言論？如何適應(yīng)全球市場(chǎng)？這些都考驗(yàn)著研究者的智慧和技術(shù)。好在有了WildChat這樣的利器，相信這些難題遲早會(huì)迎刃而解。
未來(lái)隨著人機(jī)對(duì)話數(shù)據(jù)的不斷積累和算法的日益精進(jìn)，我們終會(huì)抵達(dá)AI對(duì)話的理想國(guó)度：在那里，每個(gè)人都能擁有一位妙語(yǔ)連珠、忠誠(chéng)可靠的AI伙伴，工作、生活、娛樂(lè)樂(lè)在其中。而這一切，說(shuō)不定就從WildChat的一場(chǎng)"話癆對(duì)決"悄然開始了。