紅袍糾察隊(duì)挑戰(zhàn)OpenAI：DALL-E 3部署ChatGPT的風(fēng)險(xiǎn)大揭秘！

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自夕小瑤科技說
編譯：奶茶子

OpenAI宣布將于 10月在ChatGPT-Plus、ChatGPT Enterprise 和 API 中推出 DALL-E 3。除此之外，OpenAI Labs 推出的 DALL-E 3 獨(dú)立版本（類似于 DALL-E 2）將于今年秋天發(fā)布。

據(jù)OpenAI 稱，DALL-E 3 在生成準(zhǔn)確遵循復(fù)雜提示的圖像的能力方面取得了顯著進(jìn)步。這包括準(zhǔn)確地表示具有特定對象的場景、它們之間的關(guān)系以及圖像中的人手或文本等細(xì)節(jié)，這是以前文本到圖像系統(tǒng)的典型弱點(diǎn)。

在部署的同時(shí)，OpenAI提出將采取一系列措施來確保用戶生成的圖像符合安全和內(nèi)容準(zhǔn)則，并且通過召集的“red teaming”來揭示潛在的危害和冒犯性的內(nèi)容。

讓我們一起看一下OpenAI為防止用戶生成潛在有害或冒犯性圖像所做的努力，以及OpenAI提出的規(guī)范風(fēng)險(xiǎn)控制方案吧。

控制生成的prompts

OpenAI指出，將DALL-E 3集成到ChatGPT不僅僅是出于便利的考慮，也是計(jì)劃利用“prompt transformations”來檢查GhatGPT用戶輸入的提示是否包含潛在的不當(dāng)內(nèi)容，然后以一種方式對其進(jìn)行重寫，以避免意外出現(xiàn)不當(dāng)內(nèi)容。

此外，ChatGPT將會(huì)拒絕處理明顯違規(guī)的提示，尤其包含在OpenAI阻止列表中的prompt（列表的來源是DALL-E 2和DALL-E 3上的beta測試的經(jīng)驗(yàn)），例如在之前一些名人、藝術(shù)家風(fēng)格被用作生成模板，但是這并沒有得到授權(quán)或者許可。

在此基礎(chǔ)上，ChatGPT's監(jiān)控API 會(huì)干預(yù)那些違反OpenAI內(nèi)容準(zhǔn)則的prompts。

值得注意的是，OpenAI將開始采用紅隊(duì)網(wǎng)絡(luò)(red teaming network)的評估結(jié)果來制定對已知風(fēng)險(xiǎn)的緩解措施，并挖掘新的潛在風(fēng)險(xiǎn)。

OpenAI曾在九月份宣布公開招募外部專家加入紅隊(duì)（red teaming），邀請領(lǐng)域?qū)＜液献髟u估其人工智能模型-red teaming network，以進(jìn)一步提升模型的安全性。網(wǎng)絡(luò)中的專家將在整個(gè)模型和產(chǎn)品開發(fā)生命周期中根據(jù)其專業(yè)領(lǐng)域協(xié)助進(jìn)行風(fēng)險(xiǎn)評估。目標(biāo)是提供多樣化和持續(xù)的輸入，使紅隊(duì)成為一個(gè)迭代過程。

▲OpenAI紅隊(duì)涉獵的一些領(lǐng)域

用于“色情”圖像的專有圖像分類器

針對性別歧視或其他“色情”的內(nèi)容，OpenAI訓(xùn)練了一個(gè)過濾切檢測圖像中的可疑模式并停止生成。

在引入這個(gè)過濾器之前，DALL-E 3的早期版本會(huì)有一定概率生成包含暴力、宗教和侵犯版權(quán)元素的圖像。

根據(jù)OpenAI的數(shù)據(jù)，DALL-E 3發(fā)布版本中，不必要、冒犯性的圖像的風(fēng)險(xiǎn)已經(jīng)降低到了0.7%，這意味著出現(xiàn)不必要的圖像（例如，提示中未要求的肌肉發(fā)達(dá)的裸體男子）的可能性大大減少。在DALL-E 3的早期版本中，它生成了一張"一個(gè)人在公園里悠閑地野餐"的圖像，這個(gè)人被描繪成一個(gè)肌肉發(fā)達(dá)、幾乎裸體的男人，但在加了過濾器后最終發(fā)布的版本中，圖像的焦點(diǎn)轉(zhuǎn)向了食物，而不是那個(gè)人。

然而過濾器的添加引發(fā)了一些爭議，部分人工智能藝術(shù)領(lǐng)域的人提出，對于生成內(nèi)容過多的干預(yù)將會(huì)限制藝術(shù)創(chuàng)作的自由。

偏見和虛假信息

OpenAI指出，與DALL-E 2一樣，DALL-E 3也存在文化偏見，這種偏見通常體現(xiàn)在對西方文化的偏好上，尤其在當(dāng)用戶未明確指定國籍、文化或膚色等參數(shù)的提示時(shí)。

此外，DALL-E 3能夠生成逼真的圖像，包括知名人物的圖像，這些圖像有可能被用于傳播虛假信息。針對這種潛在的風(fēng)險(xiǎn)，OpenAI回應(yīng)是模型會(huì)拒絕大部分這類圖像生成請求，或者生成的圖像可能不夠令人信服。

然而red teaming指出了一種欺騙OpenAI保護(hù)系統(tǒng)的方法，例如“模仿CCTV視頻的風(fēng)格”，這些方法可以用來欺騙DALL-E 3的保護(hù)系統(tǒng)。

版權(quán)和生物武器

在版權(quán)方面的，也也存在著爭議與糾紛。

早期使用DALL-E 3的用戶已經(jīng)成功地創(chuàng)造出了與一些商標(biāo)或角色相關(guān)的內(nèi)容，這可令擁有這些商標(biāo)、角色版權(quán)的公司感到不滿。舉例來說，使用支持DALL-E 3的Bing Image Creator的用戶可以創(chuàng)建出尼克頻道的吉祥物"海綿寶寶"駕駛飛機(jī)飛向兩座類似世界貿(mào)易中心的摩天大樓的場景。同樣，Meta 在其新推出的AI stickers中也涉及類似的問題，比如有一款貼紙顯示米老鼠手持機(jī)關(guān)槍。

OpenAI稱雖然已經(jīng)采取了風(fēng)險(xiǎn)緩解措施來限制這些場景的濫用，但他們也坦承“無法預(yù)見所有可能出現(xiàn)的變化”，而且使用DALL-E 3生成的武器或有害化學(xué)物質(zhì)的圖像，在現(xiàn)實(shí)生活中并沒有產(chǎn)生重大影響。

然而，紅隊(duì)提出，在化學(xué)、生物學(xué)和物理學(xué)等領(lǐng)域的專業(yè)測試中發(fā)現(xiàn)DALL-E 3在這些領(lǐng)域的準(zhǔn)確性存在嚴(yán)重問題，這將真實(shí)地產(chǎn)生負(fù)面影響。

結(jié)語

雖然OpenAI采取了這些風(fēng)險(xiǎn)措施來提高生成技術(shù)的安全性，但也存在一些潛在的弊端和挑戰(zhàn)。例如，過度過濾和刪減創(chuàng)意，以及"prompt transformations"過濾器的滯后性可能會(huì)引發(fā)分類偏差。那么，大家對于生成式人工智能潛在風(fēng)險(xiǎn)的看法如何呢？歡迎大家在評論區(qū)與我們分享和討論這個(gè)話題～

參考資料

[1]https://the-decoder.com/early-dall-e-3-had-an-absurd-concept-of-a-picnic-before-openais-alignment/
[2]https://the-decoder.com/openai-launches-red-teaming-network-to-root-out-ai-risks/

租！GPU云資源

新上線一批A100/A800

運(yùn)營商機(jī)房，服務(wù)有保障

掃碼了解詳情?

點(diǎn)「在看」的人都變好看了哦！