ChatGPT繪圖剛剛增加一個(gè)新功能，支持在生成圖中進(jìn)行再編輯，這篇文章我來(lái)詳細(xì)總結(jié)下這個(gè)功能。
按照正常提問(wèn)，繪制小貓和草坪。過(guò)一會(huì)，它會(huì)生成這樣一幅圖片：
接下來(lái)，點(diǎn)擊這張圖片，會(huì)彈出這個(gè)窗口，右上角有三個(gè)按鈕，第一個(gè)按鈕是select，也就是選擇圖片中的某個(gè)區(qū)域，支持選擇區(qū)域的二次修改。
這個(gè)二次修改，我試了下，很強(qiáng)！
實(shí)際使用，比如，我選擇如下左下角區(qū)域：
然后提示我，如何對(duì)這塊區(qū)域進(jìn)行編輯，比如我想在這塊區(qū)域添加一個(gè)蘋(píng)果：
我這樣回復(fù)它，添加一個(gè)蘋(píng)果，接下來(lái)GPT就開(kāi)始計(jì)算
過(guò)一會(huì)，神奇的事情發(fā)生了，就在我選中區(qū)域，自動(dòng)添加一只蘋(píng)果：
咱們繼續(xù)修改，再選中一個(gè)區(qū)域，添加一個(gè)水杯：
接下來(lái)，繪圖完成后，選中區(qū)域并未繪制出水杯，第二次修改就會(huì)出現(xiàn)問(wèn)題：
我嘗試不選中區(qū)域，直接告訴它，添加水杯，然后得到下面這幅圖：看到小貓和蘋(píng)果的方位與上圖已經(jīng)發(fā)生變化。證明選擇區(qū)域是必要的，否則會(huì)出現(xiàn)繪圖擾動(dòng)。
1) 多次選擇區(qū)域，新增圖像，為啥沒(méi)生成
2）不選擇區(qū)域，新圖會(huì)與原圖有較大變動(dòng)。
我們先來(lái)看看，二次修圖的技術(shù)原理。
二次修復(fù)圖像（如添加新的物品或特征到已有圖像）涉及先進(jìn)的圖像生成和修復(fù)技術(shù)，其原理如下：
區(qū)域選擇與標(biāo)記：首先，工具會(huì)識(shí)別并標(biāo)記圖像中需要修改或添加元素的區(qū)域。這可以通過(guò)用戶提供的提示或算法自動(dòng)檢測(cè)來(lái)實(shí)現(xiàn)。
掩碼生成：通過(guò)生成掩碼（mask），工具可以將要修改的部分與原始圖像的其他部分分開(kāi)，確保只對(duì)選定區(qū)域進(jìn)行更改。
深度學(xué)習(xí)模型生成：使用預(yù)訓(xùn)練的生成模型，基于用戶提供的描述和圖像的上下文信息生成新的元素。模型會(huì)利用已經(jīng)學(xué)到的視覺(jué)特征，在保持整體風(fēng)格一致的前提下填充指定區(qū)域。
融合與平滑處理：將生成的內(nèi)容與原始圖像進(jìn)行融合，確保邊緣過(guò)渡平滑，呈現(xiàn)自然一致的效果。模型通常會(huì)使用高級(jí)算法平滑邊緣和調(diào)整顏色，以達(dá)到無(wú)縫的修復(fù)效果。
多次迭代優(yōu)化：通過(guò)多次生成迭代，模型可以不斷調(diào)整生成的結(jié)果，以達(dá)到用戶預(yù)期的效果。這涉及反復(fù)運(yùn)行模型，調(diào)整參數(shù)，直至生成理想的圖像。
那么問(wèn)題來(lái)了，我第二次選擇區(qū)域，新增一個(gè)水杯，但是水杯沒(méi)有出現(xiàn)在圖中，可能的原因有哪些，我們分析一下：
區(qū)域識(shí)別錯(cuò)誤：模型沒(méi)有正確識(shí)別你想要添加水杯的區(qū)域，導(dǎo)致模型沒(méi)有在正確的位置生成水杯。
生成限制：生成模型可能存在限制，例如不能生成特定類型的物體，或者對(duì)復(fù)雜場(chǎng)景的處理能力有限。
重疊問(wèn)題：新生成的水杯可能被其他圖像中的對(duì)象遮擋住，導(dǎo)致它在最終圖像中不可見(jiàn)。
對(duì)于第二個(gè)問(wèn)題，不選擇區(qū)域，新圖會(huì)與原圖有較大變動(dòng)。主要原因：不選擇區(qū)域時(shí)，模型不會(huì)被約束在特定的區(qū)域生成新的元素，它會(huì)重新生成整個(gè)圖像。這通常會(huì)導(dǎo)致更大的變化。
上下文變化：如果模型沒(méi)有明確的上下文指示，它可能會(huì)根據(jù)新的描述重新構(gòu)建圖像。因?yàn)闆](méi)有選擇固定區(qū)域，模型認(rèn)為整個(gè)圖像都可以改變。
發(fā)送 llm，免費(fèi)獲取《大模型從理論到實(shí)踐》.PDF
2 我打造的Python人工智能全棧課（超700節(jié)視頻課）已上線，長(zhǎng)按二維碼查看，咨詢或報(bào)名請(qǐng)加我微信：gz113097485
