基于文本引導(dǎo)的圖像編輯任務(wù)允許用戶使用簡(jiǎn)單的文字描述來(lái)指導(dǎo)修改一幅圖像，無(wú)需具備復(fù)雜的圖像編輯軟件或?qū)I(yè)知識(shí)即可實(shí)現(xiàn)編輯效果。用戶可以通過(guò)輸入文本對(duì)圖像進(jìn)行涉及顏色變更、物體添加或去除、風(fēng)格轉(zhuǎn)換等多種編輯的操作。這種交互式的編輯方式大大降低了圖像編輯的門檻，使得創(chuàng)意表達(dá)更加便捷和個(gè)性化。
目前的一些先進(jìn)圖像編輯方法，例如prompt-to-prompt（P2P），通過(guò)替換與目標(biāo)編輯術(shù)語(yǔ)相對(duì)應(yīng)的源提示中的交叉注意力圖來(lái)改變圖像的特定區(qū)域。而Plug-and-Play（PnP）策略則是先從注意力層提取原始圖像的空間特征和自注意力，再將它們注入到目標(biāo)圖像的生成過(guò)程中。在這些技術(shù)中，注意力層對(duì)于控制圖像布局以及確立輸入提示與生成圖像之間的關(guān)聯(lián)起著至關(guān)重要的作用。但是，對(duì)注意力層的不恰當(dāng)調(diào)整可能會(huì)帶來(lái)意外的編輯結(jié)果或者編輯失敗。例如，在交叉注意力層進(jìn)行編輯時(shí)，真實(shí)圖像可能因此而失去預(yù)期效果，如嘗試將人類編輯成機(jī)器人或?qū)⑵囶伾兏鼮榧t色的編輯嘗試可能不會(huì)成功。
圖1. 圖像編輯的失敗案例以及我們提出的方法成功編輯的結(jié)果
在我們的研究中，我們介紹了一種名為Free-prompt-Editing(FPE)的簡(jiǎn)潔而高效的算法。FPE通過(guò)在去噪階段替換指定注意力層的自注意力圖進(jìn)行圖像編輯，這一過(guò)程中解放了需要源提示的限制，這對(duì)實(shí)際的真實(shí)圖像編輯場(chǎng)景極有價(jià)值?？傮w來(lái)說(shuō)，我們的研究促進(jìn)了對(duì)穩(wěn)定擴(kuò)散（Stable Diffusion）中注意力圖的理解，并針對(duì)文本引導(dǎo)的圖像編輯（Text-Image-Editing，簡(jiǎn)稱TIE）提供了切實(shí)可行的解決策略。圖2展示了FPE算法在合成圖像上實(shí)施編輯的具體過(guò)程。
圖 2：Free-prompt-Editing 在對(duì)合成圖像進(jìn)行編輯的過(guò)程示意圖
Free-prompt-Editing偽代碼如下：
圖 3：Free-prompt-Editing 在合成圖像編輯和真實(shí)圖像編輯場(chǎng)景下的偽代碼
圖4展示了FPE的編輯結(jié)果，它成功地轉(zhuǎn)換了原始圖像的各種屬性、風(fēng)格、場(chǎng)景和類別。
圖 4：Free-prompt-Editing 編輯結(jié)果示例
圖5呈現(xiàn)了FPE技術(shù)應(yīng)用于基于穩(wěn)定擴(kuò)散算法的其他定制模型中的編輯效果。觀察這些成果，我們可以發(fā)現(xiàn)FPE技術(shù)能夠高效地適用于各種擴(kuò)散模型。它不僅成功實(shí)現(xiàn)了性別轉(zhuǎn)換，把女孩變?yōu)槟泻?，還能夠調(diào)整人物的年齡，使男孩呈現(xiàn)出10歲或80歲的特征；此外，它還能修改發(fā)型、變換頭發(fā)色彩、替換背景乃至進(jìn)行類別上的轉(zhuǎn)變。
圖 5：Free-prompt-Editing 編輯結(jié)果示例
圖6對(duì)比展示了FPE與其他一些SOTA圖像編輯技術(shù)的效果。無(wú)論是對(duì)真實(shí)照片還是合成圖像，F(xiàn)PE均展現(xiàn)出了高效的編輯能力。在所有的案例中，F(xiàn)PE都能夠?qū)崿F(xiàn)與描述提示高度一致的精細(xì)編輯，同時(shí)最大限度地保留了原圖的結(jié)構(gòu)細(xì)節(jié)。
圖 6：Free-prompt-Editing 與其他編輯方法的對(duì)比
為了更好地服務(wù)開(kāi)源社區(qū)，這一算法的源代碼即將貢獻(xiàn)在自然語(yǔ)言處理算法框架EasyNLP中，歡迎各界從業(yè)人員和研究者使用。
阿里云人工智能平臺(tái)PAI長(zhǎng)期招聘正式員工/實(shí)習(xí)生。團(tuán)隊(duì)專注于深度學(xué)習(xí)算法研究與應(yīng)用，重點(diǎn)聚焦大語(yǔ)言模型和多模態(tài)AIGC大模型的應(yīng)用算法研究和應(yīng)用。簡(jiǎn)歷投遞和咨詢：chengyu.wcy@alibaba-inc.com。
論文信息
論文名字：Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing
論文作者：劉冰雁、汪誠(chéng)愚、曹庭鋒、賈奎、黃俊
論文pdf鏈接：https://arxiv.org/abs/2403.03431
粵公網(wǎng)安備 44030702001206號(hào)