2024年7月16日，多媒體領(lǐng)域頂級(jí)國(guó)際會(huì)議ACM International Conference on Multimedia (ACM MM) 公布了論文錄用名單，華為云AI系統(tǒng)創(chuàng)新Lab參與研究的論文《SegTalker: Segmentation-based Talking Face Generation with Mask-guided Local Editing》被主會(huì)接收。ACM MM是計(jì)算機(jī)圖形學(xué)與多媒體領(lǐng)域的頂級(jí)國(guó)際會(huì)議，被中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦為A類(lèi)學(xué)術(shù)會(huì)議。ACM MM 2024將于2024年10月28日至11月1日在澳大利亞墨爾本召開(kāi)。

       本文提出了一種新穎的兩階段語(yǔ)音驅(qū)動(dòng)說(shuō)話(huà)人研究，解決現(xiàn)有模型尤其在細(xì)節(jié)部分比如牙齒等區(qū)域生成質(zhì)量不高的問(wèn)題。具體地，通過(guò)使用分割圖作為中間表征，實(shí)現(xiàn)口型和紋理生成的解耦。第一階段使用語(yǔ)音驅(qū)動(dòng)分割圖生成和語(yǔ)音匹配口型的mask序列。第二階段使用encoder和對(duì)應(yīng)的mask提取不同區(qū)域的不同尺度(large、medium、small)的細(xì)粒度特征，最后得到不同區(qū)域的latent style codes。最后，將style codes和生成的mask序列注入到mask-guided stylegan中實(shí)現(xiàn)紋理生成。通過(guò)這種方式，我們的模型能更大限度地保留原視頻的紋理細(xì)節(jié)。此外，利用分割圖信息，我們的模型天然地能夠?qū)崿F(xiàn)前后景分離和細(xì)粒度的人臉編輯，這是目前其它說(shuō)話(huà)人生成模型所不具備的。實(shí)驗(yàn)結(jié)果表明，在大部分關(guān)鍵指標(biāo)上尤其是在圖像質(zhì)量上，優(yōu)于目前的開(kāi)源模型。