華為與清華大學(xué)道元班聯(lián)合培養(yǎng)的實習(xí)生楊思程在華為云AI系統(tǒng)創(chuàng)新Lab實習(xí)期間參與語音驅(qū)動數(shù)字人肢體動作生成研究，表現(xiàn)突出，榮獲創(chuàng)新新星獎。

        入職華為云AI系統(tǒng)創(chuàng)新Lab一年來，楊思程的相關(guān)論文已被CVPR2023 Highlight、IJCAI2023、ICMI2022等人工智能頂級會議接收，同時有一篇論文ACM MM2023在投。楊同學(xué)創(chuàng)新能力強、工作高效、積極主動思考，對前沿技術(shù)的探索和突破充滿熱情，展現(xiàn)出了對科研的濃厚興趣。

       該工作研究了一種基于多模態(tài)表示學(xué)習(xí)的自動手勢生成系統(tǒng)，基于多模態(tài)表示學(xué)習(xí)方法，能夠從音頻、文本和位置/旋轉(zhuǎn)矩陣特征中提取有用信息。具體來說，使用WavLM特征進(jìn)行音頻處理、FastText特征進(jìn)行文本處理，以及位置和旋轉(zhuǎn)矩陣特征進(jìn)行手勢處理。每個模態(tài)都被投影到兩個不同的子空間：模態(tài)不變性和模態(tài)特定性。為學(xué)習(xí)模態(tài)無關(guān)的共同特性并捕捉模態(tài)特定表示的特征，訓(xùn)練過程中使用了基于梯度反轉(zhuǎn)層的對抗分類器和模態(tài)重建解碼器。手勢解碼器利用所有與音頻節(jié)奏相關(guān)的表示和特征生成合適的、具有良好節(jié)奏手勢。視頻鏈接：https://youtu.be/KJJYEqyOq5U。

       該工作設(shè)計了一種基于量化和相位引導(dǎo)的動態(tài)手勢匹配框架，用于解決語音驅(qū)動的手勢生成中的挑戰(zhàn)。具體來說，該方法首先提出一個手勢向量量化(VQ)自編碼器模塊，用于學(xué)習(xí)總結(jié)有意義的手勢單元的碼本。通過使用每個代碼表示唯一的手勢，有效地解決了隨機抖動的問題。然后，使用Levenshtein距離將多樣化的手勢與不同的語音對齊?；谝纛l量化的Levenshtein距離作為相應(yīng)手勢的語音相似度度量有助于更合適地匹配手勢和語音，并成功解決了語音和手勢對齊的問題。此外，引入相位來根據(jù)音頻上下文或節(jié)奏的語義指導(dǎo)最佳的手勢匹配，從而靈活生成基于文本或語音的手勢，使生成的手勢更加自然流暢。大量實驗表明，該方法在語音驅(qū)動的手勢生成方面優(yōu)于最新的手勢生成方法。視頻鏈接：https://youtu.be/5GKjFclT618。

       這篇論文設(shè)計了一種基于擴散模型的語音驅(qū)動手勢生成方法，用于在計算機動畫中實現(xiàn)超越言語的手勢藝術(shù)。由于手勢的多樣性和將手勢節(jié)奏和語義與相應(yīng)語音匹配的難度，自動共語手勢生成是一個具有挑戰(zhàn)性的任務(wù)。為了解決這些問題，該工作提出一種基于擴散模型的語音驅(qū)動手勢生成方法：DiffuseStyleGesture。它可以根據(jù)任意長度的給定語音生成高質(zhì)量、語音匹配的、風(fēng)格化的和多樣化的協(xié)同語音手勢。具體來說，該工作在擴散模型中引入跨-局部注意力和自注意力，以生成更好的語音匹配和逼真的手勢。然后，使用classifier-free指導(dǎo)訓(xùn)練模型，通過插值或外推來控制手勢風(fēng)格。此外，該工作通過使用不同的初始手勢和噪聲來提高生成的手勢的多樣性。實驗表明，該方法在語音驅(qū)動手勢生成方面優(yōu)于最新的手勢生成方法。視頻鏈接：https://youtu.be/Nzom6gkQ2tM。