2023年2月28日，人工智能領(lǐng)域國際頂級學(xué)術(shù)會議IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR) 公布論文名單，華為云AI系統(tǒng)創(chuàng)新Lab聯(lián)合2012諾亞方舟實(shí)驗(yàn)室參與研究的論文《Co-speech Gesture Synthesis by Reinforcement Learning with Contrastive Pre-trained Rewards》通過層層審核后被接收。 CVPR是計算機(jī)視覺領(lǐng)域的頂級會議，錄用十分嚴(yán)格，今年的CVPR 共接受投稿9155篇， 最終2360篇被接收。

        在本次錄取的工作中，華為研究團(tuán)隊主要圍繞語音驅(qū)動數(shù)字人手勢生成進(jìn)行研究。語音手勢生成本質(zhì)上是一個 "多對多 "的問題，而目前業(yè)界開發(fā)出了一些先進(jìn)的數(shù)據(jù)驅(qū)動數(shù)字人生成模型，仍然難以處理語音音頻和手勢之間的復(fù)雜關(guān)系。此外，為了保證整體的流暢性和一致性，必須同時考慮到上下文信息和打出手勢時的后續(xù)效果。因此，手勢合成是一個連續(xù)的決策問題，而不是演講和手勢之間的簡單匹配。

        為解決上述問題，華為研究團(tuán)隊提出了一種基于強(qiáng)化學(xué)習(xí)的演講數(shù)字人手勢生成方法RACER。RACER由三部分組成，以離線方式進(jìn)行訓(xùn)練，并用于實(shí)時手勢生成。首先，為了從無限的動作空間中提取有意義的手勢，RACER采用了VQ-VAE模型來學(xué)習(xí)緊湊的手勢表示，這大大減少了動作空間。第二，構(gòu)建一個基于GPT的模型的Q值網(wǎng)絡(luò)，該模型在生成手勢的一致性序列方面具有天然的優(yōu)勢。第三，受對比語言-圖像預(yù)訓(xùn)練（CLIP）方法的啟發(fā)，RACER提出一種對比性語音-手勢預(yù)訓(xùn)練方法來計算獎勵（Reward）。該獎勵評估能夠?qū)⑸舷挛男畔⒄系絼幼髟u估中，并引導(dǎo)強(qiáng)化學(xué)習(xí)智能體探索語音和手勢之間的復(fù)雜關(guān)系。在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，RACER在客觀指標(biāo)和人類主觀判斷方面都優(yōu)于現(xiàn)有的方法。這證明了強(qiáng)化學(xué)習(xí)在語音手勢合成任務(wù)中的優(yōu)勢和潛力。