最近，國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議CVPR 接收結(jié)果出爐。本次大會(huì)收到來(lái)自全球共7015篇有效投稿，最終有1663篇工作被錄取，錄用率約為23.7%。來(lái)自華為云語(yǔ)音語(yǔ)義創(chuàng)新Lab的多模態(tài)方向的工作《Context-aware Biaffine Localizing Network for Temporal Sentence Grounding》，在激烈的競(jìng)爭(zhēng)下，突出重圍，被大會(huì)接收。

CVPR是全球視覺(jué)和模式識(shí)別的頂級(jí)會(huì)議，在2020年谷歌學(xué)術(shù)發(fā)布的學(xué)術(shù)期刊和會(huì)議影響力榜單中排名第五，僅次于Nature、Science等老牌期刊，同時(shí)也是整個(gè)人工智能領(lǐng)域最受關(guān)注的會(huì)議，在全世界具有巨大的影響力。

在本次錄取的多模態(tài)工作中，華為云語(yǔ)音語(yǔ)義創(chuàng)新Lab在業(yè)界首次提出雙仿射定位框架以解決視頻語(yǔ)言定位問(wèn)題。視頻語(yǔ)言定位是從視頻中定位出與自然語(yǔ)言描述相對(duì)應(yīng)的短視頻片段的任務(wù)，由于自然語(yǔ)言描述的靈活性，該任務(wù)十分具有挑戰(zhàn)性。在該任務(wù)上取得突破，有助于利用自然語(yǔ)言對(duì)豐富的視頻內(nèi)容進(jìn)行理解，打破語(yǔ)言和圖像間的語(yǔ)義壁壘，建立更智能的人機(jī)交互。

圖1：用于視頻語(yǔ)言定位的雙仿射定位框架

為了解決視頻語(yǔ)言定位問(wèn)題，傳統(tǒng)的工作依賴于手工設(shè)計(jì)的候選視頻片段，根據(jù)候選片段與語(yǔ)言描述間的匹配程度來(lái)選擇目標(biāo)片段，然而這種手工設(shè)計(jì)是十分依賴經(jīng)驗(yàn)的。在本文中，來(lái)自華為云的研究者提出了一個(gè)新的定位框架，如圖1, 通過(guò)引入融合了上下文信息的雙仿射機(jī)制來(lái)同時(shí)打分視頻中所有的開(kāi)始、結(jié)束時(shí)間對(duì)，最后選出得分最高的時(shí)間對(duì)作為目標(biāo)片段的起止邊界點(diǎn)，這一框架徹底擺脫了對(duì)手工設(shè)計(jì)候選片段的依賴。該工作中提出的框架在三個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，效果均顯著超過(guò)之前的模型。

華為云語(yǔ)音語(yǔ)義創(chuàng)新Lab本著開(kāi)放創(chuàng)新、勇于探索、持續(xù)突破關(guān)鍵技術(shù)的精神，致力打造業(yè)界一流的知識(shí)計(jì)算競(jìng)爭(zhēng)力，面向行業(yè)客戶提供領(lǐng)先的語(yǔ)音語(yǔ)義AI能力。

隨時(shí)獲取華為云AI最新動(dòng)態(tài)，歡迎關(guān)注華為云AI公眾號(hào)：