直播行業(yè)大火,大家可以在日常生活中接觸到各類直播,例如游戲直播、樂(lè)秀、在線教育、發(fā)布會(huì)等等。無(wú)論哪種類型的直播,延時(shí)是直播過(guò)程中需要關(guān)注的一個(gè)重要的點(diǎn)。直播實(shí)現(xiàn)低延遲,是對(duì)大部分直播產(chǎn)品的要求,低延遲也是提升直播產(chǎn)品用戶體驗(yàn)最有效的一個(gè)方法,特別是對(duì)于互動(dòng)直播、在線教育這一類產(chǎn)品來(lái)說(shuō)。今天簡(jiǎn)單跟大家介紹下直播如何實(shí)現(xiàn)低延遲。
低時(shí)延直播(Low Latency Live)是在直播基礎(chǔ)上,通過(guò)傳輸協(xié)議優(yōu)化、鏈路動(dòng)態(tài)優(yōu)選、超低時(shí)延轉(zhuǎn)碼等技術(shù)手段,將直播時(shí)延降低到毫秒級(jí),滿足直播延時(shí)敏感業(yè)務(wù)的訴求。

低延遲直播如何實(shí)現(xiàn)
直播時(shí)選擇一條最優(yōu)的路徑
要選擇一條最優(yōu)的路徑,有很多方法。目前使用比較多的是網(wǎng)絡(luò)測(cè)速,用戶個(gè)人連接數(shù)據(jù)分析,和用戶群體連接數(shù)據(jù)分析等幾種方法來(lái)選擇最優(yōu)的網(wǎng)絡(luò)路徑。
直播網(wǎng)絡(luò)測(cè)速
推流端在推流之前,向各個(gè)路徑發(fā)送簡(jiǎn)單的數(shù)據(jù)包,然后根據(jù)數(shù)據(jù)包響應(yīng)的時(shí)間來(lái)推測(cè)哪條路徑最快。這個(gè)方法比較簡(jiǎn)單,有效然而有限:選出來(lái)的路徑只是在該測(cè)試時(shí)間點(diǎn)最快的,而網(wǎng)絡(luò)狀況是隨著時(shí)間變化的;另外,簡(jiǎn)單數(shù)據(jù)包測(cè)出來(lái)速度比較快,并不代表流媒體傳輸數(shù)據(jù)速度也比較快。因此,這個(gè)方法得到的結(jié)果只能作為一個(gè)指標(biāo)來(lái)參考。
直播 大數(shù)據(jù) 分析
為了回避單個(gè)采樣時(shí)間點(diǎn)測(cè)速導(dǎo)致的偏差,可以采取對(duì)歷史大數(shù)據(jù)進(jìn)行分析,預(yù)測(cè)哪個(gè)網(wǎng)絡(luò)路徑最優(yōu)。對(duì)歷史大數(shù)據(jù)進(jìn)行的分析分為兩個(gè)維度:用戶個(gè)人連接數(shù)據(jù)分析和用戶群體連接數(shù)據(jù)分析。
1. 用戶個(gè)人連接數(shù)據(jù)分析
每個(gè)主播用戶的使用歷史數(shù)據(jù)是有規(guī)律可循的。通過(guò)分析這些歷史數(shù)據(jù),可以發(fā)現(xiàn)主播用戶從哪里接入,在什么時(shí)候接入,接入到哪個(gè)服務(wù)器,走什么路徑的效果最優(yōu)。這些歷史數(shù)據(jù)積累得越豐富,歷史數(shù)據(jù)分析得出來(lái)的結(jié)論就越靠譜。這個(gè)方法能夠發(fā)現(xiàn)個(gè)人主播用戶周期性的網(wǎng)絡(luò)連接情況,能找出大部分時(shí)間連接效率最優(yōu)的網(wǎng)絡(luò)路徑。然而,這個(gè)方法的缺點(diǎn)是:數(shù)據(jù)采樣只是基于單個(gè)用戶,采樣點(diǎn)太少,沒(méi)有全局考慮到該用戶所在地區(qū)的整體網(wǎng)絡(luò)連接情況。
2. 用戶群體連接數(shù)據(jù)分析
為了彌補(bǔ)用戶個(gè)人連接數(shù)據(jù)分析的不足,這里引入另外一個(gè)維度的數(shù)據(jù)分析:某地區(qū)用戶群體連接數(shù)據(jù)的分析。針對(duì)某用戶所在區(qū)域的用戶群進(jìn)行歷史數(shù)據(jù)分析,可以發(fā)現(xiàn)這個(gè)區(qū)域網(wǎng)絡(luò)連接隨著時(shí)間變化的規(guī)律,找出在不同的時(shí)間點(diǎn),在不同的接入點(diǎn)連接到哪個(gè)服務(wù)器最好。
單點(diǎn)網(wǎng)絡(luò)測(cè)速,用戶個(gè)人連接數(shù)據(jù)分析,再加上用戶群體連接數(shù)據(jù)分析綜合得到結(jié)論,就能比較有效地預(yù)測(cè)哪條路徑最優(yōu)。選路這部分需要不斷地優(yōu)化,才能積累豐富的用戶數(shù)據(jù),同時(shí)適應(yīng)網(wǎng)絡(luò)的變化。
在這條路徑上做到最優(yōu)
選好最優(yōu)的路徑以后,剩下的就是要在該路徑上做到最優(yōu)。這條路徑包括了下面幾個(gè)環(huán)節(jié):采集,編碼,推流,轉(zhuǎn)碼,分發(fā),拉流,解碼和渲染。在一個(gè)實(shí)時(shí)的音視頻系統(tǒng)架構(gòu)里,每個(gè)環(huán)節(jié)都會(huì)有一定程度的優(yōu)化空間。行業(yè)內(nèi)的小伙伴在這條路上已經(jīng)有過(guò)很多探索,這里不想重復(fù)討論別人已經(jīng)探索過(guò)的議題,而只重點(diǎn)討論下面幾個(gè)關(guān)鍵點(diǎn)。
直播選擇協(xié)議
傳輸協(xié)議的選擇十分重要。傳輸協(xié)議一定程度上就決定了延遲的范圍。選擇傳輸協(xié)議的時(shí)候要考慮是推流端還是拉流端。推流端的協(xié)議有RTMP, WebRTC和基于UDP的私有協(xié)議。
CDN支持標(biāo)準(zhǔn)的RTMP協(xié)議,但是不支持基于UDP的私有協(xié)議。為了吸納UDP的優(yōu)點(diǎn),而避免UDP的缺點(diǎn),即構(gòu)科技的互動(dòng)直播技術(shù)采用了基于UDP的私有協(xié)議作為補(bǔ)充,在有必要的時(shí)候用來(lái)彌補(bǔ)RTMP協(xié)議的不足。比如說(shuō),只有在網(wǎng)絡(luò)環(huán)境比較惡劣或者在跨國(guó)互通的情況下,才使用基于UDP的私有協(xié)議;比如說(shuō),只在推流端到媒體服務(wù)器這一段才使用基于UDP的私有協(xié)議,而從媒體服務(wù)器轉(zhuǎn)推流到CDN網(wǎng)絡(luò)這一段采用RTMP協(xié)議,在這兩段之間通過(guò)把UDP私有協(xié)議轉(zhuǎn)換成RTMP協(xié)議來(lái)進(jìn)行適配和銜接。這樣一來(lái),即構(gòu)科技的直播方案既擁有超低延遲的優(yōu)勢(shì),又保留了標(biāo)準(zhǔn)協(xié)議普遍被CDN網(wǎng)絡(luò)支持的好處。
一般來(lái)說(shuō),前向糾錯(cuò)和丟包重傳互補(bǔ)使用,前者屬于前驗(yàn)的方法,比較節(jié)省時(shí)間,但是占用多余的帶寬;后者屬于后驗(yàn)的方法,比較節(jié)省帶寬,但是會(huì)消耗比較多的時(shí)間。在網(wǎng)絡(luò)比較差情況下,丟包率比較高,那么可以通過(guò)前向糾錯(cuò)方法來(lái)保證信息完整送達(dá)。比如說(shuō)發(fā)送冗余信息,確保在一定丟包率之下,接受方也能準(zhǔn)確而完整的還原發(fā)送方所要發(fā)送的信息。在網(wǎng)絡(luò)相對(duì)比較好的情況下,丟包率比較低,那么可以通過(guò)丟包重傳的方法來(lái)保證信息完整送達(dá)。比如說(shuō)針對(duì)丟掉的數(shù)據(jù)包,通過(guò)高效的機(jī)制進(jìn)行重傳,確保接受方能夠完整的收到發(fā)送方所要發(fā)送的消息。
緩沖自適應(yīng)
由于有網(wǎng)絡(luò)抖動(dòng)的存在,數(shù)據(jù)包的到達(dá)不是勻速的。
最直接的降低延遲的方法就是把緩沖隊(duì)列的長(zhǎng)度設(shè)置為零,接收到什么數(shù)據(jù)包就直接渲染什么數(shù)據(jù)包,然而這樣做的后果就是播放不流暢,會(huì)出現(xiàn)卡頓。
因此,延遲和流暢兩者本身就是一對(duì)矛盾的因素。我們要做的是尋找低延遲和流暢之間的平衡點(diǎn),尋找平衡點(diǎn)的有效方法就是建立緩沖隊(duì)列。在拉流端和混流服務(wù)器都需要建立緩沖隊(duì)列。對(duì)于一個(gè)實(shí)時(shí)系統(tǒng)來(lái)說(shuō),緩沖隊(duì)列的長(zhǎng)度必須不是固定的,而是自適應(yīng)的:當(dāng)網(wǎng)絡(luò)很好的時(shí)候,緩沖隊(duì)列的長(zhǎng)度就會(huì)變得比較短,接近零,甚至為零;當(dāng)網(wǎng)絡(luò)不好的情況下,緩沖隊(duì)列的長(zhǎng)度會(huì)變得比較長(zhǎng),但是不能超過(guò)能接受的上限,畢竟緩沖隊(duì)列的長(zhǎng)度本質(zhì)上就是延遲的時(shí)間。
另外,還可以把緩沖自適應(yīng)技術(shù)和快播或慢播技術(shù)結(jié)合起來(lái)使用。當(dāng)網(wǎng)絡(luò)由差轉(zhuǎn)好的情況下,可以適當(dāng)?shù)牟サ每煲稽c(diǎn),盡快縮短緩沖隊(duì)列的長(zhǎng)度。當(dāng)網(wǎng)絡(luò)由好轉(zhuǎn)差的情況下,可以適當(dāng)?shù)牟サ寐稽c(diǎn),讓緩沖隊(duì)列適當(dāng)變長(zhǎng),保持流暢性。快播和慢播是結(jié)合觀眾的心理學(xué)模型,在適合快播和慢播的條件下采用,讓觀眾沒(méi)有覺(jué)察出播放速度的變化,同時(shí)整體感覺(jué)也顯得既流暢又低延遲。
碼率自適應(yīng)
由于網(wǎng)絡(luò)環(huán)境的復(fù)雜多變,碼率要能自動(dòng)適應(yīng)網(wǎng)絡(luò)狀況的變化,也就是所謂的碼率自適應(yīng)。 在網(wǎng)絡(luò)比較差的時(shí)候,要降低碼率,讓直播保持低延遲和流暢性;在網(wǎng)絡(luò)比較好的時(shí)候,要提高碼率,讓直播保持高清畫質(zhì)。為了做到碼率自適應(yīng),對(duì)協(xié)議選擇也很考究。RTMP對(duì)碼率自適應(yīng)能做的事情比較有限,因?yàn)樗赥CP, 而TCP 下層已經(jīng)做了網(wǎng)絡(luò)質(zhì)量控制,當(dāng)網(wǎng)絡(luò)出現(xiàn)擁塞的時(shí)候,上層應(yīng)用不會(huì)及時(shí)得到通知?;赨DP的私有協(xié)議更加適合做碼率自適應(yīng),因?yàn)樗赨DP,而UDP只負(fù)責(zé)發(fā)包和收包,把網(wǎng)絡(luò)質(zhì)量控制交給應(yīng)用層來(lái)做,這樣應(yīng)用層會(huì)有足夠的空間來(lái)實(shí)現(xiàn)碼率自適應(yīng)。
直播實(shí)現(xiàn)低延遲保持所有路徑優(yōu)質(zhì)
那么,為了在直播技術(shù)中實(shí)現(xiàn)低延遲,要選擇一條最優(yōu)路徑,還要在該路徑上做到最優(yōu)。故事講完了嗎?沒(méi)有,我們忘記了一個(gè)前提:整體的道路網(wǎng)絡(luò)必須要足夠好。道路網(wǎng)絡(luò)不好,怎么選都是爛泥土路,選了爛泥土路,如何能夠跑的快呢?因此,要實(shí)現(xiàn)低延遲,網(wǎng)絡(luò)基建必須要足夠好。網(wǎng)絡(luò)基建的質(zhì)量可以通過(guò)以下三個(gè)方面來(lái)提高:
全網(wǎng)充分覆蓋
一般來(lái)說(shuō),音視頻云服務(wù)的機(jī)房會(huì)分布在核心的幾個(gè)樞紐城市,邊遠(yuǎn)地區(qū)的用戶的訪問(wèn)質(zhì)量是得不到保障的。另外,在中國(guó)國(guó)內(nèi),各個(gè)網(wǎng)絡(luò)運(yùn)營(yíng)商的覆蓋面是參錯(cuò)不齊的,有些網(wǎng)絡(luò)運(yùn)營(yíng)商對(duì)一些邊遠(yuǎn)地區(qū)也是覆蓋不足的。為了做到全網(wǎng)充分覆蓋,可以采用多節(jié)點(diǎn)代理和重定向,來(lái)確保全網(wǎng)充分覆蓋無(wú)盲點(diǎn)。這個(gè)需要經(jīng)過(guò)實(shí)際充分測(cè)試,才能夠驗(yàn)證各類網(wǎng)絡(luò)可以充分連通。
優(yōu)質(zhì)的網(wǎng)絡(luò)節(jié)點(diǎn)資源
音視頻云服務(wù)是跑在網(wǎng)絡(luò)基建上面的,下層網(wǎng)絡(luò)基建的質(zhì)量必須要優(yōu)質(zhì),而且音視頻云服務(wù)和下層網(wǎng)絡(luò)基建也要深度結(jié)合。為了實(shí)現(xiàn)直播技術(shù)的低延遲,最好能對(duì)接一線的網(wǎng)絡(luò)運(yùn)營(yíng)商,這樣部署的網(wǎng)絡(luò)節(jié)點(diǎn)資源無(wú)論是數(shù)量還是質(zhì)量上都是有充分的保障。這也是即構(gòu)團(tuán)隊(duì)在過(guò)去十多年海量用戶運(yùn)營(yíng)的過(guò)程中總結(jié)出來(lái)的經(jīng)驗(yàn)。
版權(quán)聲明:本文章文字內(nèi)容來(lái)自第三方投稿,版權(quán)歸原始作者所有。本網(wǎng)站不擁有其版權(quán),也不承擔(dān)文字內(nèi)容、信息或資料帶來(lái)的版權(quán)歸屬問(wèn)題或爭(zhēng)議。如有侵權(quán),請(qǐng)聯(lián)系contentedit@huawei.com,本網(wǎng)站有權(quán)在核實(shí)確屬侵權(quán)后,予以刪除文章。