通信世界網(wǎng)消息（CWW）多功能視頻編碼（VVC，Versatile Video Coding）是國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(mén)（ITU-T）和國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)（ISO/IEC）聯(lián)合制定的最新國(guó)際視頻編碼標(biāo)準(zhǔn)。與前代高效視頻編碼（HEVC）相比，VVC編解碼器能夠在保證相同視頻質(zhì)量的情況下，縮減視頻數(shù)據(jù)大小約50%。在網(wǎng)絡(luò)視頻流量不斷增長(zhǎng)的時(shí)代，視頻壓縮變得越來(lái)越重要。隨著使用生成式人工智能（AI）制作視頻內(nèi)容的浪潮即將到來(lái)，同時(shí)視頻內(nèi)容制作和內(nèi)容消費(fèi)的節(jié)奏不斷加快，減少多媒體內(nèi)容的比特?cái)?shù)仍是一個(gè)重要問(wèn)題。

讓我們來(lái)看看那些使VVC區(qū)別于當(dāng)前所使用的視頻編碼器的基礎(chǔ)創(chuàng)新，以及高通技術(shù)公司為打造一個(gè)充滿(mǎn)活力的VVC生態(tài)系統(tǒng)所做出的努力。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動(dòng)生態(tài)系統(tǒng)向前發(fā)展

面向常見(jiàn)用戶(hù)體驗(yàn)，優(yōu)化視頻編碼

不止于顯著降低數(shù)據(jù)大小，在視頻會(huì)議、屏幕共享和全景視頻等特定視頻場(chǎng)景中，VVC編解碼器還引入了多種特別實(shí)用的智能工具。

視頻會(huì)議

新冠疫情對(duì)人們的工作方式產(chǎn)生了深遠(yuǎn)的影響，致使人們對(duì)遠(yuǎn)程辦公工具（尤其

是視頻會(huì)議軟件）的需求劇增，視頻通話已成為個(gè)人和專(zhuān)業(yè)用途中很重要的通信方式。

在視頻通話中，會(huì)持續(xù)監(jiān)測(cè)兩端的網(wǎng)絡(luò)帶寬，并相應(yīng)調(diào)整入站和出站視頻質(zhì)量，使視頻數(shù)據(jù)適應(yīng)可用帶寬。對(duì)于以前的視頻編解碼器，比如高效視頻編碼（HEVC）和高級(jí)視頻編碼（AVC），當(dāng)視頻分辨率發(fā)生變化以適應(yīng)可用網(wǎng)絡(luò)帶寬時(shí)，服務(wù)器需要發(fā)送一種特殊類(lèi)型的幀，稱(chēng)為“即時(shí)解碼刷新”（IDR）幀。這會(huì)中斷時(shí)間預(yù)測(cè)，意味著無(wú)法引用來(lái)自先前幀和后續(xù)幀的數(shù)據(jù)估算。

VVC提供了一種叫做“參考圖像重采樣”（RPR）的特殊功能，可以彌補(bǔ)當(dāng)前這一代視頻編解碼器的不足。在解碼時(shí)，RPR能夠改變視頻的分辨率，而無(wú)需IDR幀。這能夠避免大量IDR幀帶來(lái)的數(shù)據(jù)量激增，從而實(shí)現(xiàn)更流暢的視頻通話體驗(yàn)，不會(huì)出現(xiàn)卡頓。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動(dòng)生態(tài)系統(tǒng)向前發(fā)展(1)799.png

VVC中的參考圖像重采樣可實(shí)現(xiàn)更流暢的視頻通話體驗(yàn)

屏幕共享

屏幕共享在團(tuán)隊(duì)協(xié)作中變得越來(lái)越受歡迎，尤其是在遠(yuǎn)程辦公的時(shí)代。借助屏幕共享功能，團(tuán)隊(duì)成員可以輕松地展示他們的工作并實(shí)時(shí)進(jìn)行項(xiàng)目協(xié)作。隨著屏幕共享使用需求的不斷增長(zhǎng)，與攝像頭生成內(nèi)容一起被渲染、混合或疊加的圖形數(shù)據(jù)的使用需求也在增長(zhǎng)。

從一開(kāi)始，VVC就是一種旨在支持對(duì)屏幕共享內(nèi)容進(jìn)行編碼的編解碼器。VVC編解碼器包括五個(gè)主要的與屏幕內(nèi)容編碼相關(guān)的底層工具：變換跳過(guò)殘差編碼（TSRC）、基于塊的差分脈沖編碼調(diào)制（BDPCM）、幀內(nèi)塊拷貝（IBC）、自適應(yīng)顏色變換（ACT）和調(diào)色板模式。

通過(guò)減少需要傳輸?shù)臄?shù)據(jù)量，這些工具幫助提升編碼屏幕內(nèi)容的色彩準(zhǔn)確度和總體數(shù)據(jù)效率。以前的視頻編解碼器增加了一些屏幕編碼改進(jìn)特性，但這些不夠高效，且并非被所有終端支持。相比之下，由VVC定義的屏幕共享內(nèi)容的編碼工具在主檔次（Main Profile）中被默認(rèn)支持，并且應(yīng)該在大多數(shù)支持VVC的設(shè)備上可用。

相較于其他視頻編解碼器所展現(xiàn)出的高效率，可以說(shuō)，VVC將會(huì)是那些擁有全部或部分屏幕共享內(nèi)容應(yīng)用的主流選擇。

 新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動(dòng)生態(tài)系統(tǒng)向前發(fā)展(1)1289.png

VVC改善屏幕共享的色彩準(zhǔn)確度和總體數(shù)據(jù)效率

全景視頻

全景視頻已超越傳統(tǒng)視頻的被動(dòng)范式，提供更高程度的沉浸感和交互感。此項(xiàng)革命性技術(shù)能夠使用戶(hù)與場(chǎng)景或環(huán)境交互，在虛擬空間中感受參與感和臨場(chǎng)感。虛擬現(xiàn)實(shí)（VR）是一個(gè)已經(jīng)在我們?nèi)粘Ｉ钪袑?shí)現(xiàn)的沉浸式技術(shù)范例，在娛樂(lè)之外，對(duì)電子醫(yī)療、電化教育和文化遺產(chǎn)展示等重要經(jīng)濟(jì)領(lǐng)域產(chǎn)生影響。

VVC為全景視頻引入智能工具：碼流提取與合并、子圖像、虛擬邊界和水平環(huán)繞運(yùn)動(dòng)補(bǔ)償。全景視頻通常需要以時(shí)間同步的方式同時(shí)處理多個(gè)基本碼流。對(duì)于以前的視頻編解碼器，每個(gè)基本碼流需要一個(gè)實(shí)例化的視頻解碼器。不過(guò)，碼流的提取與合并定義了一種在壓縮域拼接和剪裁視頻的方式，解耦了視頻應(yīng)用所需的基本碼流數(shù)和在終端上運(yùn)行所需的視頻解碼器實(shí)例數(shù)。

子圖像是VVC中引入的全新圖像分區(qū)方案。它是一個(gè)矩形編碼區(qū)域，獨(dú)立于鄰近區(qū)域進(jìn)行編碼，因此可獨(dú)立提取圖像。子圖像可以對(duì)應(yīng)于一個(gè)感興趣的區(qū)域，比如消費(fèi)者通過(guò)VR頭顯看到的區(qū)域。基于用戶(hù)視向，它能夠支持優(yōu)先處理并向頭顯終端發(fā)送更高保真度的子圖像。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動(dòng)生態(tài)系統(tǒng)向前發(fā)展

VVC支持子圖像，改善360度視頻體驗(yàn)

在360度視頻中，當(dāng)我們將其轉(zhuǎn)化為二維表示時(shí)，某些投影（例如立方體貼圖cubemaps）的非對(duì)齊面邊界可能出現(xiàn)間斷點(diǎn)。但通過(guò)在邊緣處禁用環(huán)路濾波，可以減少這些偽影。借助VVC，我們能夠通過(guò)水平或垂直虛擬邊界來(lái)進(jìn)行環(huán)路濾波的控制，虛擬邊界的配置也會(huì)在碼流中進(jìn)行標(biāo)記和傳輸。

環(huán)繞運(yùn)動(dòng)補(bǔ)償支持從圖像的左邊界以外開(kāi)始執(zhí)行運(yùn)動(dòng)補(bǔ)償，在水平方向上進(jìn)行環(huán)繞預(yù)測(cè)，并使用來(lái)自圖像右側(cè)的像素值，反之亦然。這一全新的靈活性有助于使用等距柱狀投影格式對(duì)全景視頻進(jìn)行編碼。

領(lǐng)先的基礎(chǔ)視頻技術(shù)

20多年來(lái)，高通技術(shù)公司在重要視頻技術(shù)的發(fā)展中扮演了至關(guān)重要的角色，這些技術(shù)徹底改變了視覺(jué)內(nèi)容在智能手機(jī)、平板電腦、PC、電視和其他終端上被拍攝、傳輸以及消費(fèi)的方式。這些創(chuàng)新使視頻質(zhì)量更佳，內(nèi)容更豐富，同時(shí)還降低了帶寬和存儲(chǔ)空間，為生態(tài)系統(tǒng)中的消費(fèi)者和公司都創(chuàng)造了巨大效益。我們的發(fā)明家獲得廣泛認(rèn)可，我們技術(shù)發(fā)明的影響力不僅限于移動(dòng)生態(tài)系統(tǒng)，對(duì)更加廣泛的領(lǐng)域也有所助益。業(yè)界廣泛部署由高通技術(shù)公司助力推動(dòng)的視頻技術(shù)，其中包括領(lǐng)先的視頻編解碼器、流協(xié)議（streaming protocol）和多媒體文件格式。

在推動(dòng)VVC技術(shù)發(fā)展方面也不例外。與HEVC一樣，高通技術(shù)公司是本文中所介紹的VVC標(biāo)準(zhǔn)的主要貢獻(xiàn)者。

通過(guò)智能手機(jī)VVC演示，推動(dòng)生態(tài)系統(tǒng)向前發(fā)展

VVC在生態(tài)系統(tǒng)中的發(fā)展勢(shì)頭強(qiáng)勁，目前已經(jīng)被加入DVB核心規(guī)范（Digital Video Broadcasting Project/國(guó)際數(shù)字視頻廣播組織），用于廣播和寬帶應(yīng)用的視頻編碼。巴西數(shù)字電視廣播技術(shù)標(biāo)準(zhǔn)ISDB-T International（又稱(chēng)SBTVD），也采用了VVC作為主要視頻編解碼器——預(yù)計(jì)其他廣播標(biāo)準(zhǔn)也將相繼采用該視頻編碼標(biāo)準(zhǔn)。

在高通技術(shù)公司，我們對(duì)VVC編解碼器如何提升當(dāng)下的視頻體驗(yàn)感到興奮。為此，我們已經(jīng)開(kāi)始與生態(tài)系統(tǒng)中的伙伴合作，期待將VVC技術(shù)帶給消費(fèi)者。

近日，我們攜手騰訊公司，在集成Adreno GPU的第二代驍龍8移動(dòng)平臺(tái)上對(duì)其VVC軟件解碼器進(jìn)行了優(yōu)化。該預(yù)商用原型實(shí)現(xiàn)了超過(guò)30%的性能提升，能夠穩(wěn)定且實(shí)時(shí)流暢地播放4K 10-bit 60幀/秒（FPS）的超高清VVC內(nèi)容。7月28-31日，2023年中國(guó)國(guó)際數(shù)碼互動(dòng)娛樂(lè)展覽會(huì)（ChinaJoy 2023）于上海舉辦，我們首次演示了這款經(jīng)優(yōu)化后的解碼器。我們相信，經(jīng)優(yōu)化的軟件解碼器（例如這款來(lái)自騰訊公司的解碼器）將有助于加速在視頻內(nèi)容服務(wù)中采用VVC編解碼器的進(jìn)程。