隨著近幾年移動(dòng)終端的蓬勃發(fā)展，上一代視頻編碼標(biāo)準(zhǔn)H265/HEVC已經(jīng)得到廣泛應(yīng)用，但其壓縮效率仍無(wú)法滿足大量4K/1080P等高清視頻資源的需求。過(guò)大的視頻資源壓縮文件，占據(jù)了存儲(chǔ)空間并吞噬著網(wǎng)絡(luò)帶寬，導(dǎo)致用戶觀看視頻時(shí)頻繁卡頓。最新一代視頻編碼標(biāo)準(zhǔn)H.266/VVC標(biāo)準(zhǔn)的出現(xiàn)，則給視頻內(nèi)容的發(fā)展提供巨大的潛力。
據(jù)悉，字節(jié)跳動(dòng)自研的新一代編解碼器BVC已支持H.266/VVC標(biāo)準(zhǔn)，可以在Android、iOS、Linux、MacOS和Windows等平臺(tái)上，實(shí)現(xiàn)超清、高質(zhì)視頻的實(shí)時(shí)快速解碼。
H.266/VVC全稱為多功能視頻編碼 (Versatile Video Coding，VVC，也稱為H.266)，是聯(lián)合視頻專家組制定的最新一代視頻編碼標(biāo)準(zhǔn)，于2020年7月正式定稿。作為HEVC的繼任者，H.266/VVC能夠在相同的質(zhì)量下將壓縮效率再提升一倍。舉個(gè)例子，使用H.265/HEVC編碼標(biāo)準(zhǔn)，用戶觀看一部電影需要1GB的流量，換成H.266/VVC編碼標(biāo)準(zhǔn)后，僅需500MB的流量，并且在智能終端播放的時(shí)候，畫質(zhì)可以保持不變。H.266/VVC標(biāo)準(zhǔn)，使高清在線視頻不再是流量吞噬者。
盡管H.266/VVC優(yōu)勢(shì)十分明顯，但其解碼復(fù)雜度顯著高于H.265/HEVC標(biāo)準(zhǔn)，終端設(shè)備解碼過(guò)程中會(huì)出現(xiàn)設(shè)備發(fā)熱、耗電增加以及視頻卡頓的現(xiàn)象，影響用戶觀看體驗(yàn)。因此，在硬件解碼芯片尚未問(wèn)世的背景下，如何設(shè)計(jì)并實(shí)現(xiàn)一款超高性能的VVC軟件解碼器是眾多音視頻公司的重要目標(biāo)。
在各種設(shè)備上，BVC解碼器可實(shí)現(xiàn)對(duì)H.266/VVC標(biāo)準(zhǔn)視頻資源的解碼
測(cè)試數(shù)據(jù)顯示，根據(jù)國(guó)際會(huì)議提案JEVT-V128，在搭載A14處理器的iPhone 12上，對(duì)于4K分辨率標(biāo)準(zhǔn)測(cè)試碼流，BVC單線程平均解碼速度達(dá)到了22fps;2線程可以實(shí)現(xiàn)4K視頻的實(shí)時(shí)解碼。對(duì)于1080p分辨率標(biāo)準(zhǔn)測(cè)試碼流，BVC單線程平均解碼速度是86 fps，即單線程可實(shí)時(shí)解碼1080p視頻。因此，在高端手機(jī)上，BVC解碼器支持流暢播放高清甚至超高清視頻。
圖1 對(duì)比不同線程的BVC與VTM-11.0的解碼速度
圖1展示了在iPhone12上，BVC和參考軟件VTM-11.0解碼不同分辨率視頻的速度對(duì)比。橫軸依次代表解碼4K、1080p、480p和240p分辨率的視頻;縱軸表示使用VTM-11.0解碼和BVC分別使用1、2、4、6線程解碼的平均幀率，數(shù)值越大表明解碼速度越快。虛線表示各分辨率視頻實(shí)時(shí)播放的常用幀率?？梢钥闯?，BVC僅單線程的解碼速度相較于VTM-11.0就有著6-10倍的巨大優(yōu)勢(shì)。
除了上述標(biāo)準(zhǔn)測(cè)試碼流外，以BVC編碼器生成的抖音視頻碼流測(cè)試顯示，BVC解碼器表現(xiàn)出了強(qiáng)大的解碼性能。在性能遜于iPhone 12的小米6手機(jī)上，BVC單線程即可完成1080p視頻的實(shí)時(shí)解碼；在其它中低端手機(jī)上，BVC單線程即可完成對(duì)720p視頻的實(shí)時(shí)解碼。
BVC解碼器的出現(xiàn)，使得在各種性能的設(shè)備上均可實(shí)現(xiàn)對(duì)H.266/VVC標(biāo)準(zhǔn)視頻資源的解碼，并為用戶帶來(lái)流暢的觀看體驗(yàn)。
BVC解碼器如何實(shí)現(xiàn)技術(shù)突破
流暢的觀看體驗(yàn)是如何實(shí)現(xiàn)的呢?據(jù)悉，為了有效降低BVC解碼器的計(jì)算復(fù)雜度，加快解碼速度，字節(jié)跳動(dòng)旗下火山引擎多媒體實(shí)驗(yàn)室從并行性、代碼框架、匯編指令和訪存效率等方向進(jìn)行了優(yōu)化，性能改善顯著。
具體如下：
細(xì)粒度的并行算法：BVC支持不同層次的并行算法，包括幀級(jí)并行、塊級(jí)并行和模塊級(jí)并行。幀級(jí)并行即同時(shí)解碼多個(gè)視頻幀，可以充分利用多核CPU的性能，并行程度最高;塊級(jí)并行即同時(shí)解碼多個(gè)解碼塊;模塊級(jí)并行即利用CPU的剩余資源，同時(shí)處理多個(gè)較復(fù)雜的模塊。塊級(jí)與模塊級(jí)相結(jié)合可以高效降低視頻幀的輸出時(shí)延，保障視頻會(huì)議和直播等實(shí)時(shí)場(chǎng)景的流暢體驗(yàn)。
對(duì)流水線友好的代碼框架：BVC有著非常輕量級(jí)的代碼框架，更加迎合空間較小、性能較差的移動(dòng)端設(shè)備。針對(duì)各個(gè)功能模塊特性，BVC有不同的算法實(shí)現(xiàn)，盡可能減少了分支跳轉(zhuǎn)，提升了CPU流水線的飽和度。
高吞吐量的匯編優(yōu)化：采用高吞吐量的SIMD指令，針對(duì)像素幀內(nèi)預(yù)測(cè)、幀間插值、量化、變換、重建和環(huán)路濾波等復(fù)雜模塊做匯編優(yōu)化，均達(dá)到了數(shù)倍的模塊加速比，最大程度提升CPU的計(jì)算效率。
高效的訪存設(shè)計(jì)：移動(dòng)設(shè)備內(nèi)存和緩存空間較小，訪存效率有限，這極大地制約了解碼器的性能。為此，火山引擎多媒體實(shí)驗(yàn)室針對(duì)BVC解碼器的訪存進(jìn)行了優(yōu)化，包括減少內(nèi)存讀寫次數(shù)、集中內(nèi)存使用和提高緩存命中率。優(yōu)化后，訪存不再成為在移動(dòng)設(shè)備上解碼超高清視頻的瓶頸。
BVC解碼器的單線程達(dá)到參考軟件的8.8倍
火山引擎多媒體實(shí)驗(yàn)室使用VVC官方參考軟件VTM-11.0做了一組測(cè)試。在通用配置下，生成若干組8比特碼流，打開標(biāo)準(zhǔn)測(cè)試條件下的全部工具，包括較復(fù)雜的DMVR、BDOF和ALF等。測(cè)試的序列為標(biāo)準(zhǔn)通用測(cè)試序列，包括class A、B、C、D、F五類。其中，class F是屏幕內(nèi)容場(chǎng)景，分辨率從480p到1080p不等;class A-D為自然場(chǎng)景，視頻的分辨率分別為4K、1080p、480p和240p。
表1 解碼器速度對(duì)比詳細(xì)數(shù)據(jù)
在iPhone 12(A14處理器)上，BVC單線程解碼4K分辨率、8比特標(biāo)準(zhǔn)測(cè)試碼流的速度平均達(dá)到了22fps，是參考軟件VTM-11.0解碼速度的10倍;在使用全部6個(gè)線程后解碼速度甚至可達(dá)55 fps，最高達(dá)到78fps。對(duì)于1080p分辨率、8比特標(biāo)準(zhǔn)測(cè)試碼流，BVC解碼器的單線程平均解碼速度是86 fps，達(dá)到參考軟件的8.8倍。
總結(jié)
BVC解碼器可以實(shí)現(xiàn)超清、高質(zhì)視頻的實(shí)時(shí)快速解碼，展現(xiàn)出在移動(dòng)端上卓越的解碼能力，對(duì)視頻行業(yè)的發(fā)展和H.266/VVC標(biāo)準(zhǔn)的落地起到積極的推進(jìn)作用。據(jù)著名知識(shí)產(chǎn)權(quán)媒體IAM報(bào)道，截至2021年2月,字節(jié)跳動(dòng)在H.266/VVC標(biāo)準(zhǔn)貢獻(xiàn)者排行榜上名列全球第三，占比9.33%。
基于實(shí)際應(yīng)用中的問(wèn)題和挑戰(zhàn)，字節(jié)跳動(dòng)的技術(shù)團(tuán)隊(duì)還將持續(xù)發(fā)力，不斷優(yōu)化BVC解碼器的性能，為新一代標(biāo)準(zhǔn)的落地做出更多貢獻(xiàn)。
火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)介紹
多媒體實(shí)驗(yàn)室致力于研究、探索多媒體領(lǐng)域的前沿技術(shù)，參與國(guó)際、國(guó)內(nèi)多媒體方向的標(biāo)準(zhǔn)化工作，為多媒體內(nèi)容分析、處理、壓縮、傳輸、創(chuàng)新交互等領(lǐng)域提供完善的解決方案。目前多媒體實(shí)驗(yàn)室所提供的眾多創(chuàng)新算法已經(jīng)廣泛應(yīng)用在了抖音、西瓜視頻等產(chǎn)品的點(diǎn)播、直播、實(shí)時(shí)通信、圖片等多媒體業(yè)務(wù)，在成本、體驗(yàn)、能力幾方面賦能業(yè)務(wù)，為其提供極致的視頻技術(shù)和產(chǎn)品體驗(yàn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
