視覺數(shù)據(jù)編碼頂級(jí)國際論壇之一的 PCS 2022 論文入選結(jié)果公布!
本次，騰訊多媒體實(shí)驗(yàn)室共有5篇論文入選，內(nèi)容含視頻壓縮、視頻數(shù)據(jù)集、神經(jīng)網(wǎng)絡(luò)壓縮圖像/視頻壓縮、高維媒體壓縮等多個(gè)領(lǐng)域。
以下為入選論文簡介：
用于屏幕內(nèi)容編碼的開放視頻數(shù)據(jù)集
An Open Video Dataset for Screen Content Coding
Y. Wang, X. Zhao, X. Xu, S. Liu, Z. Lei, M. Afonso, A. Norkin, T. Daede 2022 IEEE PCS, Dec. 2022
近年來，屏幕內(nèi)容視頻在視頻錄制和視頻會(huì)議等幾大視頻應(yīng)用中越來越受歡迎。不同于傳統(tǒng)由相機(jī)傳感器捕獲的圖像視頻內(nèi)容，屏幕內(nèi)容是由計(jì)算機(jī)通過程序及模型計(jì)算生成的。針對(duì)屏幕內(nèi)容的統(tǒng)計(jì)特性，研究人員開發(fā)了專用的編碼工具以實(shí)現(xiàn)顯著的壓縮效率增益。鑒于屏幕內(nèi)容應(yīng)用的普及，本文提出了一個(gè)開放的屏幕內(nèi)容視頻數(shù)據(jù)集，用于屏幕內(nèi)容編碼技術(shù)的研究和發(fā)展。提出的視頻數(shù)據(jù)集包含12 個(gè)典型的公開可用的屏幕內(nèi)容類型視頻剪輯。此外，為了更好地理解所提出的視頻數(shù)據(jù)集的特征，本文對(duì) AOMedia Video 1 (AV1) 視頻編碼標(biāo)準(zhǔn)中的幾項(xiàng)核心的屏幕內(nèi)容編碼工具進(jìn)行了性能評(píng)估，并在本文中結(jié)合數(shù)據(jù)集的統(tǒng)計(jì)特性進(jìn)行了分析。
通用視頻編碼中幀內(nèi)和幀間預(yù)測的統(tǒng)一快速分割算法
Unified Fast Partitioning Algorithm for Intra and Inter Predictions in Versatile Video Coding
W. Kuang, X. Li, X. Zhao, S. Liu 2022 IEEE PCS, Dec. 2022
最新一代VVC視頻編碼標(biāo)準(zhǔn)采用了比上一代HEVC視頻編碼標(biāo)準(zhǔn)更加靈活的塊劃分技術(shù)框架。該技術(shù)框架所支持的四叉樹及多類型樹(QTMT)塊劃分結(jié)構(gòu)顯著提高了編碼效率。然而，根據(jù)遞歸編碼單元(CU) 塊劃分方案進(jìn)行全搜索尋找最優(yōu)塊劃分結(jié)構(gòu)會(huì)導(dǎo)致編碼器的計(jì)算復(fù)雜度大幅增加。在本文中，作者針對(duì)幀內(nèi)和幀間預(yù)測提出了一種統(tǒng)一的塊劃分結(jié)構(gòu)快速算法，該算法利用了編碼器在模式?jīng)Q策過程中評(píng)估各種候選塊劃分方案的各種歷史信息進(jìn)行塊劃分模式的篩選，從而跳過不必要的塊劃分方案，達(dá)到編碼器計(jì)算復(fù)雜度的降低。本文所提出的算法在VVC 參考軟件VTM-14.0 之上已經(jīng)實(shí)現(xiàn)并且驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所提出的算法在所有幀內(nèi)(AI)、隨機(jī)訪問(RA)和低延遲(LDP)配置下能夠顯著地提升編碼速度，編碼時(shí)間節(jié)省達(dá)到40%。
用于動(dòng)態(tài)網(wǎng)格編碼的邊界保留幾何視頻
Boundary-Preserved Geometry Video for Dynamic Mesh Coding
C. Huang, X. Zhang, J. Tian, X. Xu, S. Liu 2022 IEEE PCS, Dec. 2022
本文提出了一種用于具有時(shí)變幾何、連接性和屬性的動(dòng)態(tài)網(wǎng)格編碼(DMC) 的邊界保留幾何視頻 (BPGV) 框架。幾何視頻是通過在采樣的 2D UV 圖表中插入 3D XYZ 坐標(biāo)生成的，并且可以通過任何視頻編解碼器進(jìn)行編碼以消除空間和時(shí)間冗余。然而，由于缺少 UV 圖表的邊界信息，幾何視頻本身的重建可能會(huì)嚴(yán)重失真。因此，建議通過有效的預(yù)測和殘差編碼在單獨(dú)的子比特流中編碼 UV 圖的邊界信息。連接信息可以從解碼的幾何圖像和邊界信息中推斷出來，通過三角測量在解碼器端具有線性復(fù)雜度。通過利用建議的編碼工具(包括自適應(yīng)圖表采樣和原始圖表編碼模式)在比特率和質(zhì)量之間進(jìn)行權(quán)衡，可以實(shí)現(xiàn)更好的編碼性能。提議的 BPGV 框架是作為對(duì) MPEG CfP on DMC 的回應(yīng)而提交的，結(jié)果證明其與最先進(jìn)的網(wǎng)狀編解碼器相比具有卓越的性能。
通過迭代訓(xùn)練優(yōu)化基于神經(jīng)網(wǎng)絡(luò)的環(huán)路濾波器
Optimize neural network based in-loop filters through iterative training
L. Wang, X. Xu, S. Liu 2022 IEEE PCS, Dec. 2022
通用視頻編碼(VVC)的最新視頻編碼標(biāo)準(zhǔn)已于 2020 年最終確定。在研究人員之前的工作中，提出了幾種基于神經(jīng)網(wǎng)絡(luò)的環(huán)路濾波器來提高 VVC 以外的壓縮性能。但是，沒有考慮幀間引用機(jī)制的影響，導(dǎo)致訓(xùn)練過程和最終測試過程不一致。為了解決這個(gè)問題，本文提出了一種迭代訓(xùn)練方法來進(jìn)一步優(yōu)化基于神經(jīng)網(wǎng)絡(luò)的環(huán)路濾波器?；谒岢龅姆椒ǎ梢詫?shí)現(xiàn)高達(dá) 1.74% 的額外YUV BD 碼率節(jié)省。與VVC相比，實(shí)驗(yàn)表明，22個(gè)模型的過濾器平均節(jié)省了14.00%的YUV BD-rate，而單個(gè)模型的過濾器平均節(jié)省了11.21%的YUV BD-rate。此外，主觀評(píng)價(jià)已經(jīng)證實(shí)單模型濾波器的性能明顯優(yōu)于 VVC。
替代神經(jīng)圖像壓縮
Substitutional Neural Image Compression
X. Wang, D. Ding, W. Jiang, W. Wang, X. Xu, S. Liu, B. Kulis, P. Chin 2022 IEEE PCS, Dec. 2022
本文描述了替代神經(jīng)圖像壓縮(SNIC)，這是一種增強(qiáng)任何神經(jīng)圖像壓縮模型的通用方法，不需要數(shù)據(jù)或?qū)τ?xùn)練模型進(jìn)行額外調(diào)整。它將壓縮性能提高到靈活的失真度量，并使用單個(gè)模型實(shí)例實(shí)現(xiàn)比特率控制。關(guān)鍵思想是將要壓縮的圖像替換為以所需方式優(yōu)于原始圖像的替代圖像。找到這樣的替代品對(duì)于傳統(tǒng)的編解碼器來說本來就很困難，但由于其完全可微分的結(jié)構(gòu)，對(duì)于神經(jīng)壓縮模型來說卻出人意料地有利。通過將特定損失的梯度反向傳播到輸入，可以高效地迭代制作所需的替代品。研究人員展示了SNIC 在與各種神經(jīng)壓縮模型和目標(biāo)指標(biāo)相結(jié)合時(shí)在提高壓縮質(zhì)量和執(zhí)行通過率失真曲線測量的比特率控制方面的有效性。
騰訊多媒體實(shí)驗(yàn)室專注于多媒體技術(shù)領(lǐng)域的前沿技術(shù)探索、研發(fā)、應(yīng)用和落地，音視頻編解碼、網(wǎng)絡(luò)傳輸、實(shí)時(shí)通信、多媒體內(nèi)容質(zhì)量評(píng)估和沉浸式媒體的端到端解決方案，同時(shí)負(fù)責(zé)國際國內(nèi)行業(yè)標(biāo)準(zhǔn)制定，包含多媒體數(shù)據(jù)壓縮、網(wǎng)絡(luò)傳輸協(xié)議、多媒體系統(tǒng)和開源平臺(tái)等。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
