詳解虎牙AI超分技術(shù):“無中生有”打造S9直播4K畫質(zhì)

4K高清圖像,超過每秒24幀的高速攝影......這些實現(xiàn)人類極致觀看體驗的最新技術(shù),如果應(yīng)用到直播領(lǐng)域,會有怎樣的效果呢?

近日,虎牙直播宣布,推出“4K+60幀+20M”超分超高清三件套,成為S9全球獨家4K直播平臺。據(jù)悉,虎牙技術(shù)團隊借助超分技術(shù),實現(xiàn)了S9賽事視頻由1080P到4K的提升,同時畫面額外延時僅僅增加100毫秒。游戲玩家和業(yè)內(nèi)人士普遍認為,虎牙引領(lǐng)的這一次技術(shù)飛躍,無疑將開啟游戲直播的一場“革命”。

詳解虎牙AI超分技術(shù):“無中生有”打造S9直播4K畫質(zhì)

“感覺看直播就跟真正進入玩游戲的畫質(zhì)一樣

據(jù)介紹,虎牙依托強大的AI 超分辨處理能力和視頻編碼優(yōu)化, 將S9賽事視頻由本身的1080P分辨率著提升到4K分辨率;同時通過高可靠、低延時的全球化分發(fā)網(wǎng)絡(luò),將20M 的超高碼率碼流傳輸給用戶,完成了從1080P到4K分辨率、60幀、20M實時視頻轉(zhuǎn)碼直播。

虎牙音視頻網(wǎng)絡(luò)技術(shù)部算法負責(zé)人表示,推出此項技術(shù),是因為發(fā)現(xiàn)目前用戶可以獲取的4K視頻源是很不足的,在直播行業(yè)更是如此。而對于S9這種頂級賽事來說,如果能夠提供超高清畫質(zhì),無疑是滿足了用戶最迫切的需求。

針對這一痛點,虎牙直播利用超分技術(shù),將S9賽事視頻的分辨率由1080P提升到4K,顯著提升畫質(zhì)。畫質(zhì)的提升也得到了用戶的肯定,有用戶在虎牙4K直播間彈幕表示,“用手機2K屏幕觀看S9的4K直播頻道的時候甚至?xí)蟹N‘錯覺’,感覺看直播就跟真正進入玩游戲的畫質(zhì)一樣。“

詳解虎牙AI超分技術(shù):“無中生有”打造S9直播4K畫質(zhì)

(S9虎牙4K直播間截圖)

據(jù)了解,主流超分辨率技術(shù)可以分為傳統(tǒng)重建技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)。此前流行的傳統(tǒng)重建技術(shù)用濾波的方式重新恢復(fù)圖像信息,但因為高頻信號在最初圖像采集中丟失,重建后的高分辨率圖像會出現(xiàn)不自然的光滑紋理,影像畫質(zhì)體驗。而2016年以來興起的基于學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)技術(shù),是讓機器模擬大腦的神經(jīng)元網(wǎng)絡(luò),學(xué)習(xí)不同分辨率的圖像的像素映射關(guān)系,利用多層卷積網(wǎng)絡(luò)算法,將低分辨率圖像重建為高分辨率圖像。

而虎牙創(chuàng)造性地利用最新的AI深度學(xué)習(xí)模式,通過海量對比運算,不斷調(diào)試和糾正重建畫面時的偏差問題,并通過人工智能提高計算能力,最終使虎牙的超分辨率算法成功實現(xiàn)了圖像高清還原和增強。無論是在細節(jié)、色彩、明暗還是銳度方面,都可以最大限度接近人類視覺的自然感受。

4K超分高清畫面額外延時僅增加100毫秒”

讓游戲愛好者得到大片一般的直播觀看體驗,不能只靠理論架構(gòu)的藍圖,還有有踏實的技術(shù)完善之路。

據(jù)虎牙音視頻網(wǎng)絡(luò)技術(shù)部算法負責(zé)人介紹,立項之初,他們就面臨著兩大挑戰(zhàn):一個是技術(shù)層面的,即如何優(yōu)化AI超分模型以及計算推理能力,使其不僅實現(xiàn)畫質(zhì)的大幅提高,并且運行速率可以滿足4K、60FPS的實時處理;另一個就是架構(gòu)層面的,即虎牙音視頻分發(fā)體系如何快速應(yīng)對這種傳輸鏈路的更改以及處理節(jié)點調(diào)度,保證其直播內(nèi)容依然是低延時、穩(wěn)定流暢地呈現(xiàn)到全球觀眾面前。

詳解虎牙AI超分技術(shù):“無中生有”打造S9直播4K畫質(zhì)

眾所周知,實時處理是直播業(yè)務(wù)的準入門檻之一。而虎牙經(jīng)過多年來技術(shù)積累,在實時處理上已經(jīng)積累了豐富的成果。此次的4K超分辨率處理,也需要每秒完成60幀的高分辨率圖像重建同時進行視頻編碼。而這個過程,是在虎牙的GPU轉(zhuǎn)碼集群內(nèi)處理,視頻數(shù)據(jù)再經(jīng)由已有的虎牙傳輸分發(fā)平臺,分發(fā)到世界各地。

延時處理也是虎牙本次的重大突破。采用流媒體方式播放的網(wǎng)絡(luò)視頻都需要經(jīng)過編碼——壓縮——解碼這一過程,讓視頻能以較小的數(shù)據(jù)量在網(wǎng)絡(luò)中傳輸,從而在有限的帶寬中保持傳輸效率,確保終端可以流暢、穩(wěn)定地接收和播出。這一過程中存在的延時問題,是影響觀看體驗的重要因素。

“為解決延時問題,我們從算法到總體通訊架構(gòu)都做了大量的技術(shù)工作。我們知道,端到端延時的優(yōu)化其實是一個全鏈路的優(yōu)化的集合,因此我們在模型調(diào)優(yōu)、異構(gòu)計算和硬件升級上都做了全方位的優(yōu)化處理。在我們技術(shù)團隊的努力下,4K超分高清畫面帶來的額外節(jié)點延時僅增加了100ms。”虎牙音視頻網(wǎng)絡(luò)技術(shù)部算法負責(zé)人介紹。

“項目從立項到上線歷時不到1個月時間”

盡管有重重技術(shù)障礙,但虎牙4K項目從提出概念、立項,到平臺上線服務(wù)用戶,前后只用了不到一個月的時間。這不僅是因為虎牙擁有強大的研發(fā)團隊,也得益于虎牙在前沿技術(shù)領(lǐng)域的長期跟進和積累。

客觀而言,直播畫質(zhì)是個綜合性問題,會受原圖質(zhì)量,計算能力,編碼參數(shù),用戶帶寬等因素影響。超分技術(shù)可以提高原圖質(zhì)量,但也要配合其他技術(shù)綜合一起,才可以達到最優(yōu)效果。如本次的4K高清,除使用AI進行視頻圖像處理外,虎牙還應(yīng)用了大型音視頻直播分發(fā)系統(tǒng),對視頻實時加工的處理支撐技術(shù)等。

從AI智能彈幕,到本次推出的4K超分超高清S9視頻,虎牙在AI技術(shù)領(lǐng)域不斷突破。近期,在韓國舉辦的2019年國際計算機視覺大會(簡稱ICCV)上,虎牙此前提交的兩篇論文成功入圍,并在大會上展出了虎牙的基礎(chǔ)技術(shù),引起現(xiàn)場專家同行的認可和好評。

詳解虎牙AI超分技術(shù):“無中生有”打造S9直播4K畫質(zhì)

而虎牙本次通過超分技術(shù)實現(xiàn)賽事視頻的畫質(zhì)提升,其意義絕不會只停留在賽事轉(zhuǎn)播上。據(jù)專家預(yù)測,到2021年,多媒體視頻圖像流量將占據(jù)整個互聯(lián)網(wǎng)流量的80%。如此龐大的視頻傳播和觀看需求,必然帶來相關(guān)技術(shù)的井噴式發(fā)展,也很可能成為下一個互聯(lián)網(wǎng)技術(shù)“風(fēng)口”。

更重要的是,隨著5G和物聯(lián)網(wǎng)逐漸從設(shè)想走向現(xiàn)實,虎牙直播的超分技術(shù)及實時視頻轉(zhuǎn)碼技術(shù),與物聯(lián)網(wǎng)的高準確率、低延時要求正好相符。隨著該技術(shù)的進一步優(yōu)化,未來在游戲直播、戶外直播,甚至其他生活領(lǐng)域,將產(chǎn)生更多的應(yīng)用場景。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-11-01
詳解虎牙AI超分技術(shù):“無中生有”打造S9直播4K畫質(zhì)
4K高清圖像,超過每秒24幀的高速攝影......這些實現(xiàn)人類極致觀看體驗的最新技術(shù),如果應(yīng)用到直播領(lǐng)域,會有怎樣的效果呢?近日,虎牙直播宣布,推出&ldquo

長按掃碼 閱讀全文