近年來，隨著深度學(xué)習技術(shù)的快速發(fā)展和設(shè)備運算能力的不斷提升，基于 AI 的超分技術(shù)在圖像恢復(fù)與增強領(lǐng)域也已經(jīng)呈現(xiàn)出廣闊的應(yīng)用前景，并且在實時通信領(lǐng)域也掀起了革新應(yīng)用之風。
超分辨率(Super Resolution，簡稱 SR)，是計算機視覺的一個經(jīng)典應(yīng)用。SR 是指通過軟件或硬件的方法，從觀測到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，簡單來說就是通過 AI 算法來放大原有圖像的分辨率以達到提升畫質(zhì)的效果。在監(jiān)控設(shè)備、衛(wèi)星圖像遙感、數(shù)字高清、顯微成像、視頻編碼通信、視頻復(fù)原和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價值。
超分應(yīng)用場景條件限制，存在清晰度困擾
然而在現(xiàn)實中，用戶的應(yīng)用場景還存在許多問題，例如：
場景一：小張用手機看PC端主播的直播，發(fā)現(xiàn)畫質(zhì)不好。因為手機是豎屏分辨率，需要從橫屏分辨率的畫面裁剪下來才能將畫面填滿手機屏幕，但是裁剪導(dǎo)致分辨率下降，畫質(zhì)降低。
場景二：小學(xué)生小張使用智能手表與媽媽手機視頻通話的時候，發(fā)現(xiàn)手表容易發(fā)熱，流量也用得快。因為受限于芯片性能，發(fā)送高分辨率的視頻時比較消耗性能。
尤其對于海外用戶來說，應(yīng)用場景的問題更為復(fù)雜：
場景一：小張在印度生活，平?？粗辈ブ荒芸礃饲逡曨l，因為當?shù)鼐W(wǎng)絡(luò)不好，再提高分辨就會容易卡頓，體驗很差，因此只能接受標清的畫質(zhì)。
場景二：小張在美國留學(xué)，有天和在印度的朋友視頻通話時發(fā)現(xiàn)畫質(zhì)有點差，因為印度網(wǎng)絡(luò)質(zhì)量不好，只能推送標清視頻。
由此可以看出，用戶在一些特殊場景下，畫質(zhì)清晰度十分不理想。那么，以上用戶的問題我們可不可解?
ZEGO即構(gòu)科技推出自研超分，清晰度翻倍
近期，全球領(lǐng)先的云視頻服務(wù)商——ZEGO即構(gòu)科技推出了基于深度學(xué)習的自研超分、自研去編碼效應(yīng)，通過 AI 算法來放大原有圖像的分辨率以達到提升畫質(zhì)的效果。
通過使用超分，可以在本地將實時視頻的分辨率放大兩倍(x2)，比如將 360P 超分成 720P 畫質(zhì)更清晰、紋理細節(jié)更細膩、文字更清楚，并且在播放端本地超分，不會增量帶寬、流量，解放網(wǎng)絡(luò)壓力，同時在播放端本地超分，也不依賴推流端，解放主播/推流用戶性能。使用超分后的優(yōu)勢總結(jié)如下：
1、提升畫質(zhì) —— 由于分辨率的提升，像素點更多，畫質(zhì)整體會比原畫面更加清晰;
2、去編碼臟塊 —— 去除由于碼率不足引起的編碼臟塊，畫面更加平滑整潔;
3、不會增加流量以及帶寬成本 —— 超分功能是端上的能力，只依賴設(shè)備性能;
4、不會增加推流端的性能消耗 —— 超分在拉流端(播放端)運行。
我們一起來看一下使用即構(gòu)超分后帶來的效果變化：
上述提到的三個客戶場景在使用 ZEGO SDK 超分后，將產(chǎn)生如下效果變化：
國內(nèi)用戶場景一：使用即構(gòu)技術(shù)后：畫質(zhì)達到超清(720P/960P)，無視惡劣的網(wǎng)絡(luò)條件;
國內(nèi)用戶場景二：使用即構(gòu)技術(shù)后：畫質(zhì)達到超清，不用擔心跨端導(dǎo)致畫質(zhì)降低的問題了;
海外用戶場景一：使用即構(gòu)技術(shù)后：畫質(zhì)達到超清，不再受限于網(wǎng)絡(luò)條件;
海外用戶場景二：使用即構(gòu)技術(shù)后：畫質(zhì)達到超清，溝通和以前一樣流暢;
由此可見，當使用超分黑科技加成后，畫質(zhì)飛躍。
那么何種場景適合使用超分?可以簡單理解為用于想提升畫質(zhì)，卻又受到某些限制的環(huán)境。具體分為以下幾類：
1、網(wǎng)絡(luò)環(huán)境受到限制。對于網(wǎng)絡(luò)環(huán)境壓力大的地區(qū)，選擇超分提升畫質(zhì)檔次，避開網(wǎng)絡(luò)的限制;
2、硬件條件受到限制。攝像頭無法提供高分辨率、推流端的性能不夠編更高分辨率的視頻;
3、購買成本受到限制。期望提升畫質(zhì)，但是對應(yīng)的分辨率/帶寬/流量檔位價格太高。
即構(gòu)超分優(yōu)勢
1、在資源受限的移動端，基于深度學(xué)習的自研超分、自研去編碼效應(yīng)，對比業(yè)界 SOTA 及友商，模型大小相當時，即構(gòu)自研 SR 主客觀數(shù)據(jù)更好，覆蓋機型更廣;
2、在性能不變的情況下可以累加編碼去臟去塊效應(yīng)和累加智能銳化，也就是說，一個模型，可以完成超分+去編碼效應(yīng)+智能銳化，性能不變;
3、極小超低輕量級模型，僅0.69G FLOPs，我們在Set5中的PSNR/SSIM可以達到
36.898/0.9554，在此運算量下，幾無對手;
4、機型覆蓋更廣，支持 2500+ 種機型，國內(nèi) Android 設(shè)備覆蓋率為 50%，iOS 設(shè)備覆蓋率為90%;
據(jù)悉，目前即構(gòu)科技已可以在1v1視頻通話，秀場直播、電商直播等單主播場景，低分辨率場景，智能硬件，跨端通信等場景接入超分。
高分辨率的視頻能提供更清晰的畫面和更高階的感官體驗，對于提升視頻質(zhì)量和用戶視覺感受有很大的幫助。即構(gòu)此次自研的超分技術(shù)，可以幫助客戶獲得暢爽的視頻體驗，打造更高水平的圖像恢復(fù)和圖像增強。
據(jù)了解，即構(gòu)超分將繼續(xù)進行算法性能優(yōu)化，在效果不下降的情況下，覆蓋更多機型，包括網(wǎng)絡(luò)模型的性能優(yōu)化、前饋推理庫的性能優(yōu)化，支持PC端，并且會結(jié)合去編碼塊效應(yīng)(更低性能消耗)，進一步提升視頻效果。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
