即構科技 · 不同場景下如何實現(xiàn)最優(yōu)用戶體驗？

AIMK3IOS4jeWQjOWcuuaZr+S4i+WmguS9leWunueOsOacgOS8mOeUqOaIt+S9k+mqjO+8nw=="/>

12月13-14日，LiveVideoStackCon音視頻技術大會在深圳舉辦。在解決方案專場，即構科技解決方案架構師張靖雨發(fā)表了《不同場景下如何實現(xiàn)最優(yōu)用戶體驗》的主題演講。她首先從整體上介紹了即構在保障用戶體驗方面的思路，并通過三個具體的應用場景詳細介紹即構是如何保障不同場景下用戶的最優(yōu)體驗。

大家好我叫張靖雨，是即構科技的解決方案架構師。即構目前已經為200多個國家和地區(qū)提供音視頻服務，在全球范圍內有500多個BGP節(jié)點覆蓋，包括邊緣節(jié)點、中心節(jié)點、計算節(jié)點、流媒體節(jié)點。為眾多行業(yè)頭部平臺提供技術和服務，海外有UpLive、LiveMe、mico，泛娛樂有花椒、映客、喜馬拉雅，在線教育有好未來、一起作業(yè)網、掌門一對一等等。隨著音視頻的應用越來越廣泛，即構的服務客戶量也越來越大。目前即構平均每天在線音視頻互動時長已經達到了6億多分鐘，在這么大的使用量下，即構是如何保障用戶的最優(yōu)體驗?

兩個手段，保障用戶的優(yōu)質體驗

用戶體驗一定是來自用戶，我們先來聽一聽用戶的聲音：“我看白板跟快進一樣、我看視頻太卡了、我一打開就黑屏了”。作為技術人員，我們其實很難從這些反饋中找到真正的問題，但通過不斷積累，我們總結出用戶問題一般會分為兩個大類：一類在客戶端，有崩潰、卡頓。另一類在服務端，有延時、丟包、可用性。確定了問題的大致方向，下面我們來看解決的方法。實時音視頻最重要的功能就是推流和拉流，以前推拉流大部分用RTMP走CDN，但CDN無法統(tǒng)計推流數據。即構對每一條流都做了實時監(jiān)控，能真實的看到用戶推/拉流是怎么樣的?流質量好不好?

實時質量回調

從客戶端進行推拉流的操作開始，我們會每3秒進行一次數據統(tǒng)計，包括推流的幀率、采樣率、碼率，質量，推流端設備IP和型號等等，以回調的形式上報給后臺。加上即構有整個云端的控制臺，可以監(jiān)測每一條流從一個用戶出發(fā)，到另一個用戶截止，它所經歷的全過程，形成全棧監(jiān)控。

　　QOS策略

即構的服務是基于全球公有云資源的融合云，可以快速平滑擴容，快速切換公有云的云商，快速調度不同云的不同節(jié)點。我們通過以下兩點來保證我們的QOS：第一，即構目前整個后端500多個BGP的節(jié)點之間，會以一定的頻率進行互通測試，互通測試的結果構成了即構調度系統(tǒng)監(jiān)控平臺的數據基礎。即構會實時撥測每兩個節(jié)點中間的延時質量，采用多中心架構，讓我們的邊緣節(jié)點不只覆蓋推流或者拉流一方，而是進行多點調度。第二，即構現(xiàn)在每天都有超6億分鐘的音視頻使用時長，覆蓋全球200多個國家和地區(qū)，這些大量的線上數據就構成了即構的云端網絡大數據平臺。我們會通過實時的線上數據來判斷每一個地區(qū)，每一個用戶，他到底走哪一條線路，哪一個邊緣節(jié)點，哪一個中心節(jié)點質量最好。以上介紹了即構如何從整體上保障每一個用戶每一條流，都以就近的、高質量的完成每一次調度。落地到具體場景中，不同場景下用戶體驗的側重點也有所差異。

“音視頻+AI”帶來的體驗優(yōu)化

實時音視頻+AI的應用場景非常多：

　　在線教育

今年大熱的AI智能課堂，可以在最大程度降低老師資源成本的情況下，讓學生獲得接近真人老師上課的智能體驗。今年暑假，即構AI課堂解決方案讓在線教育平臺的課時量增加了近10倍;

此外，教育平臺方還會構建課堂質量監(jiān)控平臺，依靠AI去識別老師上課的時候有沒有涉及到相關的敏感詞，老師的動作是否合乎禮儀，學生是否有打哈欠，有沒有在玩手機?

　　基建行業(yè)

在基建行業(yè)，音視頻+AI讓安全檢查更智能。即構有一個海外基站的施工方客戶，客戶需要每一個施工人員上班之前先打開APP，通過視頻的方式去識別他的工裝和安全設備是否合規(guī)和完整。如果沒有的話，就緊急呼叫客服進行視頻檢測和提醒。

泛娛樂行業(yè)

在泛娛樂行業(yè)，針對涉黃、涉政、涉賭、涉毒等違禁內容的檢測已經成為平臺規(guī)避運營風險不可缺少的手段。

音視頻+AI帶來了更多新場景。在這些場景里，如何打通兩者，為用戶帶來最好的效果呢?

實時語音+AI鑒定

之前，客戶要在實時語音中加入語音識別，需要先找到即構，再找科大訊飛等語音識別的廠商，分別集成兩家的方案，工作量非常大?；诖耍礃嬜隽撕虯I語音識別的打通方案，我們會先集成AI識別廠商的方案，提供一個實時的用于鑒別的即構拉流器。

這個拉流器部署在AI廠商的后臺中，并按照業(yè)務方制定的鑒別策略去進行實時語音拉流，將拉下來的流翻譯成文本文字進行識別，識別數據實時回調給即構的后臺，即構再把數據關聯(lián)好回調給客戶后臺?？蛻敉ㄟ^這個方案，只需要集成一個即構的SDK，就可以從后臺看到，哪個房間、哪一個主播、在什么時間段，可能有敏感內容，然后及時的采取措施。

　　實時視頻+AI鑒定

實時視頻+AI鑒定有兩種方式：第一種是鑒別截圖。第二種是鑒別實時視頻碼流的關鍵幀。第一種方式比較常見，即構在客戶端進行截圖，然后上傳給AI方的后臺識別。第二種方式，即構同樣會提供一個視頻的拉流器給AI方，然后在AI方的后臺實時拉流，即構會負責解碼還原成原始的數據，然后AI方再對視頻碼流里面的關鍵幀內容進行識別，同樣它的結果會和即構后臺的相關數據進行打通，并最終回調給即構的客戶后臺。即構的音視頻+AI方案可以對接任意的AI廠商，不僅保障了用戶體驗，還能根據客戶的真實業(yè)務場景，提供性價比最高的方案。TT語音是國內語音領域的頭部玩家，用戶量非常龐大，此前TT語音進行音視頻鑒別，每一條流轉換成文本進行識別，會產生不菲的第三方的鑒別費用。而通過即構“音視頻+AI識別”解決方案，能夠把TT語音每個房間9個麥位，9個人的語音流合成一條給第三方鑒別，將TT語音的內容鑒定費壓縮到原來的近1/8。

　　“音視頻+互動白板”帶來的體驗優(yōu)化

今年是在線教育比較火的一年，而在線教育客戶對音視頻質量非常關注?，F(xiàn)場如果有做教育的朋友應該會知道，目前市場上除了即構，幾乎沒有任何一家供應商能夠把白板的傳輸和音視頻的傳輸同步起來。

這里的難點在于，實時音視頻走流媒體協(xié)議，有傳輸延時，但白板走信令通道，信令通道比流媒體通道的延時低。在跨區(qū)域跨國的課堂場景中，學生在外上課，經歷基站切換，網絡斷開又恢復了，然后白板內容和老師說的話就完全對不上。

針對弱網/斷網網絡恢復場景，即構將兩個通道打通和對齊，實現(xiàn)音視頻和白板內容的同步。通道的對齊，大家可能都會想到用時間戳：在實時音視頻里面打上時間戳，白板信令里也打上時間戳，每次播放的時候把兩個時間戳對齊了才播放。

這是一種方法，但有一個問題：時間戳的粒度選多長?如果粒度選的太大，在短暫的中斷之后，要等播放到時間戳才能對齊，延時大。如果粒度選的太小，那么實時傳輸的數據量會增加，甚至時間戳也會丟包。在這種情況下，即構做了多重策略。第一，以大粒度去打時間戳但這個時間戳是以白板或者是文件共享中的動作為節(jié)點，比如畫了一個新的圖形，寫了一個新的字，從落筆到抬筆算一個動作，我們會以這種時間節(jié)點進度來打時間戳。第二，白板節(jié)點信息與流媒體混編實時音視頻流媒體傳輸，允許將非媒體信息通過一個虛擬的幀插入媒體流信息中。在實時音視頻的流傳輸過程中，即構通過媒體次要信息的接口，將白板的關鍵節(jié)點混編到流信息里。網絡正常時，通過時間戳對齊進行播放;網絡異常時，通過解析視頻流里的媒體信息和白板的信令對齊。“音視頻+白板”方案，還有一個大家比較關心的點是錄制和回放。此前，白板和音視頻的回放都是從回放開始的時間做好對齊，然后再播放渲染。即構可以將白板和音視頻對齊后再回放，那么不管出現(xiàn)暫停，快進或是網絡突然中斷，白板內容和音視頻內容會始終保持同步的回放播放。

　　“音視頻+5G”下的體驗優(yōu)化

即將到來的2020年將是5G大規(guī)模應用的一年， 5G大帶寬、低延時、海量互聯(lián)的三大特性，將為我們帶來更多的新應用場景和新的訴求。比如大帶寬下的4K高清課堂;低延時的自動駕駛、遠程手術，多人線上K歌合唱、線上在線樂隊等等場景。即構將根據5G網絡的特性，從端，網，云及底層引擎優(yōu)化多方面，對應調整云端架構，實現(xiàn)新應用場景的快速落地。

端

5G下的新場景會帶來更多樣化的客戶端，未來可能會出現(xiàn)云手機、云端桌面、云端電腦。此外還有服務器，未來可能把嵌入式Linux的服務器壓縮在盒子里，用嵌入式有限的資源設備去傳輸8K/4K高清視頻。一些特殊設備，帶推流的麥克風，帶直接推拉流的攝像頭，以及在醫(yī)療行業(yè)，還要打通醫(yī)療設備、手術操作設備的系統(tǒng)。即構對每一款新設備都會進行嚴格的測試，目前我們累計測試的客戶端類型已經超過了15000種。

網

在網這部分，即構堅持：Anytime、Anywhere、Anyresource。即構現(xiàn)在已經覆蓋了500多BGP的節(jié)點，但5G下將面臨的一個問題是：以前我們所面對的基站都是宏基站，功率大，覆蓋范圍廣，而5G下是無數的微基站、皮基站，我們的架構要怎么優(yōu)化?首先，網端盡量下沉到邊緣節(jié)點用戶與邊緣節(jié)點的距離越長，會造成更多的延時。而下沉邊緣節(jié)點就意味著節(jié)點數量的增加，節(jié)點選型的難度加大，并且下沉邊緣節(jié)點后，還要做不一樣的傳輸、調度。其次，優(yōu)化每個邊緣節(jié)點的算力4G網絡下一條1080P30幀的高清視頻流，碼率只有5M，一臺4核8G的服務器能夠同時推600條流;但5G下一條4K30幀的視頻流，碼率會達到30M，在5G單條流帶寬資源增長6倍的情況下，我們需要讓每一臺四核8G的服務器還能同時處理200~300條5G的流，才能實現(xiàn)成本與性能的平衡。

云

在云端，針對每一個不同的業(yè)務形態(tài)，我們通過網絡切片和CU轉控分離來保證每一個場景的業(yè)務形態(tài)，都能獲得最優(yōu)資源，實現(xiàn)最好的效果。5G在網絡上帶來最大的一個變化，是進行網絡切片。以4K直播為例，之前的方案中，觀眾觀看直播大部分都會走CDN，而CDN的延時在3~10秒，主播和觀眾打賞互動之間會有明顯的延時。現(xiàn)在越來越多的直播客戶，希望即構提供的方案能支持4K直播，但不想走實時網絡，因為成本太高，也不想走CDN，因為CDN太慢。因此，即構推出5G下的中延時方案，它快于CDN傳輸，但又不是實時的效果，它的延時在1秒左右。中延時方案以3-10秒延時的成本，實現(xiàn)1秒延時的效果，在不增加成本的基礎上提供更好的用戶體驗。除了網絡切片，云端另一個優(yōu)化是CU分離，控制面和用戶面完全分離，將邊緣節(jié)點下沉，最大化的靠近用戶面。

　　優(yōu)化底層引擎

除了端、網、云的改造，在5G網絡下，我們還要對整個編碼邏輯進行優(yōu)化。

大家想象一下，當大量流數據已經能夠在50毫秒內進行傳輸，但因為編解碼關鍵幀的間隔，也就是GOP中的I幀間隔還是2秒，會導致什么情況?會導致雖然流數據到了，但是2秒的關鍵幀間隔讓播放器無法立刻顯示下一幀畫面，用戶體驗到的還是2秒的延時。4G網絡下，2秒的關鍵幀間隔是最實時最快效果最好的值，但在5G下，我們可以把關鍵幀間隔調到1.8秒，并且預緩存一個GOP，這個GOP只存儲上一幀的關鍵幀數據。當流數據到達，我們就能先從緩存的GOP中調取上一個關鍵幀數據，成為首幀。用戶的體驗立刻升級了：一打開就能馬上看到畫面，實現(xiàn)5G下的首幀秒開。

在5G即將到來之際，即構將繼續(xù)打磨產品和技術，為用戶提供5G新場景下的更優(yōu)體驗。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。