AI焦點(diǎn)直播備受關(guān)注，聯(lián)發(fā)科Helio P90 AI相機(jī)有望改變直播行業(yè)

近年來直播行業(yè)風(fēng)生水起，各大互聯(lián)網(wǎng)巨頭都紛紛推出自家直播產(chǎn)品進(jìn)行市場份額爭奪，導(dǎo)致移動直播也成為火熱的垂直領(lǐng)域。不過由于直播產(chǎn)品的特性：高時(shí)長使用、網(wǎng)絡(luò)高度依賴、資源不匹配差等，成為了制約用戶體驗(yàn)的難題，雖然直播平臺雖推出了一系列解決方案，但是效果并不明顯，本質(zhì)上仍需要直播平臺、移動平臺、算法平臺等多方協(xié)作。

對于直播來說，用戶體驗(yàn)顯然是最重要的。例如不少用戶都會遇到視頻卡頓、幀數(shù)過低，甚至是畫面大面積模糊這類情況，這當(dāng)中除了網(wǎng)絡(luò)環(huán)境會帶來相關(guān)差異以外，直播所使用的移動終端對高清圖像解碼能力的差異也會帶來巨大影響，也因此導(dǎo)致了上游IC芯片廠商強(qiáng)化了直播的用戶體驗(yàn)。我們注意到近期發(fā)布的聯(lián)發(fā)科Helio P90將時(shí)下最前沿的移動AI技術(shù)結(jié)合直播，獨(dú)特的AI焦點(diǎn)直播確實(shí)給用戶體驗(yàn)帶來很大的提升。

聚焦面部特征展現(xiàn)，AI焦點(diǎn)直播大幅提升用戶體驗(yàn)

首先我們來解釋下AI焦點(diǎn)直播的意思，實(shí)際上這是聯(lián)發(fā)科Helio P90芯片上的一項(xiàng)全新AI應(yīng)用。簡單來說，就是當(dāng)用戶使用搭載聯(lián)發(fā)科Helio P90平臺的智能設(shè)備進(jìn)行直播時(shí)，直播平臺會啟用P90的AI編碼框架，配合APU 2.0的算力, 找出直播過程中被認(rèn)定為重點(diǎn)的區(qū)塊進(jìn)行高碼率編碼，而不重要的區(qū)塊則減低碼率。

聯(lián)發(fā)科Helio P90平臺(左)展示的焦點(diǎn)直播特性，有效優(yōu)化面部特征。(圖/網(wǎng)絡(luò))

如此一來，可以讓有限的網(wǎng)絡(luò)頻寬保留給重要的物件，例如人臉、玩偶等焦點(diǎn)，實(shí)現(xiàn)在正常光線下對直播主的美顏美肌、暗光環(huán)境下優(yōu)化直播主核心的面部特征的技術(shù)特征，讓直播主這個(gè)“實(shí)時(shí)焦點(diǎn)”顯得更加突出。很有意思的是，聯(lián)發(fā)科這項(xiàng)技術(shù)在發(fā)布之后就受到了大量直播用戶的關(guān)注。

其實(shí)在聯(lián)發(fā)科P90的AI焦點(diǎn)直播推出前，就已經(jīng)有不少的第三方直播美顏軟件，但這些軟件更多意義是讓整個(gè)直播畫面變的明亮，或者是簡單的提升直播主的膚色等，不僅存在畫面失真的情況，而且能使用的平臺單一，無法跨直播平臺使用。換句話說，直播美顏更多是直播平臺自家的后臺算法針對人臉偵測，既無法實(shí)時(shí)實(shí)現(xiàn)畫面焦點(diǎn)的優(yōu)化，也無法做到非人臉的局部焦點(diǎn)編碼，體驗(yàn)相當(dāng)?shù)木窒蕖?/p>

傳統(tǒng)的直播基本上只是針對畫面做微幅處理，算法比較簡單。(圖/網(wǎng)絡(luò))

聯(lián)發(fā)科P90的AI焦點(diǎn)直播顯然就是針對這一體驗(yàn)做出的特殊優(yōu)化，它與普通直播美顏軟件最大的區(qū)別就是調(diào)動了底層硬件，并配合AI邊緣計(jì)算、特殊編碼來實(shí)現(xiàn)三方協(xié)作，得益于每秒高達(dá)11270億次的定點(diǎn)乘累加能力，可以通過人臉偵測引擎使(AI+ISP)來進(jìn)行高強(qiáng)度的運(yùn)算，這個(gè)過程中可以熟記和鎖定畫面焦點(diǎn)的細(xì)節(jié)特征，在弱光和運(yùn)動條件下實(shí)時(shí)準(zhǔn)確地檢測人臉和場景。值得一提的是，目前除了聯(lián)發(fā)科P90外，還沒有其他的SoC具有這種功能。

既然聯(lián)發(fā)科P90具備AI焦點(diǎn)直播功能，具體能帶來怎樣的效果?簡單來說通過AI焦點(diǎn)直播不只做到傳統(tǒng)的美顏美肌美白瘦臉，還不只做到傳統(tǒng)的美顏美肌美白瘦臉，還可以讓直播主的面部更清晰，有效降低人物面部MPEG編碼所造成的馬賽克效應(yīng)，目前用戶通過聯(lián)發(fā)科Helio P70、P90的手機(jī)都可以享受到AI焦點(diǎn)直播的魅力，下一步虎牙直播、斗魚直播、YY直播、抖音等都有希望會接入到聯(lián)發(fā)科P90的解決方案中，甚至未來微信視頻、QQ視頻，乃至廠商自家開發(fā)的在線視頻串流功能都同樣可以實(shí)現(xiàn)AI焦點(diǎn)直播的效果。

AI焦點(diǎn)直播的背后，強(qiáng)大的APU 2.0提供算力支持

很多用戶持疑，其他芯片不能實(shí)現(xiàn)AI焦點(diǎn)直播功能嗎?其實(shí)AI焦點(diǎn)直播的背后是強(qiáng)大的AI算力需求，傳統(tǒng)的CPU運(yùn)算能力和GPU圖形編碼能力不足以支撐這種新型的視頻直播方案。

傳統(tǒng)移動終端負(fù)責(zé)視頻解碼的硬件主要由CPU+GPU+DSP這三大部分來完成，其中DSP負(fù)責(zé)的稱之為硬解碼，而CPU則作為輔助軟解碼運(yùn)算。但是他們的缺點(diǎn)都十分明顯，DSP作為硬解碼方案，算法已經(jīng)完全固定下來(部分可以通過固件更新)，所以只能解碼它所支持的，如果對編碼處理不同有可能就無法解碼成功，進(jìn)而導(dǎo)致直播過程中產(chǎn)生花屏卡頓甚至綠屏的情況出現(xiàn)。 而CPU軟解碼對于算法的擴(kuò)展能力雖然比DSP強(qiáng)，但是其本本身就是耗電大戶，隨著直播清晰度的提升，做高強(qiáng)度的軟解將大量的消耗終就不寬裕的電力資源，這對于移動終端來說是致命的缺陷。

目前聯(lián)發(fā)科技P90的焦點(diǎn)直播技術(shù)則是基于APU 2.0模塊提供的強(qiáng)勁AI算力(根據(jù)跑分顯示，P90的AI算力已經(jīng)超越高通855)，通過攝像頭捕捉到的人物頭面部畫面，APU將該區(qū)域在系統(tǒng)內(nèi)做特殊標(biāo)注，分析影片中的紋理、邊緣鋸齒、顏色等信息，主動定義可能含有面部特征的ROI區(qū)域(Region Of Interest, 感興趣區(qū)域)，針對這些區(qū)域每秒可實(shí)現(xiàn)上億次運(yùn)算，最終能帶來精準(zhǔn)的焦點(diǎn)鎖定與優(yōu)化，實(shí)現(xiàn)碼率與視頻壓縮質(zhì)量的提升。

借助于AI算力，聯(lián)發(fā)科P90對噪點(diǎn)的控制會比傳統(tǒng)的CPU和DSP方案有更好的效果。而更重要的一點(diǎn)在于AI引擎的運(yùn)作大大降低了CPU和DSP運(yùn)作的強(qiáng)度，對于電力敏感的移動終端來說，極大的提升的續(xù)航能力，進(jìn)一步提升直播中的用戶體驗(yàn)。

整體來看，聯(lián)發(fā)科P90的AI焦點(diǎn)直播確實(shí)是切中了直播業(yè)平臺和用戶的痛點(diǎn)。在全民直播的時(shí)代，高清畫質(zhì)輸出意味著平臺方需要不斷加大帶寬成本的投入，對于不少中小型平臺來說是相當(dāng)難以承受的開支，而Helio P90將原先只能在B端(平臺方)尋求解決方案的問題，轉(zhuǎn)而通過C端(用戶方)設(shè)備進(jìn)行強(qiáng)力的輔助和優(yōu)化，對于促進(jìn)直播產(chǎn)業(yè)的發(fā)展和效率提升也有著相當(dāng)大的幫助作用。

據(jù)悉搭載聯(lián)發(fā)科P90的智能手機(jī)將在2019年第一季度上市，屆時(shí)將刷新智能手機(jī)在直播上的體驗(yàn)。得益于幾代產(chǎn)品在AI上的鋪墊，聯(lián)發(fā)科已經(jīng)把智能的觸角應(yīng)用到分類管理、物體識別、拍照相機(jī)、語音文字識別和SR高清分辨率領(lǐng)域，并串聯(lián)起包括智能手機(jī)、智能電視、物聯(lián)網(wǎng)設(shè)備等在內(nèi)的終端產(chǎn)品，不僅提高了用戶體檢，也定義了新高端的品牌定位，更提高了品牌價(jià)值，走出了不一樣的AI之路。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。