智能影像，從“芯”開始 ：紫光展銳“硬件+算法”打造超凡視聽體驗(yàn)

11月10日消息（林想）本周，以“象由芯生·科技服務(wù)人民”為主題的2020紫光展銳市場峰會重磅開啟，廣大生態(tài)合作伙伴共聚一堂，共話數(shù)字世界新未來。

在今天舉辦的“多媒體技術(shù)研討會”上，來自紫光展銳產(chǎn)業(yè)鏈的合作伙伴將分享有關(guān)多媒體發(fā)展趨勢、圖像優(yōu)化，手機(jī)拍照、AI與多媒體技術(shù)融合方面的最新技術(shù)及應(yīng)用。

智能影像，從“芯”開始

亞里士多德將人體的感官分為5種，即觸覺、嗅覺、味覺、聽覺和視覺。人類感知世界人類感知世界80%以上來自視覺。隨著技術(shù)的不斷發(fā)展，相機(jī)可以還原人眼，記錄更多的場景。

隨著手機(jī)終端的不斷演進(jìn)，在影響功能變得日漸強(qiáng)大，手機(jī)拍照已經(jīng)成為人們記錄生活的最佳方式之一。在手機(jī)拍照方面，ISP（圖像信號處理器）是拍照顏值擔(dān)當(dāng)、CPU、GPU是性能擔(dān)當(dāng)、NPU是智慧擔(dān)當(dāng)，Modem則是外交擔(dān)當(dāng)。

“ISP性能會直接影響到手機(jī)拍照、攝像水準(zhǔn)。”紫光展銳先進(jìn)多媒體實(shí)驗(yàn)室主任趙磊表示，移動端設(shè)備從本世紀(jì)初開始逐漸興起，其拍照功能也是愈發(fā)完善。 在 2010 年后，手機(jī)拍照迎來了技術(shù)發(fā)展的一次爆發(fā)。在這一過程中，智能手機(jī)強(qiáng)大的硬件為手機(jī)中內(nèi)置的ISP系統(tǒng)提供了巨大支持。

但I(xiàn)SP并不是萬能的，AI技術(shù)的迅猛發(fā)展給相機(jī)帶來了新的機(jī)遇，于是人工智能被廣泛應(yīng)用到智能影像。從目前來看，AI引入到智能影響可以分為三個(gè)階段：

階段一，圖像理解->高層視覺（high level vision），對圖像分析得到場景的語義表示，具有人眼和人腦的能力；階段二，圖像分析->中層視覺（middle level vision），對圖像的內(nèi)容進(jìn)行分析，提取有意義的特征，便于后續(xù)更高層的處理；階段三：圖像處理->低層視覺（low level vision），對輸入的圖像做某種變換，輸出仍然是圖像，基本不涉及或者很少涉及圖像內(nèi)容的分析。

現(xiàn)在圖像處理技術(shù)已經(jīng)全面AI化了。那么手機(jī)上又將如何用AI呢？

對此，趙磊指出，借助CPU/NPU/DSP/GPU的計(jì)算能力，ISP芯片告別裸奔走向組合模式。據(jù)悉，紫光展銳推出的UNISOC T7520芯片組，在降低功耗的同時(shí)實(shí)現(xiàn)了優(yōu)化的5G體驗(yàn)，而且通過大幅增強(qiáng)的AI計(jì)算和多媒體成像處理能力，大幅提升用戶的手機(jī)拍照體驗(yàn)。

硬件+強(qiáng)大算法成就超凡影像

數(shù)據(jù)顯示，2014-2019年全球平均每部手機(jī)攝像頭數(shù)量逐年增長，2019年的手機(jī)機(jī)型里面高攝頭大部分都已經(jīng)大于3。多攝給手機(jī)用戶提供了很多酷炫的拍照功能，比如說景深虛化以及前攝的自拍，同時(shí)還有超廣角、超微距、這都是手機(jī)廠商重點(diǎn)宣傳的功能。

“Bokeh可以實(shí)現(xiàn)單反大光圈效果，非焦點(diǎn)部分產(chǎn)生模糊的美學(xué)質(zhì)量。”紫光展銳游瑞榮表示，手機(jī)實(shí)現(xiàn)Bokeh有單攝、多攝、深度相機(jī)三種解決方案。目前的Bokeh解決方案在深度計(jì)算和虛化算法存在難點(diǎn)。為此，紫光展銳加入硬件特性和AI來提升整個(gè)算法效果。

游瑞榮指出，與競品相比，紫光展銳虎賁T618在Bokeh算法方面，AI加速性能更優(yōu)，功耗也更低。未來的發(fā)展一定是AI芯片算力能力越來越強(qiáng)，同時(shí)結(jié)合硬件的性能，讓整個(gè)系統(tǒng)發(fā)揮更大的作用，更好地提升拍照質(zhì)量。

“暗光對手機(jī)成像帶來極大挑戰(zhàn)，增大傳感器尺寸，延長曝光時(shí)間、外加光源和更換color filter并不能完全解決這一痛點(diǎn)。”紫光展銳王微指出，在去噪算法方面，傳統(tǒng)與AI方式各有利弊。AI去噪幾乎不需要調(diào)參，能較好的兼顧噪聲去除與細(xì)節(jié)保留，覆蓋場景廣，能較好的應(yīng)對復(fù)雜場景，但對手機(jī)性能要求高，效果不可控。

王微強(qiáng)調(diào)，要想真正提升暗光拍照的成像質(zhì)量，需要不錯(cuò)的硬件加上強(qiáng)大的算法，以AI ISP軟硬協(xié)同設(shè)計(jì)，AI端側(cè)計(jì)算能力支持為基礎(chǔ)，才能成就世界領(lǐng)先的拍照成像質(zhì)量。

為了承載不斷增長的手機(jī)攝像技術(shù)和生態(tài)產(chǎn)品發(fā)展需求，多媒體開發(fā)平臺必須具備高像素拍照能力、高幀率視頻能力，單幀處理能力、降噪和融合這些基礎(chǔ)能力。作為數(shù)據(jù)的提供方，多媒體開發(fā)平臺還需要有數(shù)據(jù)提供能力，以便于后續(xù)的算法包括AI的AR、VR等等算法在這個(gè)平臺上進(jìn)行二次開發(fā)。

據(jù)紫光展銳孫長斗介紹，目前，紫光展銳平臺在靠性、可擴(kuò)展性，接口標(biāo)準(zhǔn)化方面多下功夫，以實(shí)現(xiàn)多產(chǎn)品、多生態(tài)支持能力，目前已實(shí)現(xiàn)8種人像光效、10倍變焦、360度環(huán)視和手勢控制，并已應(yīng)用到在各個(gè)場景中。

多種視頻解碼和顯示，打造極致視覺體現(xiàn)

除了打造高質(zhì)量影像之外，如何提升用戶視覺體驗(yàn)，紫光展銳引入了多種視頻解碼和顯示技術(shù)，HDR技術(shù)就是其中之一，它可以極大的提升動態(tài)范圍和色域，帶來極其震撼的主觀體驗(yàn)。

通過攝像頭來采集真實(shí)世界的畫面，再經(jīng)過后期的處理，最后還要經(jīng)過視頻的編碼，通過網(wǎng)絡(luò)的傳輸或者存儲器的攜帶，放到我們終端顯示器上面去，通過終端顯示的解碼再成像出來。羅小偉指出，這里面的采集以及編碼都會帶來信息的損失。

紫光展銳羅小偉指出，評價(jià)一個(gè)視頻或者圖像的好壞其實(shí)有很多的維度，比如分辨率、幀率、動態(tài)范圍、顏色范圍等，HDR 視頻就是從這幾個(gè)維度提高視頻質(zhì)量，所以HDR視頻必須要遵循一些規(guī)范。

SMPTE提出了三個(gè)標(biāo)準(zhǔn)，分別對EOTF曲線和靜態(tài)元數(shù)據(jù)、動態(tài)元數(shù)據(jù)進(jìn)行了定義；ITU-T對于UNDTV系統(tǒng)以及HDR的技術(shù)中使用的色域進(jìn)行了定義，對HDR對HDR電視分發(fā)系統(tǒng)的性能做出了規(guī)定；CTA對 HDR 顯示設(shè)備的最低標(biāo)準(zhǔn)做了限制：包含至少一個(gè)HDR信號接口，能夠接受并處理 HDR 靜態(tài)元數(shù)據(jù)，在顯示圖像之前能夠使用合適的EOTF曲線對媒體文件進(jìn)行處理。

羅小偉指出，紫光展銳開發(fā)的顯示增強(qiáng)技術(shù)，通過運(yùn)用色域轉(zhuǎn)換、色調(diào)映射和動態(tài)對比度增強(qiáng)技術(shù)，將高動態(tài)、高位深和廣色域的HDR視頻轉(zhuǎn)換成適合在SDR屏幕上播放的畫面。在SDR屏幕上充分還原HDR視頻精美的畫面質(zhì)量和絢麗的色彩表現(xiàn)。

據(jù)悉，紫光展銳支持多種視頻的解碼和顯示，展銳新一代SoC虎賁T7520支持目前應(yīng)用廣泛的HLG和HDR10/10+等格式，給用戶帶來HDR視頻的極致視覺體驗(yàn)。

智能音頻無限未來，展銳之聲與你共鳴

除了視覺之外，智能音頻的需求也日趨高漲。

紫光展銳葉順舟指出，目前，ANC主動降噪普及度遠(yuǎn)遠(yuǎn)沒有達(dá)到業(yè)界預(yù)期，為了讓ANC飛入尋常百姓家，紫光展銳在芯片集成前饋A（z）、反饋C（z）系數(shù)自適應(yīng)算法，穩(wěn)定性高，擁有核心專利；產(chǎn)線校準(zhǔn)開啟自適應(yīng)模式，得到單體最優(yōu)系數(shù)，提高一致性容忍度，良率提升，成本降低，下游客戶與消費(fèi)者獲利。

紫光展銳的ANC自適應(yīng)校準(zhǔn)流程，整個(gè)過程與設(shè)備儀表配合，一鍵完成，無需人為參與；濾波器收斂可靠時(shí)間15~30s，步驟2、3實(shí)驗(yàn)可簡化，過程更高效；針對不同場景的降噪需求，可在測試環(huán)境中播放不同的場景噪聲，得到各場景下的最優(yōu)系數(shù)并存儲。

在ANC行業(yè)缺陷改進(jìn)探索方面，紫光展銳三方發(fā)力：風(fēng)噪爆破音前饋通道引入，通過耳內(nèi)/外麥克信號統(tǒng)計(jì)特性進(jìn)行風(fēng)噪檢測，控制前饋增益；咀嚼爆破音反饋通道引入，通過耳內(nèi)/外麥克信號強(qiáng)度進(jìn)行自體振動檢測，控制反饋增益；底噪增大ADC通道主要貢獻(xiàn)，提高ADC量化精度，提高SNR（伴隨功耗提升），增加安靜模式檢測，控制ADC增益。

ANC解決自己聽的問題，ENC則解決對方聽的問題。據(jù)葉順舟介紹，紫光展銳ENC技術(shù)自適應(yīng)beamforming定向拾音技術(shù)，三級降噪設(shè)計(jì)，對不同噪聲分類處理，解決mic數(shù)量、尺寸限制下的指向性問題。在指向性可針對應(yīng)用需求在+/-30度范圍內(nèi)調(diào)整；支持1.5-3cm麥克間距設(shè)計(jì)；并單獨(dú)針對風(fēng)噪統(tǒng)計(jì)特性，設(shè)計(jì)了基于雙麥的風(fēng)噪抑制算法。

此外，葉順舟強(qiáng)調(diào)，目前ENC融合新技術(shù)呈現(xiàn)四大發(fā)展趨勢值得關(guān)注：Beamforming存在mic間距要求，適用于桿式耳機(jī)，豆式結(jié)構(gòu)難以應(yīng)用，其次強(qiáng)風(fēng)噪，極低SNR下性能有限；AI降噪在單麥產(chǎn)品有廣泛的應(yīng)用前景，對如風(fēng)噪的特定噪聲處理效果理想，但NN模型的小資源需求（100KB以內(nèi)）與其泛化性能存在矛盾；耳內(nèi)三麥與ANC系統(tǒng)完全復(fù)用麥克，解決強(qiáng)風(fēng)噪與配戴角度問題，但信號融合帶來的不自然感丞待解決，且依賴入耳式設(shè)計(jì)；骨傳導(dǎo)與耳內(nèi)三麥原理類似，信號更穩(wěn)定，可應(yīng)用于半入耳式設(shè)計(jì)，缺點(diǎn)是成本過高，且同樣面臨信號整合問題。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。