探析AI前沿技術(shù)加速應(yīng)用落地 展銳與行業(yè)共應(yīng)發(fā)展挑戰(zhàn)

9月16日消息 伴隨5G網(wǎng)絡(luò)在全球的大規(guī)模部署商用，人工智能（AI）等新興技術(shù)的落地開(kāi)始呈現(xiàn)加速態(tài)勢(shì)。不過(guò)，從一個(gè)理論概念到真正商用實(shí)現(xiàn)，AI還有許多問(wèn)題需要解決。無(wú)論是數(shù)據(jù)模型計(jì)算的準(zhǔn)確性，還是配合AI應(yīng)用的硬件平臺(tái)性能發(fā)揮，仍都處于初期探索階段。

在展銳于9月16日舉辦的“UP 2021展銳線上生態(tài)峰會(huì)”——AI前沿技術(shù)與研究論壇上，包括展銳內(nèi)部技術(shù)專家、學(xué)術(shù)機(jī)構(gòu)科研專家以及產(chǎn)業(yè)領(lǐng)域的創(chuàng)新企業(yè)領(lǐng)導(dǎo)者在內(nèi)的多名嘉賓針對(duì)AI前沿技術(shù)發(fā)表和分享了其研究成果，從模型自適應(yīng)優(yōu)化到深度學(xué)習(xí)，再到神經(jīng)網(wǎng)絡(luò)部署和AI訓(xùn)練平臺(tái)，精彩的內(nèi)容令我們對(duì)這些技術(shù)有了更深層次的了解和認(rèn)識(shí)。

展銳專家共話AI技術(shù) 從挑戰(zhàn)到實(shí)際應(yīng)用一個(gè)不落

在整個(gè)AI的應(yīng)用當(dāng)中，需要進(jìn)行高效的推擬，而高效的模型推理需要軟硬結(jié)合的結(jié)果。展銳瑪納斯技術(shù)實(shí)驗(yàn)室主任陳靜煒在其演講中指出，如何開(kāi)發(fā)出更加適合平臺(tái)的算法是當(dāng)今面臨的重要挑戰(zhàn)。

展銳瑪納斯技術(shù)實(shí)驗(yàn)室主任陳靜煒

針對(duì)此，展銳提出了一種面向硬件自適應(yīng)的模型優(yōu)化模式。具體來(lái)說(shuō)，就是以原始模型為基礎(chǔ)，僅嘗試面向硬件的結(jié)構(gòu)微調(diào)和模型壓縮方案，復(fù)雜度相對(duì)較低；這種模式支持不同的優(yōu)化策略，可以按照選擇精度優(yōu)先和數(shù)字優(yōu)先方式進(jìn)行搜索；同時(shí)，這種模式良好的擴(kuò)展性和自由度，可以增加或減少備選的精度表示，并且也可以增加其他優(yōu)化方案；此外還可以通過(guò)知識(shí)蒸餾降低中間結(jié)果評(píng)估時(shí)間，以及通過(guò)在線Profiling評(píng)估中間結(jié)果的性能和瓶頸位置。

展銳技術(shù)專家田立

展銳技術(shù)專家田立則對(duì)神經(jīng)網(wǎng)絡(luò)部署的發(fā)展現(xiàn)狀進(jìn)行了介紹，他表示目前存在多種網(wǎng)絡(luò)模型訓(xùn)練框架，同時(shí)模型算子不斷發(fā)展更新，并且有著不同的量化方式，同時(shí)硬件平臺(tái)存在著多樣性，因?yàn)樗惴ㄅc硬件之間的差異，導(dǎo)致有些模型在硬件上部署的時(shí)候效率并不是很高。

在這方面，展銳提出了NNMRT的方案，利用異構(gòu)硬件加速器，通過(guò)離線工具鏈對(duì)NN網(wǎng)絡(luò)進(jìn)行編譯優(yōu)化，在線微運(yùn)行時(shí)高效調(diào)度算子，提高AI算法部署到異構(gòu)平臺(tái)的性能。展銳團(tuán)隊(duì)通過(guò)集成有NPU和VDSP的T770平臺(tái)對(duì)這一模型進(jìn)行了驗(yàn)證，編譯器通過(guò)把部分算子部署到NPU上，部分算子部署到VDSP上，以此提高了模型部署的效率。

具體到實(shí)際的AI應(yīng)用方面，展銳的另外三位專家分別從基于神經(jīng)網(wǎng)絡(luò)的全場(chǎng)景拍照技術(shù)、基于深度學(xué)習(xí)的多目標(biāo)檢測(cè)與跟蹤和基于深度學(xué)習(xí)的語(yǔ)音增強(qiáng)技術(shù)做了詳細(xì)介紹。

展銳多媒體技術(shù)專家劉千順指出，當(dāng)前智能手機(jī)拍照面臨的挑戰(zhàn)包括硬件配置受限、動(dòng)態(tài)范圍差、環(huán)境照度低以及模糊和噪聲。為此，展銳開(kāi)發(fā)了一套基于神經(jīng)網(wǎng)絡(luò)的全場(chǎng)景的解決方案，包括智能曝光、多幀降噪和動(dòng)態(tài)范圍增強(qiáng)三大模塊。

展銳多媒體技術(shù)專家劉千順

以智能曝光模塊為例，其中包括運(yùn)動(dòng)模式判斷、曝光出幀策略和場(chǎng)景語(yǔ)義信息。該模塊會(huì)根據(jù)環(huán)境亮度、圖像直方圖統(tǒng)計(jì)、陀螺儀、加速度計(jì)以及人臉檢測(cè)結(jié)果，來(lái)綜合考慮，從而配置出最佳的方案。當(dāng)出幀之后，選定參考幀之后，會(huì)經(jīng)過(guò)場(chǎng)景語(yǔ)義分割模塊，生成天空、綠植、人像、建筑物等12類(lèi)語(yǔ)義mask+膚色mask。通過(guò)三大模塊的結(jié)合，可以大大提升手機(jī)拍照成像的質(zhì)量。

同時(shí)，在已經(jīng)廣泛應(yīng)用于智能安防與監(jiān)控、無(wú)人駕駛、機(jī)器人、人機(jī)交互、以及視頻分析等領(lǐng)域的多目標(biāo)檢測(cè)與跟蹤的技術(shù)方面，展銳技術(shù)專家龐磊則介紹了展銳所采用的基于深度學(xué)習(xí)的多目標(biāo)檢測(cè)與跟蹤算法：展銳在權(quán)衡了性能與效率之間的關(guān)系后，選擇了JED框架作為其跟蹤框架，也就是說(shuō)在同一個(gè)網(wǎng)絡(luò)中同時(shí)完成檢測(cè)和跟蹤。

展銳技術(shù)專家龐磊

同時(shí)，由于檢測(cè)性能對(duì)于多目標(biāo)跟蹤的性能是尤其關(guān)鍵的，展銳選擇了Anchor-based方法作為其檢測(cè)器框架，并且對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)等做了一系列優(yōu)化來(lái)保證檢測(cè)性能。在好的檢測(cè)結(jié)果基礎(chǔ)上還需要更好地進(jìn)行數(shù)據(jù)之間的關(guān)聯(lián)，在這方面展銳使用了運(yùn)動(dòng)信息結(jié)合外觀特征的形式，并且在外觀特征的網(wǎng)絡(luò)分支中加入了注意力模塊，從而強(qiáng)化外觀特征的學(xué)習(xí)。

此外，展銳多媒體技術(shù)專家董斐就基于深度學(xué)習(xí)的語(yǔ)音增強(qiáng)技術(shù)進(jìn)行了詳細(xì)介紹。董斐談到，智能終端常需要在多種使用場(chǎng)合進(jìn)行通話、音視頻會(huì)議、游戲語(yǔ)音，實(shí)際使用中大多數(shù)使用場(chǎng)合中都會(huì)受到噪聲、嘯叫、回聲等的干擾，導(dǎo)致語(yǔ)音受損，嚴(yán)重影響語(yǔ)音質(zhì)量。

展銳多媒體技術(shù)專家董斐

據(jù)介紹，以基于深度學(xué)習(xí)的方案為主，信號(hào)處理方案為輔，結(jié)合兩者所長(zhǎng)，是當(dāng)前智能終端語(yǔ)音增強(qiáng)的最優(yōu)解決方案。紫光展銳的語(yǔ)音增強(qiáng)技術(shù)則包括上下行處理通路，具備回聲消除、噪音抑制、回聲抑制、EQ濾波器、自動(dòng)增益、嘯叫抑制等功能。整個(gè)解決方案中最重要的是基于深度學(xué)習(xí)的算法模塊，其設(shè)計(jì)要滿足智能終端對(duì)語(yǔ)音增強(qiáng)算法的三項(xiàng)要求。除了抑制噪聲和嘯叫，深度學(xué)習(xí)在語(yǔ)音的其他技術(shù)方向的應(yīng)用也是未來(lái)的發(fā)展趨勢(shì)。

行業(yè)大咖解AI訓(xùn)練平臺(tái)與計(jì)算架構(gòu)難題

除了上述來(lái)自展銳自身的技術(shù)專家外，來(lái)自致力于為行業(yè)提供自動(dòng)化、平臺(tái)化的AI開(kāi)發(fā)服務(wù)的國(guó)內(nèi)AI領(lǐng)域初創(chuàng)企業(yè)共達(dá)地創(chuàng)新技術(shù)有限公司產(chǎn)品總監(jiān)劉榮杰，以及西安交通大學(xué)AI領(lǐng)域知名學(xué)者任鵬舉教授也分別就其所從事的研究進(jìn)行了主題分享。

共達(dá)地創(chuàng)新技術(shù)有限公司產(chǎn)品總監(jiān)劉榮杰

劉榮杰分析稱，目前AI實(shí)際落地的過(guò)程中仍存有許多障礙，核心問(wèn)題包括人員不可控、成本不可控、調(diào)參不可控、精度不可控以及部署不可控。而AutoML技術(shù)可以解決這些痛點(diǎn)，但當(dāng)前的主流方案仍存在一些問(wèn)題，首先是模型搜索效率低，難以應(yīng)用于工業(yè)規(guī)模的數(shù)據(jù)集，并且搜索過(guò)程不穩(wěn)定結(jié)果不可控，無(wú)法針對(duì)硬件芯片進(jìn)行定制。針對(duì)以上問(wèn)題，共達(dá)地的核心AI團(tuán)隊(duì)做了大量工作，最終真正實(shí)現(xiàn)了可落地的AutoML自動(dòng)化訓(xùn)練平臺(tái)。

據(jù)其介紹，這一AI自動(dòng)化訓(xùn)練平臺(tái)的總體架構(gòu)和優(yōu)勢(shì)體現(xiàn)在：低門(mén)檻——整個(gè)AI模型開(kāi)發(fā)流程自動(dòng)化，從而降低了AI落地的門(mén)檻；性能高——通過(guò)可落地的前沿算法實(shí)現(xiàn)高精度模型的生成；一鍵到端——通過(guò)與主流芯片的深度支持，實(shí)現(xiàn)模型一鍵下發(fā)至終端簡(jiǎn)化整體模型部署流程；定制無(wú)憂——每個(gè)模型都是根據(jù)場(chǎng)景定制化搜索生成最優(yōu)模型，不再需要人工設(shè)計(jì)高效低成本；高效低成本——一次訓(xùn)練即達(dá)最優(yōu)，免去人類(lèi)專家多次嘗試多次調(diào)整，效率提升80%以上，開(kāi)發(fā)成本降低95%以上。

在此次論壇上，西安交通大學(xué)任鵬舉教授以《面向自主智能體的高效計(jì)算架構(gòu)思考》發(fā)表了演講。他表示，以智能邊緣，計(jì)算機(jī)視覺(jué)，自動(dòng)控制等創(chuàng)新技術(shù)作為支撐的自主移動(dòng)智能體，在以無(wú)人駕駛為代表的交通領(lǐng)域和以AGV為代表的物流領(lǐng)域?qū)?huì)有廣泛的應(yīng)用。不過(guò)，這些自主移動(dòng)智能體在解放生產(chǎn)力的同時(shí)，對(duì)計(jì)算架構(gòu)也提出了新的設(shè)計(jì)要求。

西安交通大學(xué)任鵬舉教授

他認(rèn)為，面向自主智能體感知與協(xié)作的計(jì)算架構(gòu)，應(yīng)滿足多種不同功能自主智能體及其應(yīng)用場(chǎng)景的信息處理需求。相比于市面上現(xiàn)有的計(jì)算架構(gòu)： x86工控機(jī)、嵌入式GPU（NvidiaTX2）、ARM+FPGA等方案，具有更好的適應(yīng)能力、任務(wù)重構(gòu)能力、靈活性和升級(jí)能力。其主要特點(diǎn)體現(xiàn)在：LEGO式模塊級(jí)拼接融合的工作模式（即插即用）；高通量的多傳感器實(shí)時(shí)信息融合處理（高通量、低延遲）；數(shù)據(jù)流控制流相融合的高效處理方式（異構(gòu)計(jì)算）；可擴(kuò)展的分布式智能體協(xié)同調(diào)度機(jī)制（高效協(xié)同）。

任鵬舉教授表示，其所在的課題組在今年4月份完成了一款多核AI芯片處理器——HIPU20的設(shè)計(jì)。該芯片采用28納米工藝，擁有13個(gè)計(jì)算核心，外加兩個(gè)DDR控制器和一個(gè)PCIe，構(gòu)成了4×4的2Dmesh的多核結(jié)構(gòu)。其團(tuán)隊(duì)將HIPU200芯片完成了在無(wú)人駕駛車(chē)的應(yīng)用驗(yàn)證，經(jīng)過(guò)第三方權(quán)威測(cè)試機(jī)構(gòu)評(píng)測(cè)，搭載該芯片的計(jì)算卡可原位替換英偉達(dá)GPU顯卡，運(yùn)行相同神經(jīng)網(wǎng)絡(luò)時(shí)，HiPU200的處理速度是RTX2080Ti GPGPU的7.7-35倍，能效比是其的15-30倍。算力優(yōu)于國(guó)際知名公司Mobileye的 EyeQ4芯片，與地平線征程5處理器相當(dāng)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。