炬芯科技周正宇:Actions Intelligence 端側(cè)AI音頻芯未來(lái)

ChatGPT激發(fā)了人們的好奇心也打開了人們的想象力,伴隨著生成式AI(Generative AI)以史無(wú)前例的速度被廣泛采用,AI算力的需求激增。與傳統(tǒng)計(jì)算發(fā)展路徑類似,想讓AI普及且發(fā)掘出AI的全部潛力,AI計(jì)算必須合理的分配在云端服務(wù)器和端側(cè)裝置(如PC,手機(jī),汽車, IoT裝置),而不是讓云端承載所有的AI負(fù)荷。這種云端和端側(cè)AI協(xié)同作戰(zhàn)的架構(gòu)被稱為混合AI(Hybrid AI),將提供更強(qiáng)大,更有效和更優(yōu)化的AI。換句話說(shuō),要讓AI真正觸手可及,深入日常生活中的各種場(chǎng)景,離不開端側(cè)AI的落地。

端側(cè)AI將機(jī)器學(xué)習(xí)帶入每一個(gè)IoT設(shè)備,減少對(duì)云端算力的依賴,可在無(wú)網(wǎng)絡(luò)連接或者網(wǎng)絡(luò)擁擠的情況下,提供低延遲AI體驗(yàn)、還具備低功耗,高數(shù)據(jù)隱私性和個(gè)性化等顯著優(yōu)勢(shì)。AIoT的一個(gè)最重要載體是電池驅(qū)動(dòng)的超低功耗小型IoT設(shè)備,其數(shù)量龐大且應(yīng)用豐富,在新一代AI的浪潮中,端側(cè)AI是實(shí)現(xiàn)人工智能無(wú)處不在的關(guān)鍵,而為電池驅(qū)動(dòng)的低功耗IoT裝置賦能AI又是讓端側(cè)AI變?yōu)楝F(xiàn)實(shí)的關(guān)鍵。

2024年11月5日,炬芯科技股份有限公司董事長(zhǎng)兼CEO周正宇博士受邀出席Aspencore2024全球CEO峰會(huì),結(jié)合AI時(shí)代熱潮及端側(cè)AI所帶來(lái)的新一代AI趨勢(shì),分享炬芯科技在低功耗端側(cè)AI音頻的創(chuàng)新技術(shù)及重磅產(chǎn)品,發(fā)表主題演講:《Actions Intelligence: 端側(cè)AI音頻芯未來(lái)》。

周正宇博士表示:在從端側(cè)AI到生成式AI的廣泛應(yīng)用中,不同的AI應(yīng)用對(duì)算力資源需求差異顯著,而許多端側(cè)AI應(yīng)用是專項(xiàng)應(yīng)用, 并不需要大模型和大算力。 尤其是以語(yǔ)音交互,音頻處理,預(yù)測(cè)性維護(hù),健康監(jiān)測(cè)等為代表的AIoT領(lǐng)域。

炬芯科技目標(biāo)是在電池驅(qū)動(dòng)的中小模型機(jī)器學(xué)習(xí)IoT設(shè)備上實(shí)現(xiàn)高能效的AI算力

在便攜式產(chǎn)品和可穿戴產(chǎn)品等電池驅(qū)動(dòng)的IoT設(shè)備中,炬芯科技致力于在毫瓦級(jí)功耗下實(shí)現(xiàn)TOPS級(jí)別的AI算力,以滿足IoT設(shè)備對(duì)低功耗、高能效的需求。以穿戴產(chǎn)品(耳機(jī)和手表)為例, 平均功耗在10mW-30mW之間, 存儲(chǔ)空間在10MB以下,這框定了低功耗端側(cè)AI,尤其是可穿戴設(shè)備的資源預(yù)算。

周正宇博士指出”Actions Intelligence”是針對(duì)電池驅(qū)動(dòng)的端側(cè)AI落地提出的戰(zhàn)略,將聚焦于模型規(guī)模在一千萬(wàn)參數(shù)(10M)以下的電池驅(qū)動(dòng)的低功耗音頻端側(cè)AI應(yīng)用,致力于為低功耗AIoT裝置打造在10mW-100mW之間的功耗下提供0.1-1TOPS的通用AI算力。也就是說(shuō)”Actions Intelligence“將挑戰(zhàn)目標(biāo)10TOPS/W-100TOPS/W的AI算力能效比。根據(jù)ABI Research預(yù)測(cè),端側(cè)AI市場(chǎng)正在快速增長(zhǎng),預(yù)計(jì)到2028年,基于中小型模型的端側(cè)AI設(shè)備將達(dá)到40億臺(tái),年復(fù)合增長(zhǎng)率為32%。到2030年,預(yù)計(jì)75%的這類AIoT設(shè)備將采用高能效比的專用硬件。

現(xiàn)有的通用CPU和DSP解決方案雖然有非常好的算法彈性,但是算力和能效遠(yuǎn)遠(yuǎn)達(dá)不成以上目標(biāo),依據(jù)ARM和Cadence的公開資料,同樣使用28/22nm工藝,ARM A7 CPU 運(yùn)行頻率1.2GHz時(shí)可獲取0.01TOPS的理論算力,需要耗電100mW,即理想情況下的能效比僅為0.1TOPS/W;HiFi4 DSP運(yùn)行600MHz時(shí)可獲取0.01TOPS的理論算力,需要耗電40mW,即理想情況下的能效比0.25TOPS/W。即便專用神經(jīng)網(wǎng)路加速器(NPU)的IP ARM周易能效比大幅提升,但也僅為2TOPS/W。

以上傳統(tǒng)技術(shù)的能效比較差的本質(zhì)原因均源于傳統(tǒng)的馮•諾依曼計(jì)算結(jié)構(gòu)。傳統(tǒng)的馮•諾伊曼計(jì)算系統(tǒng)采用存儲(chǔ)和運(yùn)算分離的架構(gòu),存在“存儲(chǔ)墻”與“功耗墻”瓶頸,嚴(yán)重制約系統(tǒng)算力和能效的提升。

在馮•諾伊曼架構(gòu)中,計(jì)算單元要先從內(nèi)存中讀取數(shù)據(jù),計(jì)算完成后,再存回內(nèi)存。隨著半導(dǎo)體產(chǎn)業(yè)的發(fā)展和需求的差異,處理器和存儲(chǔ)器二者之間走向了不同的工藝路線。由于工藝、封裝、需求的不同,存儲(chǔ)器數(shù)據(jù)訪問(wèn)速度跟不上處理器的數(shù)據(jù)處理速度,數(shù)據(jù)傳輸就像處在一個(gè)巨大的漏斗之中,不管處理器灌進(jìn)去多少,存儲(chǔ)器都只能“細(xì)水長(zhǎng)流”。兩者之間數(shù)據(jù)交換通路窄以及由此引發(fā)的高能耗兩大難題,在存儲(chǔ)與運(yùn)算之間筑起了一道“存儲(chǔ)墻”。

此外,在傳統(tǒng)架構(gòu)下,數(shù)據(jù)從內(nèi)存單元傳輸?shù)接?jì)算單元需要的功耗是計(jì)算本身的許多倍,因此真正用于計(jì)算的能耗和時(shí)間占比很低,數(shù)據(jù)在存儲(chǔ)器與處理器之間的頻繁遷移帶來(lái)嚴(yán)重的傳輸功耗問(wèn)題,稱為“功耗墻”。

基于SRAM的存內(nèi)計(jì)算是目前低功耗端側(cè)AI的最佳解決方案

周正宇博士表示:弱化或消除”存儲(chǔ)墻”及”功耗墻”問(wèn)題的方法是采用存內(nèi)計(jì)算Computing-in-Memory(CIM)結(jié)構(gòu)。其核心思想是將部分或全部的計(jì)算移到存儲(chǔ)中,讓存儲(chǔ)單元具有計(jì)算能力,數(shù)據(jù)不需要單獨(dú)的運(yùn)算部件來(lái)完成計(jì)算,而是在存儲(chǔ)單元中完成存儲(chǔ)和計(jì)算,消除了數(shù)據(jù)訪存延遲和功耗,是一種真正意義上的存儲(chǔ)與計(jì)算融合。同時(shí),由于計(jì)算完全依賴于存儲(chǔ),因此可以開發(fā)更細(xì)粒度的并行性,大幅提升性能尤其是能效比。

機(jī)器學(xué)習(xí)的算法基礎(chǔ)是大量的矩陣運(yùn)算,適合分布式并行處理的運(yùn)算,存內(nèi)計(jì)算非常適用于人工智能應(yīng)用。

要在存儲(chǔ)上做計(jì)算,存儲(chǔ)介質(zhì)的選擇是成本關(guān)鍵。單芯片為王,炬芯的目標(biāo)是將低功耗端側(cè)AI的計(jì)算能力和其他SoC的模塊集成于一顆芯片中,于是使用特殊工藝的DDR RAM和Flash無(wú)法在考慮范圍內(nèi)。而采用標(biāo)準(zhǔn)SoC適用的CMOS工藝中的SRAM和新興NVRAM(如RRAM或者M(jìn)RAM)進(jìn)入視野。SRAM工藝非常成熟,且可以伴隨著先進(jìn)工藝升級(jí)同步升級(jí),讀寫速度快、能效比高,并可以無(wú)限多次讀寫。唯一缺陷是存儲(chǔ)密度較低,但對(duì)于絕大多數(shù)端側(cè)AI的算力需求,該缺陷不會(huì)成為阻力。短期內(nèi),SRAM是在低功耗端側(cè)AI設(shè)備上打造高能效比的最佳技術(shù)路徑,且可以快速落地,沒有量產(chǎn)風(fēng)險(xiǎn)。

長(zhǎng)期來(lái)看,新興NVRAM 如RRAM由于密度高于SRAM,讀功耗低,也可以集成入SoC,給存內(nèi)計(jì)算架構(gòu)提供了想象空間。但是RRAM工藝尚不成熟,大規(guī)模量產(chǎn)依然有一定風(fēng)險(xiǎn),制程最先進(jìn)只能到22nm,且存在寫次數(shù)有限的致命傷(超過(guò)會(huì)永久性損壞)。故周正宇博士預(yù)期未來(lái)當(dāng)RRAM技術(shù)成熟以后,SRAM 跟RRAM的混合技術(shù)有機(jī)會(huì)成為最佳技術(shù)路徑,需要經(jīng)常寫的AI計(jì)算可以基于SRAM的CIM實(shí)現(xiàn),不經(jīng)常或者有限次數(shù)寫的AI計(jì)算由RRAM的CIM實(shí)現(xiàn),基于這種混合技術(shù)有望實(shí)現(xiàn)更大算力和更高的能效比。

炬芯科技創(chuàng)新性采用模數(shù)混合設(shè)計(jì)實(shí)現(xiàn)基于SRAM的存內(nèi)計(jì)算(CIM)

業(yè)界公開的基于SRAM的CIM電路有兩種主流的實(shí)現(xiàn)方法,一是在SRAM盡量近的地方用數(shù)字電路實(shí)現(xiàn)計(jì)算功能, 由于計(jì)算單元并未真正進(jìn)入SRAM陣列,本質(zhì)上這只能算是近存技術(shù)。另一種思路是在SRAM介質(zhì)里面利用一些模擬器件的特性進(jìn)行模擬計(jì)算,這種技術(shù)路徑雖然實(shí)現(xiàn)了真實(shí)的CIM,但缺點(diǎn)也很明顯。一方面模擬計(jì)算的精度有損失,一致性和可量產(chǎn)性完全無(wú)法保證,同一顆芯片在不同的時(shí)間不同的環(huán)境下無(wú)法確保同樣的輸出結(jié)果。另一方面它又必須基于ADC和DAC來(lái)完成基于模擬計(jì)算的CIM和其他數(shù)字模塊之間的信息交互, 整體數(shù)據(jù)流安排以及界面交互設(shè)計(jì)限制多,不容易提升運(yùn)行效率。

炬芯科技創(chuàng)新性的采用了基于模數(shù)混合設(shè)計(jì)的電路實(shí)現(xiàn)CIM,在SRAM介質(zhì)內(nèi)用客制化的模擬設(shè)計(jì)實(shí)現(xiàn)數(shù)字計(jì)算電路,既實(shí)現(xiàn)了真正的CIM,又保證了計(jì)算精度和量產(chǎn)一致性。

周正宇博士認(rèn)為,炬芯科技選擇基于模數(shù)混合電路的SRAM存內(nèi)計(jì)算(Mixed-Mode SRAM based CIM,簡(jiǎn)稱MMSCIM)的技術(shù)路徑,具有以下幾點(diǎn)顯著的優(yōu)勢(shì):

第一,比純數(shù)字實(shí)現(xiàn)的能效比更高,并幾乎等同于純模擬實(shí)現(xiàn)的能效比;

第二,無(wú)需ADC/DAC, 數(shù)字實(shí)現(xiàn)的精度,高可靠性和量產(chǎn)一致性,這是數(shù)字化天生的優(yōu)勢(shì);

第三,易于工藝升級(jí)和不同F(xiàn)AB間的設(shè)計(jì)轉(zhuǎn)換;

第四,容易提升速度,進(jìn)行性能/功耗/面積(PPA)的優(yōu)化;

第五,自適應(yīng)稀疏矩陣,進(jìn)一步節(jié)省功耗,提升能效比。

而對(duì)于高質(zhì)量的音頻處理和語(yǔ)音應(yīng)用,MMSCIM是最佳的未來(lái)低功耗端側(cè)AI音頻技術(shù)架構(gòu)。由于減少了在內(nèi)存和存儲(chǔ)之間數(shù)據(jù)傳輸?shù)男枨螅梢源蠓档脱舆t,顯著提升性能,有效減少功耗和熱量產(chǎn)生。對(duì)于要在追求極致能效比電池供電IoT設(shè)備上賦能AI,在每毫瓦下打造盡可能多的 AI 算力,炬芯科技采用的MMSCIM技術(shù)是真正實(shí)現(xiàn)端側(cè)AI落地的最佳解決方案。

周正宇博士首次公布了炬芯科技MMSCIM路線規(guī)劃,從路線圖中顯示:

1、炬芯第一代(GEN1)MMSCIM已經(jīng)在2024年落地, GEN1 MMSCIM采用22 納米制程,每一個(gè)核可以提供100 GOPS的算力,能效比高達(dá)6.4 TOPS/W @INT8;

2、到 2025 年,炬芯科技將推出第二代(GEN2)MMSCIM,GEN2 MMSCIM采用22 納米制程,性能將相較第一代提高三倍,每個(gè)核提供300GOPS算力,直接支持Transformer模型,能效比也提高到7.8TOPS/W @INT8;

3、到 2026 年,推出新制程12 納米的第三代(GEN3)MMSCIM,GEN3 MMSCIM每個(gè)核達(dá)到1 TOPS的高算力,支持Transformer,能效比進(jìn)一步提升至15.6TOPS/W @INT8。

以上每一代MMSCIM技術(shù)均可以通過(guò)多核疊加的方式來(lái)提升總算力,比如MMSCIM GEN2單核是300 GOPS算力,可以通過(guò)四個(gè)核組合來(lái)達(dá)到高于1TOPS的算力。

炬芯科技正式發(fā)布新一代基于MMSCIM端側(cè)AI音頻芯片

炬芯科技成功落地了第一代MMSCIM在500MHz時(shí)實(shí)現(xiàn)了0.1TOPS的算力,并且達(dá)成了6.4TOPS/W的能效比,受益于其對(duì)于稀疏矩陣的自適應(yīng)性,如果有合理稀疏性的模型(即一定比例參數(shù)為零時(shí)),能效比將進(jìn)一步得到提升,依稀疏性的程度能效比可達(dá)成甚至超過(guò)10TOPS/W?;诖撕诵募夹g(shù)的創(chuàng)新,炬芯科技打造出了下一代低功耗大算力、高能效比的端側(cè)AI音頻芯片平臺(tái)。

周正宇代表炬芯科技正式發(fā)布全新一代基于MMSCIM端側(cè)AI音頻芯片,共三個(gè)芯片系列:

1、第一個(gè)系列是 ATS323X,面向低延遲私有無(wú)線音頻領(lǐng)域;

2、第二個(gè)系列是ATS286X,面向藍(lán)牙AI音頻領(lǐng)域;

3、第三個(gè)系列是 ATS362X,面向AI DSP領(lǐng)域。

三個(gè)系列芯片均采用了CPU(ARM)+ DSP(HiFi5)+ NPU(MMSCIM)三核異構(gòu)的設(shè)計(jì)架構(gòu),炬芯的研發(fā)人員將MMSCIM和先進(jìn)的HiFi5 DSP融合設(shè)計(jì)形成了炬芯科技“Actions Intelligence NPU(AI-NPU)”架構(gòu),并通過(guò)協(xié)同計(jì)算,形成一個(gè)既高彈性又高能效比的NPU架構(gòu)。在這種AI-NPU架構(gòu)中MMSCIM支持基礎(chǔ)性通用AI算子,提供低功耗大算力。同時(shí),由于AI新模型新算子的不斷涌現(xiàn),MMSCIM沒覆蓋的新興特殊算子則由HiFi5 DSP來(lái)予以補(bǔ)充。

以上全部系列的端側(cè)AI芯片,均可支持片上1百萬(wàn)參數(shù)以內(nèi)的AI模型,且可以通過(guò)片外PSRAM擴(kuò)展到支持最大8百萬(wàn)參數(shù)的AI模型,同時(shí)炬芯科技為AI-NPU打造了專用AI開發(fā)工具“ANDT”,該工具支持業(yè)內(nèi)標(biāo)準(zhǔn)的AI開發(fā)流程如Tensorflow,HDF5,Pytorch和Onnx。同時(shí)它可自動(dòng)將給定AI算法合理拆分給CIM和HiFi5 DSP去執(zhí)行。 ANDT是打造炬芯低功耗端側(cè)音頻AI生態(tài)的重要武器。借助炬芯ANDT工具鏈輕松實(shí)現(xiàn)算法的融合,幫助開發(fā)者迅速地完成產(chǎn)品落地。

根據(jù)周正宇博士公布的第一代MMSCIM和HiFi5 DSP能效比實(shí)測(cè)結(jié)果的對(duì)比顯示:

當(dāng)炬芯科技GEN1 MMSCIM與HiFi5 DSP均以500MHz運(yùn)行同樣717K參數(shù)的Convolutional Neural Network(CNN)網(wǎng)路模型進(jìn)行環(huán)境降噪時(shí),MMSCIM相較于HiFi5 DSP可降低近98%功耗,能效比提升達(dá)44倍。而在測(cè)試使用935K 參數(shù)的CNN網(wǎng)路模型進(jìn)行語(yǔ)音識(shí)別時(shí),MMSCIM相較于HiFi5 DSP可降低93%功耗,能效比提升14倍。

另外,在測(cè)試使用更復(fù)雜的網(wǎng)路模型進(jìn)行環(huán)境降噪時(shí),運(yùn)行Deep Recurrent Neural Network模型時(shí),相較于HiFi5 DSP可降低89%功耗;運(yùn)行Convolutional Recurrent Neural Network模型時(shí),相較于HiFi5 DSP可降低88%功耗;運(yùn)算Convolutional Deep Recurrent Neural Network模型時(shí),相較于HiFi5 DSP可降低76%功耗。

最后,相同條件下在運(yùn)算某CNN-Con2D算子模型時(shí),GEN1 MMSCIM的實(shí)測(cè)AI算力可比HiFi5 DSP的實(shí)測(cè)算力高16.1倍。

綜上所述,炬芯科技此次推出的最新一代基于MMSCIM端側(cè)AI音頻芯片,對(duì)于產(chǎn)業(yè)的影響深遠(yuǎn),有望成為引領(lǐng)端側(cè)AI技術(shù)的新潮流。

炬芯科技Actions Intelligence助力AI生態(tài)快速發(fā)展

ChatGPT到Sora,文生文、文生圖、文生視頻、圖生文、視頻生文,各種不同的云端大模型不斷刷新人們對(duì)AI的預(yù)期。然而,AI發(fā)展之路依然漫長(zhǎng),從云到端將會(huì)是一個(gè)新的發(fā)展趨勢(shì),AI的世界即將開啟下半場(chǎng)。

以低延遲、個(gè)性服務(wù)和數(shù)據(jù)隱私保護(hù)等優(yōu)勢(shì),端側(cè)AI在IoT設(shè)備中扮演著越來(lái)越重要的角色,在制造、汽車、消費(fèi)品等多個(gè)行業(yè)中展現(xiàn)更多可能性?;赟RAM的模數(shù)混合CIM技術(shù)路徑,炬芯科技新產(chǎn)品的發(fā)布踏出了打造低功耗端側(cè) AI 算力的第一步,成功實(shí)現(xiàn)了在產(chǎn)品中整合 AI 加速引擎,推出CPU+ DSP + NPU 三核 AI 異構(gòu)的端側(cè)AI音頻芯片。

最后,周正宇博士衷心希望可以通過(guò)”Actions Intelligence”戰(zhàn)略讓AI真正的隨處可及。未來(lái),炬芯科技將繼續(xù)加大端側(cè)設(shè)備的邊緣算力研發(fā)投入,通過(guò)技術(shù)創(chuàng)新和產(chǎn)品迭代,實(shí)現(xiàn)算力和能效比進(jìn)一步躍遷,提供高能效比、高集成度、高性能和高安全性的端側(cè) AIoT 芯片產(chǎn)品,推動(dòng) AI 技術(shù)在端側(cè)設(shè)備上的融合應(yīng)用,助力端側(cè)AI生態(tài)健康、快速發(fā)展。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )