Transformer大模型在邊緣側(cè)落地可行嗎？愛芯元智AX650N表示無壓力

5月30日消息，ChatGPT成為史上增長最快的消費(fèi)類應(yīng)用。這背后，是ChatGPT代表的高階人工智能表現(xiàn)對(duì)人們的沖擊。

ChatGPT使用的Transformer架構(gòu)是以自監(jiān)督的方式預(yù)訓(xùn)練的，作為基于GPT（Generative Pre-trained Transformer）預(yù)訓(xùn)練語言模型的消費(fèi)類產(chǎn)品，ChatGPT的成功也讓技術(shù)圈看到了Transformer的巨大潛力。

越來越多AI研究領(lǐng)域（例如，CV（計(jì)算機(jī)視覺）領(lǐng)域）開始把自監(jiān)督方式預(yù)訓(xùn)練的Transformer用在各大應(yīng)用場景，以期待產(chǎn)生類似ChatGPT的智能涌現(xiàn)。

然而Transformer模型往往需要巨大量的參數(shù)，才能出現(xiàn)所謂的“智能涌現(xiàn)”。因此，目前較為成功的GPT模型，大都是在“云端”進(jìn)行訓(xùn)練和落地。

但是可以預(yù)見的是，未來要想讓GPT模型應(yīng)用產(chǎn)品在消費(fèi)級(jí)市場有廣泛應(yīng)用和發(fā)展，解決在端側(cè)、邊緣側(cè)高效部署Transformer將是關(guān)鍵一環(huán)。

專注研究人工智能視覺感知芯片的愛芯元智技術(shù)團(tuán)隊(duì)敏銳的看到了這一市場機(jī)會(huì)，對(duì)其第三代高算力、高能效比的SoC芯片——AX650N進(jìn)行了優(yōu)化，經(jīng)測試，優(yōu)化后的AX650N已成為業(yè)內(nèi)首屈一指的Transformer端側(cè)、邊緣側(cè)落地平臺(tái)。

這也就意味著，對(duì)于那些有在端側(cè)、邊緣側(cè)部署Transformer模型以提升圖形圖像識(shí)別精度的企業(yè)（比如機(jī)器人、自動(dòng)駕駛企業(yè)等）來說，現(xiàn)在，借助AX650N就能實(shí)現(xiàn)Transformer模型落地、提升其視覺能力。

承載Transformer大模型 AX650N表現(xiàn)如何？

相比于在云端用GPU部署Transformer大模型，在邊緣側(cè)、端側(cè)部署Transformer最大的挑戰(zhàn)則來自功耗。

AX650N是愛芯元智于2023年3月推出了第三代高算力、高能效比的SoC芯片，具有高性能、高精度、易部署、低功耗特征。

經(jīng)適配Transformer調(diào)優(yōu)后，愛芯元智技術(shù)團(tuán)隊(duì)的測試數(shù)據(jù)顯示，目前大眾普遍采用的Transformer網(wǎng)絡(luò)SwinT，在愛芯元智AX650N平臺(tái)表現(xiàn)出色：361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。

具體來看，361幀的高性能可媲美汽車自動(dòng)駕駛領(lǐng)域基于GPU的高端域控SoC；而80.45%的高精度成績同樣高于市面平均水平；199 FPS/W的速度也充分體現(xiàn)出低功耗的特點(diǎn)，對(duì)比于目前基于GPU的高端域控SoC，有著數(shù)倍的優(yōu)勢。

“AX650N會(huì)對(duì)Transformer支持比較好，因?yàn)橛幸粋€(gè)全面優(yōu)化的設(shè)計(jì)，還有一個(gè)高性能的多核架構(gòu)。愛芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU在一開始設(shè)計(jì)的時(shí)候，就是一個(gè)異構(gòu)多核的設(shè)計(jì)，里面有一個(gè)核具有一定的可編程性，提供靈活性。同時(shí)，考慮到有些網(wǎng)絡(luò)對(duì)數(shù)據(jù)需求量比較大，在架構(gòu)上做了一些預(yù)留，這樣最終看到的效果是在AX650N上Transformer跑的效果是比較快的。”愛芯元智相關(guān)技術(shù)負(fù)責(zé)人向TechWeb表示。

同時(shí)，AX650N也提供了簡單便捷的部署能力。GitHub上的原版模型可以在愛芯元智的平臺(tái)上高效運(yùn)行，不需要對(duì)模型做修改，不需要QAT重新訓(xùn)練。目前，AX650N已適配包括ViT/DeiT、Swin/SwinV2、DETR在內(nèi)的Transformer模型，在DINOv2也達(dá)到30幀以上運(yùn)行結(jié)果，這也使得用戶在下游進(jìn)行檢測、分類、分割等操作更加方便。

與此同時(shí)，AX650N支持低比特混合精度，用戶如果采用INT4，可以極大地減少內(nèi)存和帶寬占用率，可以有效控制端側(cè)邊緣側(cè)部署的成本。這些特性都保證了AX650N作為人工智能算力平臺(tái)，最終落地效果更好用、更易用，大幅提升了用戶的效率。

據(jù)悉，基于AX650N的產(chǎn)品已經(jīng)在智慧城市，智慧教育，智能制造等計(jì)算機(jī)視覺重要領(lǐng)域發(fā)揮出重要作用。

7月將推出基于AX650N的開發(fā)板——AXera-Pi Pro 供開發(fā)者使用

目前，愛芯元智AX650N針對(duì)Transformer結(jié)構(gòu)仍在進(jìn)行持續(xù)優(yōu)化，并且探索更多的Transformer大模型，例如多模態(tài)大模型，不斷讓Transformer在愛芯元智平臺(tái)上得到更好的落地效果。

談及迭代方向，愛芯元智透露的信息包括，針對(duì)于Transformer結(jié)構(gòu)，怎么能讓硬件讀數(shù)據(jù)的時(shí)候，能夠?qū)﹄x散的數(shù)據(jù)獲得一個(gè)比較高效的讀取以及配套的計(jì)算能夠和數(shù)據(jù)讀取匹配起來。也會(huì)嘗試4比特來解決模型參數(shù)量大的問題等。

值得一提的是，愛芯元智已經(jīng)將在7月推出基于AX650N的開發(fā)板——AXera-Pi Pro，滿足開發(fā)者對(duì)Transformer深度研究的需求，探索更豐富的產(chǎn)品應(yīng)用。

愛芯元智方面表示，未來，這塊小板子在電商平臺(tái)上就可以買到，對(duì)Transformer感興趣的學(xué)生、工程師或者社區(qū)開發(fā)人員都能夠很方便地購買開發(fā)板，從github上找到軟件的工具以及示例，能快速開發(fā)出自己的一些應(yīng)用，包括用戶想做的一些落地嘗試。

“Transformer之前在NLP方面發(fā)展比較深入，在CV領(lǐng)域是最近這幾月才開始陸陸續(xù)續(xù)有大模型放出來，這塊目前還處于快速發(fā)展過程中。”愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉強(qiáng)調(diào)，愛芯元智AX650N在承載Transformer落地時(shí)的良好表現(xiàn)，算是搶得了“先發(fā)優(yōu)勢”，后續(xù)仍將持續(xù)優(yōu)化產(chǎn)品，加速基于Transformer的大模型在端側(cè)、邊緣側(cè)落地的節(jié)奏。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。