Transformer大模型在邊緣側落地可行嗎？愛芯元智AX650N表示無壓力

5月30日消息，ChatGPT成為史上增長最快的消費類應用。這背后，是ChatGPT代表的高階人工智能表現(xiàn)對人們的沖擊。

ChatGPT使用的Transformer架構是以自監(jiān)督的方式預訓練的，作為基于GPT（Generative Pre-trained Transformer）預訓練語言模型的消費類產品，ChatGPT的成功也讓技術圈看到了Transformer的巨大潛力。

越來越多AI研究領域（例如，CV（計算機視覺）領域）開始把自監(jiān)督方式預訓練的Transformer用在各大應用場景，以期待產生類似ChatGPT的智能涌現(xiàn)。

然而Transformer模型往往需要巨大量的參數(shù)，才能出現(xiàn)所謂的“智能涌現(xiàn)”。因此，目前較為成功的GPT模型，大都是在“云端”進行訓練和落地。

但是可以預見的是，未來要想讓GPT模型應用產品在消費級市場有廣泛應用和發(fā)展，解決在端側、邊緣側高效部署Transformer將是關鍵一環(huán)。

專注研究人工智能視覺感知芯片的愛芯元智技術團隊敏銳的看到了這一市場機會，對其第三代高算力、高能效比的SoC芯片——AX650N進行了優(yōu)化，經測試，優(yōu)化后的AX650N已成為業(yè)內首屈一指的Transformer端側、邊緣側落地平臺。

這也就意味著，對于那些有在端側、邊緣側部署Transformer模型以提升圖形圖像識別精度的企業(yè)（比如機器人、自動駕駛企業(yè)等）來說，現(xiàn)在，借助AX650N就能實現(xiàn)Transformer模型落地、提升其視覺能力。

承載Transformer大模型 AX650N表現(xiàn)如何？

相比于在云端用GPU部署Transformer大模型，在邊緣側、端側部署Transformer最大的挑戰(zhàn)則來自功耗。

AX650N是愛芯元智于2023年3月推出了第三代高算力、高能效比的SoC芯片，具有高性能、高精度、易部署、低功耗特征。

經適配Transformer調優(yōu)后，愛芯元智技術團隊的測試數(shù)據(jù)顯示，目前大眾普遍采用的Transformer網(wǎng)絡SwinT，在愛芯元智AX650N平臺表現(xiàn)出色：361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。

具體來看，361幀的高性能可媲美汽車自動駕駛領域基于GPU的高端域控SoC；而80.45%的高精度成績同樣高于市面平均水平；199 FPS/W的速度也充分體現(xiàn)出低功耗的特點，對比于目前基于GPU的高端域控SoC，有著數(shù)倍的優(yōu)勢。

“AX650N會對Transformer支持比較好，因為有一個全面優(yōu)化的設計，還有一個高性能的多核架構。愛芯元智兼具高性能和低功耗特質的混合精度NPU在一開始設計的時候，就是一個異構多核的設計，里面有一個核具有一定的可編程性，提供靈活性。同時，考慮到有些網(wǎng)絡對數(shù)據(jù)需求量比較大，在架構上做了一些預留，這樣最終看到的效果是在AX650N上Transformer跑的效果是比較快的?！睈坌驹窍嚓P技術負責人向TechWeb表示。

同時，AX650N也提供了簡單便捷的部署能力。GitHub上的原版模型可以在愛芯元智的平臺上高效運行，不需要對模型做修改，不需要QAT重新訓練。目前，AX650N已適配包括ViT/DeiT、Swin/SwinV2、DETR在內的Transformer模型，在DINOv2也達到30幀以上運行結果，這也使得用戶在下游進行檢測、分類、分割等操作更加方便。

與此同時，AX650N支持低比特混合精度，用戶如果采用INT4，可以極大地減少內存和帶寬占用率，可以有效控制端側邊緣側部署的成本。這些特性都保證了AX650N作為人工智能算力平臺，最終落地效果更好用、更易用，大幅提升了用戶的效率。

據(jù)悉，基于AX650N的產品已經在智慧城市，智慧教育，智能制造等計算機視覺重要領域發(fā)揮出重要作用。

7月將推出基于AX650N的開發(fā)板——AXera-Pi Pro 供開發(fā)者使用

目前，愛芯元智AX650N針對Transformer結構仍在進行持續(xù)優(yōu)化，并且探索更多的Transformer大模型，例如多模態(tài)大模型，不斷讓Transformer在愛芯元智平臺上得到更好的落地效果。

談及迭代方向，愛芯元智透露的信息包括，針對于Transformer結構，怎么能讓硬件讀數(shù)據(jù)的時候，能夠對離散的數(shù)據(jù)獲得一個比較高效的讀取以及配套的計算能夠和數(shù)據(jù)讀取匹配起來。也會嘗試4比特來解決模型參數(shù)量大的問題等。

值得一提的是，愛芯元智已經將在7月推出基于AX650N的開發(fā)板——AXera-Pi Pro，滿足開發(fā)者對Transformer深度研究的需求，探索更豐富的產品應用。

愛芯元智方面表示，未來，這塊小板子在電商平臺上就可以買到，對Transformer感興趣的學生、工程師或者社區(qū)開發(fā)人員都能夠很方便地購買開發(fā)板，從github上找到軟件的工具以及示例，能快速開發(fā)出自己的一些應用，包括用戶想做的一些落地嘗試。

“Transformer之前在NLP方面發(fā)展比較深入，在CV領域是最近這幾月才開始陸陸續(xù)續(xù)有大模型放出來，這塊目前還處于快速發(fā)展過程中。”愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉強調，愛芯元智AX650N在承載Transformer落地時的良好表現(xiàn)，算是搶得了“先發(fā)優(yōu)勢”，后續(xù)仍將持續(xù)優(yōu)化產品，加速基于Transformer的大模型在端側、邊緣側落地的節(jié)奏。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。