人工智能（AI）的興起帶動(dòng)市場(chǎng)對(duì)AI芯片的需求，NVIDIA的GPU真正借著這股“東風(fēng)”迅速成為AI市場(chǎng)的主流產(chǎn)品之一，其勢(shì)頭甚至蓋過(guò)了CPU。不過(guò)，GPU還不能算是真正的AI芯片，現(xiàn)在一大波新興的AI專用芯片正在路上，而IPU（智能處理器）在這之中相對(duì)比較成熟。目前，來(lái)自Graphcore的IPU芯片已真正量產(chǎn)，應(yīng)用效果非常好，由此也被不少人看好。
專為機(jī)器智能設(shè)計(jì)
Graphcore是IPU的扛旗人。Graphcore是一家來(lái)自英國(guó)的明星初創(chuàng)公司，到目前為止，公司總共融資超過(guò)4．5億美金，其中包括一些非常知名的金融投資者、戰(zhàn)略投資者，比如，微軟、三星、博世、寶馬、戴爾等。IPU是一種專為機(jī)器智能設(shè)計(jì)的全新芯片類(lèi)型，采用的是完全不同于CPU、GPU的全新處理器架構(gòu)，專門(mén)適用于AI負(fù)載。
Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤告訴記者，機(jī)器智能是一類(lèi)全新的計(jì)算負(fù)載，有自己的特點(diǎn)。比如，AI算法通常涉及大規(guī)模的并行計(jì)算；數(shù)據(jù)結(jié)構(gòu)通常是非常稀疏的矩陣；和傳統(tǒng)的科學(xué)計(jì)算或者高性能計(jì)算（HPC）相比，智能計(jì)算普遍都是低精度計(jì)算。另外，AI應(yīng)用經(jīng)常會(huì)有數(shù)據(jù)參數(shù)復(fù)用、靜態(tài)圖結(jié)構(gòu)。由于這些特點(diǎn)的存在，使得傳統(tǒng)CPU、GPU在處理這類(lèi)工作負(fù)載的效果并不理想，而IPU則有明顯優(yōu)勢(shì)。
Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤
“CPU是面向應(yīng)用和網(wǎng)絡(luò)設(shè)計(jì)的處理器，是一個(gè)標(biāo)量處理器；GPU是面向圖形和高性能計(jì)算、以向量處理為核心的處理器。AI是一個(gè)全新的負(fù)載、是以計(jì)算圖作為表征，因此需要一種全新的處理器架構(gòu)，而Graphcore開(kāi)創(chuàng)的IPU就是針對(duì)計(jì)算圖的處理來(lái)設(shè)計(jì)的專用處理器。”盧濤說(shuō)。
據(jù)盧濤介紹，Graphcore的IPU在架構(gòu)上做了大量創(chuàng)新。其中一大創(chuàng)新是，IPU內(nèi)核采用了大規(guī)模并行MIMD，有一個(gè)非常大的分布式片上SRAM，這個(gè)SRAM高達(dá)300 MB。因此，相比CPU＋DDR2或者GPU＋GDDR／HBM，IPU能夠?qū)崿F(xiàn)10到320倍的性能提升。
“近些年，芯片的計(jì)算能力提升很快，但內(nèi)存的性能提升卻相對(duì)緩慢。IPU的一個(gè)創(chuàng)新設(shè)計(jì)就是采用了大規(guī)模并行MIMD和龐大的分布式片上SRAM。”盧濤說(shuō)。
Graphcore IPU的另一大架構(gòu)創(chuàng)新是采用了構(gòu)建大規(guī)模數(shù)據(jù)中心集群的BSP技術(shù)（Bulk Synchronous Parallel），這種技術(shù)目前在谷歌、Facebook、百度這樣的大規(guī)模數(shù)據(jù)中心都在使用。IPU也是目前世界上首款BSP處理器，通過(guò)硬件來(lái)支持BSP協(xié)議，并通過(guò)BSP協(xié)議把整個(gè)計(jì)算邏輯分為計(jì)算、同步、交換三方面。
據(jù)悉，Graphcore IPU已經(jīng)量產(chǎn)的GC2處理器擁有236億個(gè)晶體管的芯片，在120瓦的功耗下有125 TFlops的混合精度、1216個(gè)獨(dú)立的處理器核心（Tile），300 M的SRAM能夠把完整的計(jì)算模型放在片內(nèi)。另外，內(nèi)存的帶寬有45 TB／s、片上的交換是8 TB／s、片間的IPU－Links是2．5 TB／s。Graphcore IPU的這些硬件條件為其最后高性能地完成AI應(yīng)用奠定了非常強(qiáng)大的基礎(chǔ)。
一款全新架構(gòu)的處理器要想真正落地，配套的軟件自然必不可少，其中就包括編譯器、開(kāi)發(fā)平臺(tái)以及其他相關(guān)的各種配套軟件和工具。對(duì)此，Graphcore推出了IPU配套的開(kāi)發(fā)平臺(tái)——Poplar SDK。Poplar是架構(gòu)在機(jī)器學(xué)習(xí)的框架軟件（比如TensorFlow、ONNX、PyTorch和PaddlePaddle）和硬件之間的一個(gè)基于計(jì)算圖的工具和庫(kù)，目前提供750個(gè)高性能計(jì)算元素的50多種優(yōu)化功能，可以支持各種標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)框架，包括TensorFlow 1／2、ONNX和PyTorch，很快也會(huì)支持百度飛槳。在部署方面，Poplar目前可以支持容器化部署，能夠快速啟動(dòng)并運(yùn)行。今年5月，Graphcore還推出了一款名為PopVision Graph Analyser的分析工具。開(kāi)發(fā)人員在使用IPU進(jìn)行編程的時(shí)候，可以通過(guò)PopVision這個(gè)可視化的圖形展示工具來(lái)分析軟件的運(yùn)行情況、調(diào)試效率。
優(yōu)勢(shì)初步展現(xiàn)
硬件架構(gòu)的創(chuàng)新加上配套軟件使得IPU在人工智能的應(yīng)用上表現(xiàn)優(yōu)異。比如，在BERT訓(xùn)練方面，采用NVLink－enabled的GPU平臺(tái)通常需要50多個(gè)小時(shí)才能達(dá)到一定精度，而IPU平臺(tái)只需36．3小時(shí)。在BERT推理方面，IPU目前在 BERT 上訓(xùn)練的時(shí)間能夠比 GPU 縮短 25％以上。
微軟的一位機(jī)器學(xué)習(xí)專家在5月27日舉行的Intelligent Health峰會(huì)上分享了如何使用IPU訓(xùn)練CXR（胸部X光射線樣片）。在微軟自己專門(mén)創(chuàng)新的SONIC CV 模型里，IPU只要30分鐘就能夠完成傳統(tǒng)的GPU需要5個(gè)小時(shí)才能完成訓(xùn)練的工作量。
盧濤介紹，目前基于IPU的應(yīng)用已經(jīng)覆蓋了機(jī)器學(xué)習(xí)的各個(gè)應(yīng)用領(lǐng)域，包括自然語(yǔ)言處理、圖像／視頻處理、時(shí)序分析、推薦／排名及概率模型，廣泛應(yīng)用于醫(yī)療、金融、制造以及5G等多個(gè)行業(yè)，極大降低了開(kāi)發(fā)者和用戶的決策與開(kāi)發(fā)成本。
盧濤表示，目前中國(guó)企業(yè)使用IPU分為兩個(gè)渠道，其一是購(gòu)買(mǎi)IPU服務(wù)器，戴爾已提供此類(lèi)服務(wù)器；另一渠道是通過(guò)云服務(wù)商購(gòu)買(mǎi)基于IPU的云服務(wù)。為了進(jìn)一步配合IPU在中國(guó)的落地，Graphcore在中國(guó)已建立起兩支技術(shù)服務(wù)團(tuán)隊(duì)——一支是以定制開(kāi)發(fā)為主要任務(wù)的工程技術(shù)團(tuán)隊(duì)，另一支是以客戶技術(shù)服務(wù)為主的現(xiàn)場(chǎng)應(yīng)用團(tuán)隊(duì)。
“AI應(yīng)用需要專門(mén)的處理器，而IPU正是這樣的處理器。目前，AI在各行各業(yè)均得到廣泛應(yīng)用，IPU可以基于自身優(yōu)勢(shì)為世界的智能化進(jìn)程增添不竭動(dòng)力。”盧濤最后總結(jié)道。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
