World Science Hill創(chuàng)始人Mia王璟晗:專訪CoCoPIE CEO美國東北大學(xué)王言治教授:神經(jīng)擬態(tài)網(wǎng)絡(luò)能否造就明日的ChatGPT

本期人物專欄

嘉賓:王言治

東北大學(xué)電子與計算工程系副教授,人工智能知名學(xué)者。2014年從南加州大學(xué)博士畢業(yè),獲得 IEEE Technical Committee的 Early Career Award,以及CLOUD、ICASSP、ISLPED等頂級會議的最佳論文獎。2018年至今人工智能方面的文章引用次數(shù)超13000次。

CoCoPIE CEO, CoCoPIE是一家人工智能初創(chuàng)公司,成立于2020年,目的是在芯片上實現(xiàn)AI應(yīng)用實時化,獲初心資本等數(shù)千萬A輪融資。合作客戶包括騰訊、著名美國軟件外包服務(wù)商Cognizant等。

1.可以用一句話對行業(yè)外的人簡單介紹一下自己的科研領(lǐng)域嗎?

我的主要科研領(lǐng)域主要在兩個方面,一是將原本計算量特別大的深度學(xué)習(xí)放在各種邊緣段的輕量級設(shè)備上,例如個人電腦、手機等等,從而使得機器學(xué)習(xí)、語音處理這些能力可以應(yīng)用于移動端,讓AI服務(wù)于民、無處不在。二是神經(jīng)擬態(tài)網(wǎng)絡(luò),就是在機器學(xué)習(xí)設(shè)計網(wǎng)絡(luò)模型的過程中,從生物學(xué)、神經(jīng)科學(xué)中尋找一些靈感,看一看人腦的運作模式能否在人工智能中得到借鑒。

2. 接下來,我們側(cè)重于您的第二個研究方向,即神經(jīng)擬態(tài)網(wǎng)絡(luò) (neuromorphic computing),能否對該領(lǐng)域做一個大致的介紹呢?

神經(jīng)擬態(tài)網(wǎng)絡(luò),顧名思義就是一個神經(jīng)形態(tài)的網(wǎng)絡(luò),人們會用硬件將神經(jīng)擬態(tài)網(wǎng)絡(luò)做成一個 crossbar array這樣的, 理論上可以達到非常高的能效。主要大家從兩個角度來做,其一是新硬件、新材料,這也是我們做的主要角度。在這方面我們現(xiàn)在主要是在做超導(dǎo)材料,其中一個重要新技術(shù)叫AQFP,它理論上可以實現(xiàn)近似的零功耗,其能效比可以比現(xiàn)有技術(shù)高出十的五次方到十的六次方倍。所以在這種情況下,它甚至可以達到比量子極限還要更高的能效比。

但是,這一種技術(shù)也是有限制的,在我們之前的研究中,我們做了一個自動化設(shè)計的平臺工具,任何一種神經(jīng)網(wǎng)絡(luò)或者相關(guān)的應(yīng)用,我們都可以在這一平臺上進行實現(xiàn)。目前我們做了許多種神經(jīng)網(wǎng)絡(luò)的實現(xiàn),它可以擴展到服務(wù)器或者GPU上,在達到極高的準確率的同時將能效比提升到十的七次方這個量級,換句話說,將來的數(shù)據(jù)中心如果運行的不是現(xiàn)有的GPU,而是我們的設(shè)備,那么它將幾乎不耗能。這就是我第一個科研方向,新硬件和新材料。

我的另一個方向就是神經(jīng)擬態(tài)網(wǎng)絡(luò),其中比較經(jīng)典的要數(shù)spiking (脈沖) 神經(jīng)網(wǎng)絡(luò),這種網(wǎng)絡(luò)中傳的并不是數(shù)值,而是脈沖。這一點我們借鑒了人腦中的生物模式,所以大家會認為這樣的模型更能夠模擬人腦機制。但是目前神經(jīng)擬態(tài)網(wǎng)絡(luò)在準確率上有些不盡人意,也做了不少成果。

Q:我們可以理解為是用生物學(xué)里面的一些觀點來給AI模型的設(shè)計提供借鑒嘛?人腦真的可以準確地建模嗎?

是的,確實可以提供借鑒。但是人腦非常復(fù)雜,我們只能從某一些角度對人腦的一兩種機制進行合理的數(shù)學(xué)抽象,比如說現(xiàn)在的多層神經(jīng)網(wǎng)絡(luò),本質(zhì)上也是借鑒了神經(jīng)科學(xué)的,但是機器學(xué)習(xí)中梯度的反向傳播就無法在神經(jīng)科學(xué)中找到對應(yīng)的機制。如果我們不想做抽象而是全盤建模人腦,結(jié)果就會特別復(fù)雜,設(shè)計到例如鉀離子、鈉離子濃度,離子的正負以及中間的極性翻轉(zhuǎn),一旦AI模型到了這個地步也就沒有必要了,所以神經(jīng)擬態(tài)網(wǎng)絡(luò)本質(zhì)上是一種恰當(dāng)?shù)慕梃b。

在 spiking neural network 中,我們考慮到網(wǎng)絡(luò)中間傳輸?shù)牟⒉皇菙?shù)值而是根據(jù)時間encoding的脈沖信息,如果spiking 越密集就說明這一段網(wǎng)絡(luò)越活躍,如果一段時間內(nèi)該段網(wǎng)絡(luò)被閑置了,那么它就逐漸不活躍了,這一簡單的性質(zhì)就是 spiking neural network 的出發(fā)點。如果要完全地去建模人腦,那么這是根本無法實現(xiàn)的,甚至一個神經(jīng)元我們都無法完全建模。所以我們在用生物學(xué)借鑒的時候要分清楚,哪些是本質(zhì)性的一些機制,而哪些又是生物結(jié)構(gòu)本身的限制(畢竟人腦并不需要通電),這還需要科研工作者們深入探討。

3. 這個領(lǐng)域,能不能請您羅列一下幾個比較火熱的重點方向和問題?這些方向上,世界上相關(guān)的科學(xué)家目前都遇到了一些什么樣的瓶頸?

主要的方向其一就是神經(jīng)擬態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)本身,目前比較主流的就是 spiking neural network,又被稱為第三代神經(jīng)網(wǎng)絡(luò),即我們剛剛提到的用脈沖來代替數(shù)字信號在網(wǎng)絡(luò)中傳輸,它的一個重要的瓶頸就是隨著網(wǎng)絡(luò)的深度越來越大,模型所需的脈沖數(shù)量會指數(shù)性提高,因為網(wǎng)絡(luò)每一層都需要積累足夠的脈沖到達一定的閾值,才有可能觸發(fā)下一層的脈沖,如果輸入的脈沖過少,那么整個網(wǎng)絡(luò)就會一片死寂,沒有任何有效輸出,因此我們需要的脈沖達到指數(shù)級,這是算法方面的一個瓶頸。

其二是網(wǎng)絡(luò)的實現(xiàn)方面,目前全世界有幾個代表性的工作,例如IBM出品的TrueNorth,Intel出品的Loihi,這幾個實現(xiàn)都有一些對應(yīng)的問題,他們試圖把所有的weight都存進去,而不是像現(xiàn)在那些加速器那樣去load weight ,這導(dǎo)致了很多工程上的限制,像ChatGPT這樣的大模型根本無法用這種方方式來訓(xùn)練和運行,這是另一個潛在的瓶頸。

其三就是新材料和新硬件,比如說我們正在做的超導(dǎo)材料、憶阻器材料,目前的瓶頸是技術(shù)不太成熟,至于是因為材料本身的問題還是科研投資不足,我們還無法確定,但現(xiàn)在至少有一兩種新材料是靠譜的。

4. 前面的問題中您提到的機器學(xué)習(xí)中的梯度反傳 (gradient back-propagation)在人腦中并無對應(yīng)機制,那么人腦中有沒有其他的相關(guān)機制呢?

人腦中的機制類似于STDP Learning,簡單解釋一下就是說,人腦中是存在 weight(權(quán)重)這個概念的,參數(shù)越大,人腦就會放大這個輸入的激勵,而負參數(shù)對于人腦就是一個抑制的信號,但是訓(xùn)練這個參數(shù)的過程并不是梯度反傳,至少目前神經(jīng)科學(xué)里面并沒有證明人腦存在這種反傳機制,畢竟這種機制是為了方便求導(dǎo)而創(chuàng)造的。人腦中的主要機制還是,如果有不停地正反饋,就能增大這一權(quán)重,否則負反饋就會減小權(quán)重,這是一個正向的學(xué)習(xí)機制。

但是在機器學(xué)習(xí)中,正向傳播網(wǎng)絡(luò)的準確率和訓(xùn)練效率明顯不如反向傳播的,因此科學(xué)家們目前只能做一些權(quán)衡,對神經(jīng)擬態(tài)網(wǎng)絡(luò),作用的時候用脈沖,但是訓(xùn)練還是用反向傳播,這也是神經(jīng)擬態(tài)網(wǎng)絡(luò)中目前被詬病的一個地方。

5. 我們總是聽到類似于 “通用智能” 這樣的龐大敘事,您認為目前的技術(shù)離這個終極目標(biāo)還有多遠,人腦思維方式與AI思維方式在底層邏輯上有沒有什么本質(zhì)區(qū)別?

我認為并沒有那么遠,最近的ChatGPT就很好地向我們展示了“通用智能”是可能的。Transformer這種基于attention (注意力機制) 的結(jié)構(gòu)就實現(xiàn)了對于圖像輸入和語音、文本輸入的大一統(tǒng),對于圖像我們有 Vision Transformer (ViT),而針對文本的GPT本質(zhì)上也用到了Transformer結(jié)構(gòu),它從功能性上來說已經(jīng)某種程度上接近人腦了,之前在ResNet、AlexNet那個階段,大家還是認為人腦的存儲量、神經(jīng)元的數(shù)量要高于這些神經(jīng)網(wǎng)絡(luò)好幾個數(shù)量的,雖然計算速度會慢一些,我們可以說ResNet、AlexNet所展現(xiàn)出的能力相當(dāng)于一只老鼠的能力,和人腦差好幾個數(shù)量級。

如今我們有了以ChatGPT為代表的工具,如果能配合上神經(jīng)學(xué)的一些發(fā)現(xiàn),我認為可以實現(xiàn)一個類似人腦的智能,但這個東西有多大的自我學(xué)習(xí)能力,能不能在小數(shù)據(jù)上也擁有很好的效果,目前還不明確,但是它在存儲能力上并不會差人腦太多。如何用有限的神經(jīng)元(相對于人腦)和有限的訓(xùn)練,得到一個人腦級別的智能,而不造成過擬合,這我覺得是結(jié)合神經(jīng)科學(xué)并實現(xiàn)通用智能的關(guān)鍵。

嘉賓:王言治

主持:Mia 王璟晗

作者:Mia 王璟晗

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )