光神經(jīng)網(wǎng)絡(luò),正在照亮智能計(jì)算的未來(lái)

原標(biāo)題:光神經(jīng)網(wǎng)絡(luò),正在照亮智能計(jì)算的未來(lái)

如果問(wèn)一個(gè)問(wèn)題——能夠進(jìn)行深度神經(jīng)網(wǎng)絡(luò)計(jì)算的芯片有哪些?大家給出的答案可能五花八門(mén):CPU、GPU、DSP、NPU……

過(guò)去幾年里,電子計(jì)算已經(jīng)成為實(shí)現(xiàn)人工智能算法——尤其是深度神經(jīng)網(wǎng)絡(luò)模型——最重要的算力支撐。盡管具體的硬件架構(gòu)各有不同,但一言以蔽之,都是采用了馮諾依曼型的計(jì)算原理,即VLSI(超大規(guī)模集成電路)的“電子+邏輯”信息處理模式,以復(fù)雜的邏輯電路和處理器芯片來(lái)完成計(jì)算任務(wù)。

但是電子方法有其先天缺陷:一是信號(hào)之間容易相互干擾,對(duì)需要高密度連接的神經(jīng)網(wǎng)絡(luò)帶來(lái)一定的困難;二是能源需求太高,導(dǎo)致計(jì)算成本居高不下。

在以AI為主旋律的“數(shù)字基建”大規(guī)模爆發(fā)前夜,在算力上未雨綢繆,自然也就成了學(xué)術(shù)界和產(chǎn)業(yè)界共同關(guān)注的頭等大事。

最近,明斯特大學(xué)、牛津大學(xué)和??巳卮髮W(xué)的研究人員就共同實(shí)現(xiàn)了一項(xiàng)新的計(jì)算芯片,采用光學(xué)系統(tǒng)來(lái)幫助神經(jīng)網(wǎng)絡(luò)進(jìn)行“學(xué)習(xí)”,以此實(shí)現(xiàn)計(jì)算、識(shí)別等行為。

不過(guò),無(wú)論是光學(xué)計(jì)算,還是類(lèi)腦芯片,類(lèi)似的提法其實(shí)在學(xué)界早已有之,并且由于自身的局限性一直進(jìn)展緩慢。那么,光學(xué)深度學(xué)習(xí)芯片的出現(xiàn),是否真的突破了先天的技術(shù)桎梏,又意味著哪些新的產(chǎn)業(yè)機(jī)遇呢?

光學(xué)計(jì)算+深度神經(jīng)網(wǎng)絡(luò)的“攪和”歷史

在介紹新計(jì)算硬件之前,先言簡(jiǎn)意賅地解答一下大家心中可能存在的困惑——光到底是如何進(jìn)行計(jì)算的?又為什么比電子方法更有優(yōu)勢(shì)呢?

我們知道,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是模仿人類(lèi)大腦神經(jīng)元的運(yùn)行方式而來(lái)的。在每一層中,來(lái)自上一層(或者輸入源)的信號(hào)經(jīng)由神經(jīng)元處理,將結(jié)果和前向信號(hào)傳遞給下一層的神經(jīng)元。

很顯然,這種計(jì)算方式需要依賴神經(jīng)元之間的大量、動(dòng)態(tài)的連接才能完成,會(huì)對(duì)大多數(shù)使用電子方法的集成電路造成壓力。

因此,大家紛紛開(kāi)始研究其他硬件,光學(xué)芯片因此成為“全村的希望”。

2017年,MIT的研究人員就研發(fā)出了一種使用光子技術(shù)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的方法。他們使用一系列相互連接的波導(dǎo)管(傳輸微波波段的電磁波裝置),來(lái)為特定的計(jì)算編程。而處理器則通過(guò)一系列耦合光子波導(dǎo)來(lái)引導(dǎo)光線,因此只需要運(yùn)用鏡片改變光線的方向,就可以達(dá)成運(yùn)算。

可編程、低能耗,聽(tīng)起來(lái)是不是棒棒噠?不過(guò)這種方式打造的硬件準(zhǔn)確率實(shí)在是不太令人滿意,只有77%,被傳統(tǒng)方法吊打的節(jié)奏啊。

不過(guò)科學(xué)家們并沒(méi)有認(rèn)輸,2018年加州大學(xué)洛杉磯分校的科學(xué)家們又將光學(xué)深度學(xué)習(xí)送上了《Science》雜志。

這次,科學(xué)家們采用3D 打印的方式制造出了一種全光學(xué)的深度學(xué)習(xí)框架D2NN。

簡(jiǎn)單來(lái)說(shuō),研究人員訓(xùn)練出了能夠識(shí)別不同數(shù)據(jù)類(lèi)型的光學(xué)網(wǎng)絡(luò)模型,并為它們分別創(chuàng)建了模型,該模型由多個(gè)像素層組成,每個(gè)像素之間如同神經(jīng)元一樣進(jìn)行連接,并通過(guò)光來(lái)傳輸信息。

然后,研究人員采用五層 3D 打印塑料對(duì)仿真模型進(jìn)行物理再現(xiàn),固態(tài)成品的探測(cè)器就可以通過(guò)物體表面反射的光來(lái)判斷出相應(yīng)的分類(lèi)結(jié)果。

這種由光學(xué)元件堆疊而成的神經(jīng)網(wǎng)絡(luò)硬件,準(zhǔn)確率能達(dá)到 91.75%,成本相對(duì)便宜,但是卻很難做到器件的小型化,難以處理復(fù)雜的數(shù)據(jù)及圖像分析,而且所有參數(shù)3D打印之后就不能被再次編程了。

(使用 3D 打印的“人工神經(jīng)網(wǎng)絡(luò)”芯片)

總結(jié)一下就是,此前的研究都對(duì)光學(xué)計(jì)算+神經(jīng)網(wǎng)絡(luò)的解決方案提出了自己的方法,但帶來(lái)的問(wèn)題多于答案,科學(xué)家們不得不繼續(xù)探索。

全光學(xué)神經(jīng)突觸系統(tǒng):能否刷新光學(xué)計(jì)算的進(jìn)程?

5月8日,來(lái)自德國(guó)明斯特大學(xué)的科學(xué)家將其研究成果發(fā)布在了《Nature》雜志上。

論文《All-optical spiking neurosynaptic networks with self-learning capabilities》(具有自學(xué)習(xí)功能的全光學(xué)尖峰神經(jīng)突觸網(wǎng)絡(luò)),提出了一種可以在毫米級(jí)光子芯片上實(shí)現(xiàn)的全光學(xué)神經(jīng)網(wǎng)絡(luò)。

研究人員是這么設(shè)想的:

輸入的數(shù)據(jù)(即光波導(dǎo))可以被微米級(jí)環(huán)狀諧振器調(diào)制成不同的波長(zhǎng),然后注入網(wǎng)絡(luò)并停留在光學(xué)微芯片上。接著利用集成在一起的相變材料,來(lái)實(shí)現(xiàn)權(quán)重調(diào)制,這種物質(zhì)可以由光觸發(fā)顯著的變化,非常適合模擬突觸和神經(jīng)元之間的“沖動(dòng)”。

信息在光學(xué)神經(jīng)網(wǎng)絡(luò)中的傳輸,就好像是兩組人(單個(gè)波導(dǎo)的兩條路徑)同時(shí)在玩?zhèn)髀曈螒颍枰舻木嚯x比較遠(yuǎn),來(lái)防止另一個(gè)組的聲音干擾(耦合)。同時(shí)還不能有人亂開(kāi)腦洞急轉(zhuǎn)彎,免得傳話內(nèi)容南轅北轍(光離開(kāi)波導(dǎo))。

因此,在每個(gè)組的傳話過(guò)程中,都派出一個(gè)小秘書(shū)(相變材料),根據(jù)每組任務(wù)(權(quán)重)的不同,在每次傳遞過(guò)程中(微環(huán)諧振器的入口和出口處),對(duì)隊(duì)員們向下傳遞的信息進(jìn)行微調(diào),將被傳錯(cuò)/修改的信息復(fù)位,這樣就能最大限度地保證每個(gè)隊(duì)伍向后傳遞的信息,既能保持差異,又足夠準(zhǔn)確。

為了證明這一點(diǎn),研究人員開(kāi)發(fā)了一個(gè)由四個(gè)人工神經(jīng)元和60個(gè)突觸組成的芯片。

芯片的結(jié)構(gòu)由不同的層組成,分別在光納米電路中的不同通道上傳輸光。

(分子光學(xué)神經(jīng)元電路)

研究人員使用了兩種不同的機(jī)器學(xué)習(xí)算法,分別是小規(guī)模的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí),以光脈沖的形式向后“提供”信息,以此測(cè)試全光學(xué)神經(jīng)突觸系統(tǒng)能否根據(jù)給定的光識(shí)別出具體的模式。

目前,研究人員已經(jīng)利用該技術(shù)成功實(shí)現(xiàn)了光學(xué)模式識(shí)別,并展現(xiàn)了光子神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性。

在此,我們可以簡(jiǎn)單總結(jié)一下這種新光學(xué)神經(jīng)網(wǎng)絡(luò)硬件的特殊之處:

首先,它解決了前輩們沒(méi)能解決的問(wèn)題——光學(xué)計(jì)算在識(shí)別準(zhǔn)確率、可編程性、微型化上的缺陷——讓光學(xué)計(jì)算在計(jì)算機(jī)硬件領(lǐng)域的潛力帶來(lái)了新的前景。

(正在開(kāi)發(fā)的光學(xué)微芯片大約只有一分錢(qián)大小)

另外,該硬件的計(jì)算方式和大腦中神經(jīng)元突觸的信息傳遞高度相似,不僅使得信息(數(shù)據(jù))得以在人工神經(jīng)網(wǎng)絡(luò)中傳輸,還能夠進(jìn)行有效的處理和存儲(chǔ)。以更類(lèi)似于大腦的方式處理信息,這有助于開(kāi)發(fā)更高性能的算法,進(jìn)而幫助智能機(jī)器更好地完成現(xiàn)實(shí)世界的任務(wù)。

而且,該系統(tǒng)只在光下工作,使它充分發(fā)揮了光學(xué)計(jì)算的優(yōu)勢(shì),處理數(shù)據(jù)的速度要快很多倍,更適合用于一些大規(guī)模數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),比如醫(yī)學(xué)診斷模型等。并且更加節(jié)省能耗。

這也就不難理解,為什么有人認(rèn)為,如果高能效的可擴(kuò)展光子神經(jīng)芯片最終出現(xiàn),這一團(tuán)隊(duì)的研究絕對(duì)算是開(kāi)山之作了吧。

當(dāng)然,想要讓可擴(kuò)展光子神經(jīng)網(wǎng)絡(luò)系統(tǒng)在現(xiàn)實(shí)中應(yīng)用,還需要做許多后續(xù)工作。

最首要的,就是增加人工神經(jīng)元和突觸的數(shù)量,以及神經(jīng)網(wǎng)絡(luò)的深度,以便進(jìn)一步接近和適應(yīng)真實(shí)的大規(guī)模計(jì)算應(yīng)用場(chǎng)景。

另外,芯片的制造也存在一定的限制。對(duì)此,??巳卮髮W(xué)的戴維·賴特教授表示,將使用硅技術(shù)來(lái)生產(chǎn)光學(xué)納米芯片。

另一個(gè)值得關(guān)注的問(wèn)題是,系統(tǒng)中極為關(guān)鍵的相變材料,其結(jié)晶速度會(huì)吸收并減慢光速,從而限制神經(jīng)元被激發(fā)的最大速率,對(duì)于光的交叉耦合帶來(lái)一定的復(fù)雜影響。因此,每一次注入該系統(tǒng)的總光學(xué)功率都需要進(jìn)行仔細(xì)校準(zhǔn),以保證材料對(duì)輸入信號(hào)的響應(yīng)完全符合預(yù)期。

不管怎么說(shuō),盡管光學(xué)計(jì)算硬件仍然在實(shí)現(xiàn)層面面臨著許多挑戰(zhàn)和困難,規(guī)?;瘧?yīng)用也沒(méi)有明確的時(shí)間表。但或多或少讓我們看到了更多有趣可行的計(jì)算方式,未來(lái)世界的算力資源依舊是充沛和值得期待的。

隨著智能基建的一步步添磚加瓦,光學(xué)計(jì)算必將變得越來(lái)越重要。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。

2019-05-15
光神經(jīng)網(wǎng)絡(luò),正在照亮智能計(jì)算的未來(lái)
最近,明斯特大學(xué)、牛津大學(xué)和??巳卮髮W(xué)的研究人員就共同實(shí)現(xiàn)了一項(xiàng)新的計(jì)算芯片,采用光學(xué)系統(tǒng)來(lái)幫助神經(jīng)網(wǎng)絡(luò)進(jìn)行“學(xué)習(xí)”,以此實(shí)現(xiàn)計(jì)算、識(shí)別等行為。

長(zhǎng)按掃碼 閱讀全文