LSTM之父Jürgen Schmidhuber丨“認(rèn)知智能 改變世界”嘉賓巡禮

L先生總是好忘事，于是他每次出門隨身帶一個筆記本，遇到事情就記在上面?？上У氖?，他只有一本筆記本，很快就記滿了。于是，每次有新事情發(fā)生，他就會把原來本子上的一部分不重要的內(nèi)容擦掉(遺忘)，把新接收的內(nèi)容寫下來(輸入)。

得益于這個小本本，L先生現(xiàn)在可以回憶起半個月之前的事了。而且由于L先生閑著沒事兒就翻翻自己的筆記本，他的腦子里也開始或多或少對很久之前的事留存了一些印象。

以上就是“好記性不如爛筆頭”的故事，也與今天的主角Jürgen Schmidhuber和他的LSTM理論有關(guān)。

JürgenSchmidhuber

Jürgen Schmidhuber教授是現(xiàn)代循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展中的關(guān)鍵人物之一，他幫助創(chuàng)造了名為“長短期記憶的循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)”(Long-Short Term Memory)，并影響了谷歌、微軟、IBM 等公司的人工智能研究。

Jürgen Schmidhuber 是瑞士人工智能實(shí)驗(yàn)室IDSIA 的科學(xué)事務(wù)主管，同時任教于盧加諾大學(xué)和瑞士南部應(yīng)用科學(xué)與藝術(shù)學(xué)院。

他于1987年和1991年在慕尼黑工業(yè)大學(xué)先后獲得計算機(jī)科學(xué)的學(xué)士和博士學(xué)位。自1987年以來，一直引領(lǐng)著自我改進(jìn)式(self-improving)通用問題求解程序(problem-solver)的研究。

從1991年開始，他成為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開拓者。Predictability Minimization(可預(yù)測性最小化)模型，簡稱PM模型，出自1992年的論文《LearningFactorial Codes by Predictability Minimization》，他是唯一作者。

1997 年，Schmidhuber 博士和 Sepp Hochreiter 發(fā)表了一篇技術(shù)論文，后來證明這篇論文對視覺和語音上的快速進(jìn)展起到了關(guān)鍵作用。這個方法被稱長短期記憶，簡稱LSTM。

2009 年，Schmidhuber當(dāng)選歐洲科學(xué)與藝術(shù)學(xué)院院士。他獲獎很多，包括 2013 年國際神經(jīng)網(wǎng)絡(luò)協(xié)會的亥姆霍茲獎，以及 2016 年電氣與電子工程師協(xié)會的神經(jīng)網(wǎng)絡(luò)先鋒獎。

2019年，他獨(dú)立發(fā)表了一篇綜述論文，再一次概覽了極小極大博弈，及 PM 模型與 GAN 之間的強(qiáng)烈聯(lián)系。他一直認(rèn)為 GAN 是其 PM 模型(1992)的變體，與Goodfellow 從郵件到演講也有多次公開交流。

他認(rèn)為：GAN可以看作是 Adversarial Curiosity (1990)的特例，Adversarial Curiosity 基于兩個網(wǎng)絡(luò)之間的極小極大博弈，其中一個網(wǎng)絡(luò)通過其概率動作生成數(shù)據(jù)，而另一個網(wǎng)絡(luò)預(yù)測輸出的結(jié)果。

　　PM和GAN的對比

Jürgen Schmidhuber與他的LSTM

　　神經(jīng)網(wǎng)絡(luò)發(fā)展歷程

神經(jīng)網(wǎng)絡(luò)最早的雛形出現(xiàn)在1943年，心理學(xué)家McCul-loch提出了模仿神經(jīng)元的結(jié)構(gòu)和工作原理的MP模型。20世紀(jì)50年代末，美國科學(xué)家Frank Rosenblatt提出了感知機(jī)學(xué)習(xí)，并于 1958 年正式提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，稱之為“感知器”。

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，相比一般的神經(jīng)網(wǎng)絡(luò)來說，它能夠處理序列變化的數(shù)據(jù)。比如某個單詞的意思會因?yàn)樯衔奶岬降膬?nèi)容不同而有不同的含義，RNN就能夠很好地解決這類問題。

RNN被頻繁用于分析預(yù)測序列數(shù)據(jù)，但研究表明，隨著時間的推移RNN會忘記之前的狀態(tài)信息，故引入了LSTM。LSTM優(yōu)勢在于它能夠解決梯度消失的問題，還可以保留誤差，用戶沿時間和層進(jìn)行反向傳遞。

LSTM近年來在很多領(lǐng)域表現(xiàn)突出，被廣泛應(yīng)用在機(jī)器人控制、圖像分析，文檔總結(jié)，視頻識別、手寫識別、聊天機(jī)器人、智能助手、推薦系統(tǒng)、預(yù)測疾病和股票市場等領(lǐng)域。如今，LSTM 原理已經(jīng)成了深度學(xué)習(xí)的根基。

例：我們所使用的智能手機(jī)語音識別功能就來自于Jurgen的研究，如今，超過10億人可以用上IDSIA開發(fā)的算法。

Jürgen Schmidhuber的理想：通用人工智能

　　1963 年的 Jürgen 和他的父親 Johann Schmidhuber 玩象棋

Jürgen Schmidhuber對機(jī)器人和通用人工智能的興趣可以追溯到青少年時代。他從圖書館借閱了大量科普書籍和科幻小說—尤其喜歡奧拉夫·斯泰普爾頓的《造星主》、E·T·A·霍夫曼的《沙人》，以及史坦尼斯勞·萊姆的小說。

1956 年，John McCarthy(1927~2011)在達(dá)特茅斯會議上將人工智能定義為：The science and engineering of making intelligent machines.

在20世紀(jì)60年代，人工智能的研究更多處于理論階段，隨著近些年計算機(jī)算力極大增長，這一波技術(shù)浪潮會帶來更多垂直產(chǎn)業(yè)應(yīng)用的落地。Schmidhuber也將目光瞄向了推動技術(shù)成果向商業(yè)轉(zhuǎn)化，繼續(xù)投注他對通用人工智能目標(biāo)的遠(yuǎn)大設(shè)想。

通用人工智能又稱為AGI，其可以像人類一樣應(yīng)對不同層面的問題，還具有自我學(xué)習(xí)、理解復(fù)雜理念等多種能力。

在追求通用人工智能的道路上，最為著名的公司當(dāng)屬DeepMind，該公司創(chuàng)造了AlphaGo，在2014年被谷歌收入麾下。鮮為人知的是，DeepMind四位創(chuàng)始成員中有兩位來自Schmidhuber所在的IDSIA。

2014 年，Schmidhuber教授參與創(chuàng)辦了人工智能公司NNAISENSE，旨在打造第一個有實(shí)用價值的通用人工智能。其愿景為“為超人感知和智能自動化打造大規(guī)模神經(jīng)網(wǎng)絡(luò)解決方案，最終目標(biāo)是推廣基于通用神經(jīng)網(wǎng)絡(luò)的人工智能”。

Jürgen認(rèn)為，RNN是打造通用人工智能的基礎(chǔ)，不用很多年，我們就能夠制造出基于神經(jīng)網(wǎng)絡(luò)的 AI(NNAI)，NNAI 能夠通過逐步學(xué)習(xí)，跟一些動物一樣聰明。

認(rèn)知智能 改變世界

由華院數(shù)據(jù)主辦的2019 世界人工智能大會(WAIC)“認(rèn)知智能改變世界”論壇將于8月31日上午隆重開啟，Jürgen Schmidhuber教授在本論壇也會帶來精彩的學(xué)術(shù)分享，我們誠摯歡迎您的蒞臨!華院數(shù)據(jù)微信公眾號后臺回復(fù)“報名”立即參與。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。