2020 年是充滿科幻的一年，曾經(jīng)我們暢想飛行汽車、智能洗碗機(jī)器人以及能自動寫代碼的程序，然而這一切都沒有發(fā)生。2020 迎接我們的是澳洲大火、新冠病毒和漫天的蝗蟲。回想過去的十年，我們或許覺得沒有什么科技的發(fā)展可以稱得上是飛躍，然而事實卻是，一切都變了，深度學(xué)習(xí)算法的進(jìn)步和影響就是起哄最明顯的標(biāo)志。AI 之父 Jürgen Schmidhuber 在自己的 Medium 專欄發(fā)布了一篇文章，回顧了深度學(xué)習(xí)的十年發(fā)展歷程，回頭看看，才發(fā)現(xiàn)我們確實見證了歷史。
自然語言處理
盡管不像深度學(xué)習(xí)中的其他領(lǐng)域那么高大上，但可以說 NLP 算法是迄今為止最復(fù)雜、最成功的算法。這種成功可以歸因于，與圖像和視頻相比，在文本語料庫上進(jìn)行訓(xùn)練相對比較容易。在過去的十年中，NLP 不僅取得了巨大進(jìn)步，而且還成功地成為了各種商業(yè)應(yīng)用中的重要組成部分。正如你將在下文中注意到的那樣，Google 的研究人員在改善 NLP 算法方面發(fā)揮了最重要的作用，不過實話說，幾乎所有全球研究實驗室都為這一領(lǐng)域的發(fā)展做出了貢獻(xiàn)。
圖片：Ontotext
01詞嵌入
在技術(shù)上也稱為分布語義模型，如今，幾乎所有 NLP 算法中都有使用詞嵌入。Bengio 等人早在 2003 年就提出將詞嵌入為向量這一方法。它仍然非常耗費計算資源，并且需要更有效的算法來實現(xiàn)。2013 年，Google 提出了“連續(xù)詞袋模型”（Continuous Bag－of－Words Model， CBOW）和“連續(xù) Skpi－gram”模型，并使用 word2vec 以計算并實現(xiàn)開源，使得詞嵌入技術(shù)得到廣泛應(yīng)用。在 2015 年，斯坦福大學(xué)的研究人員介紹了 GloVe 模型，該模型對詞嵌入算法進(jìn)行了進(jìn)一步改進(jìn)。
圖片：Sebastian Ruder
02LSTM 算法
圖片：Christopher Olah
雖然 LSTM 最初是由 Hochreiter 和 Schmidhuber 早在 1997 年提出的，但在這過去的十年中，它們才真正地受到關(guān)注。盡管許多較新的算法在性能上比 LSTM 表現(xiàn)更好，但它們在一些商業(yè)上成功的翻譯軟件（例如Google Translate）和 Apple 的 Siri 中仍然發(fā)揮著重要作用。Cho Kyunghyun Cho 等研究人員通過提出門控循環(huán)單元（GRU），為 LSTM 體系結(jié)構(gòu)提供了進(jìn)一步的改進(jìn)。GRU 自然會引導(dǎo)我們進(jìn)行下一個創(chuàng)新……
03Seq2Seq 模型
來自 Google 的 Sutskever 等人在 2014 年推出了現(xiàn)在流行的 Seq2Seq 模型。在先前 RNN、LSTM 和 GRU 相關(guān)工作的基礎(chǔ)上，這種嵌入解碼技術(shù)為 Google Translate 和許多其他 NLP 任務(wù)賦能。在易于實現(xiàn)的同時，這一技術(shù)甚至可以用來創(chuàng)建聊天機(jī)器人。
04Transformers
Google Brain 那篇“ 你只需要注意力就夠了”（Attention is All You Need）論文可是引起了一場轟動。通過將焦點僅集中在數(shù)據(jù)的重要組成部分上，這樣的注意力可以提供比 LSTM 更優(yōu)秀的表現(xiàn)，并且所需的計算量也更小。
05BERT
圖片：YNG Media
在十年結(jié)束之前，谷歌再次在 NLP 方面取得了突破：BERT 模型。它是一種可同時從左向右以及從右向左考慮文本的語言表示模型。雖然可以說谷歌研究人員的確有助力于公司平臺無與倫比的處理能力而在多項 NLP 任務(wù)中達(dá)到了最先進(jìn)的水平，模型本身也真的是非常靈活多變。經(jīng)過預(yù)訓(xùn)練的 BERT 模型可以通過簡單添加額外的輸出層來適應(yīng)幾乎任何任務(wù)。
06語音助手
圖片：Business Insider ／ Yu Han
2011 年 10 月發(fā)布的 iPhone 4S 是第一款集成 Siri 的蘋果產(chǎn)品。這在智能手機(jī)領(lǐng)域是革命性的，因為這是首次向大眾商業(yè)市場提供與未來人工智能密切相關(guān)的技術(shù)。目前市場上充滿了語音助手，它們在諸如語音識別、語音轉(zhuǎn)文本、文本翻譯等一系列任務(wù)上的表現(xiàn)都非常出色。想要知道這一技術(shù)有多么普遍的話，你可以隨便走入任何一家稍微與科技接軌的家庭，喊出“ Alexa！”——您很可能會聽到熟悉的聲音回復(fù)呢。
計算機(jī)視覺
圖片：Ilija Mihajlovic
人工智能是人工智能領(lǐng)域中最令人興奮和研究最多的領(lǐng)域之一。從進(jìn)化型自動駕駛汽車到已成為智能手機(jī)常見功能的人臉識別，計算機(jī)視覺無處不在。盡管這十年來主要是研究實驗室希望挑戰(zhàn)計算機(jī)視覺任務(wù)的最新結(jié)果，我們?nèi)匀粐?yán)重依賴于數(shù)據(jù)數(shù)量和機(jī)器處理能力。
01CNN
圖片：Google
福島在 1980 年提出了第一個深度神經(jīng)網(wǎng)絡(luò)，隨后是 Yann LeCun 發(fā)明的我們今天所知的卷積神經(jīng)網(wǎng)絡(luò)（LeNet）。但是，盡管 CNN 已出現(xiàn)了很多年，它們似乎僅僅在最近十年中才進(jìn)入主流視野?，F(xiàn)在是計算機(jī)視覺任務(wù)的標(biāo)準(zhǔn)化基準(zhǔn)的 ImageNet 于 2010 年才開始年度競賽。2012 年，來自多倫多大學(xué)的 Krizhevsky 等人在此項競賽中提出了 AlexNet，它大大擊敗了 ImageNet 中的現(xiàn)有算法。這為接下來的十年中激烈競爭設(shè)計最佳 CNN 的各大實驗室奠定了技術(shù)基礎(chǔ)。
在接下來的幾年中，我們看到了幾種著名的 CNN 變體，例如 VGG 神經(jīng)網(wǎng)絡(luò)、提出更深的網(wǎng)絡(luò)性能更好的 Inception，以及甚至更深層的殘差學(xué)習(xí)框架 ResNet。盡管 CNN 架構(gòu)的發(fā)展一直在快速發(fā)展，但最近的重點已經(jīng)轉(zhuǎn)移到了魯棒性和效率而非僅僅是準(zhǔn)確性上。大眾對未來的希望是將這些高性能的 CNN 引入商業(yè)應(yīng)用。
02全能的 GANs
圖片：Sarvasv Kulpati／Sigmoid
自 2014 年 Goodfellow 提出了 GANs（Generative Adversarial Networks，生成對抗網(wǎng)絡(luò)），它現(xiàn)在已成為深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域最新和最成功的突破之一。它開辟了 AI 的全新應(yīng)用領(lǐng)域，而且我認(rèn)為它代表了深度學(xué)習(xí)中最直觀的架構(gòu)之一。
時至今日，GANs 在研究界非常流行，以至于你能發(fā)現(xiàn)各種名稱的 GANs。他們使用 X－GAN 規(guī)則命名，其中 X 代表你給自己的 GAN 所取的有趣的名字。這對他們的實用性絲毫無損，GANs 已被發(fā)現(xiàn)在多種任務(wù)中都表現(xiàn)出色。只有時間能夠證明，是否它的發(fā)現(xiàn)標(biāo)志著 AI 演進(jìn)中的一個重要里程碑。
03AI 的藝術(shù)
圖片：Christie’s
由 GANs 和類似深度學(xué)習(xí)模型的成功所推動，AI 進(jìn)入了一個新方向，它模糊了真實的與 AI 生成的輸出之間的界限。我們現(xiàn)在擁有的 AI，可以為你描繪一幅美麗的藝術(shù)品，能創(chuàng)作和演奏歌曲，能生成文字故事，還能人工模擬很多事情。對于這些 deepfakes，大家顯然有擔(dān)憂；但也有一些人開始慢慢接受這種新的藝術(shù)潮流進(jìn)入我們的文化。2018 年 12 月 12 日，佳士得拍賣了一副 AI 創(chuàng)作的肖像畫，拍賣價格高達(dá) 432500 美元！
04自動駕駛汽車
圖片：DownToEarth
不論你是否支持，它將最終發(fā)生，任何事情都無法阻止我們?nèi)粘Ｉ钪械倪@個巨大改變。在 21 世紀(jì)的前 10 年，自動駕駛汽車已變成商業(yè)現(xiàn)實，所有主要的技術(shù)和汽車公司都為此投入巨資。雖然自動駕駛汽車沒成為這 10 年的重大革命，但他們已經(jīng)奠定了堅實的基礎(chǔ)，并在下個 10 年大發(fā)展。如果你想了解這對我們意味著什么，可以查閱我們關(guān)于 AI 倫理的文章：自動駕駛汽車。
強(qiáng)化學(xué)習(xí)
圖片：Intel AI
強(qiáng)化學(xué)習(xí)是全功能機(jī)器人的核心，其目標(biāo)就是設(shè)計出能像人一樣，學(xué)會實現(xiàn)基于獎勵的任務(wù)的 AI。不像本文討論的其他領(lǐng)域，強(qiáng)化學(xué)習(xí)是完全無監(jiān)督學(xué)習(xí)，模型缺乏事先可供學(xué)習(xí)的正確數(shù)據(jù)。模型要學(xué)會在獎勵最大化的前提下，對可能的解決方案排序。對于這種新技術(shù)，研究界也花費了時間去采納。但從這個世紀(jì)之初，強(qiáng)化學(xué)習(xí)就已經(jīng)成為所有主要實驗室深度學(xué)習(xí)研究的一個普遍組成部分。
01玩 Atari 的 DQN
圖片：DeepMind
DeepMind 將深度強(qiáng)化學(xué)習(xí)應(yīng)用在 Atari 游戲環(huán)境中玩復(fù)雜游戲。深度學(xué)習(xí)模型成功擊敗人類游戲?qū)＜业於松疃葟?qiáng)化學(xué)習(xí)在 AI 研究領(lǐng)域的領(lǐng)先地位。來年，Google 收購了 DeepMind 實驗室……
02AlphaGo 點亮新開端
是的，甚至有一部名為“AlphaGo Movie”的電影。
沒有比 Google 的 DeepMind AlphaGo 打敗職業(yè)圍棋世界冠軍更合適的例證，來說明這十年強(qiáng)化學(xué)習(xí)的普及。他們更進(jìn)了一步，沒有任何人類監(jiān)督學(xué)習(xí)，AlphaGo Master 設(shè)法以 3－0 打敗了世界排名第一的圍棋選手。這個事件包攬了全球頭條，并使 AI 算法普及成為主流。AI 目前能在復(fù)雜賽事最高級別競賽中擊敗人類，這是非常了不起的成就。
03機(jī)器人
索菲亞并非我們所期望的機(jī)器人。圖片：ELLE
強(qiáng)化學(xué)習(xí)模型最關(guān)鍵的應(yīng)用是設(shè)計機(jī)器人。我們目前仍在等待能安全部署在家中實用的商用機(jī)器人。盡管機(jī)器人在持續(xù)改進(jìn)，但他們作為實用工具（而非娛樂工具）尚不盡人意。機(jī)器人應(yīng)用包括了機(jī)器人手術(shù)臂、太空探索機(jī)器人和工業(yè)機(jī)器人。設(shè)計各種各樣實際工作的機(jī)器人，并確保它在任意環(huán)境中的性能，是項挑戰(zhàn)。在監(jiān)督環(huán)境中訓(xùn)練機(jī)器人的能力有明顯瓶頸，因此，研究者們期待基于獎勵的深度強(qiáng)化學(xué)習(xí)能成為一個解決方案。
下一個十年會怎樣？
在見證了深度學(xué)習(xí)革命性的十年，我們確信接下來的十年應(yīng)該令我們所有人興奮。在這十年中，AI 將接手大部分的工作嗎（通常的小報標(biāo)題）？我們能夠優(yōu)化深度學(xué)習(xí)模型，從而在日常工作中持續(xù)使用嗎？接下來的內(nèi)容將會回答這些擔(dān)心。
01量子計算
圖片：Cisco
在過去十年里，物理學(xué)本身在探究量子力學(xué)方面取得了長足的進(jìn)步，但我們即將見證一場技術(shù)上的巨大革命。量子計算的目標(biāo)是利用量子迭加和糾纏原理，提供領(lǐng)先于我們現(xiàn)有系統(tǒng)數(shù)光年的計算能力。如果我們能夠控制量子位，我們在 21 世紀(jì) 20 年代能完美見證這些量子計算機(jī)的威力。盡管對于它可能解密我們現(xiàn)在所有的安全算法存在擔(dān)心，但每項革新，其優(yōu)點都將遠(yuǎn)遠(yuǎn)超過它的缺點。
02無監(jiān)督學(xué)習(xí)
圖片：Analytics India Magazine
今天大多數(shù)深度學(xué)習(xí)模型都嚴(yán)重依賴于海量訓(xùn)練數(shù)據(jù)的可獲取性。這個問題可能的解決方案是元學(xué)習(xí)和小樣本學(xué)習(xí)。元學(xué)習(xí)算法的目的是通過有限任務(wù)的學(xué)習(xí)，學(xué)會如何執(zhí)行大量的新任務(wù)。按照相似的思路，小樣本學(xué)習(xí)算法是通過有限數(shù)量數(shù)據(jù)的學(xué)習(xí)來執(zhí)行任務(wù)。兩者都聚焦于有效表征的泛化。
03淺層學(xué)習(xí)網(wǎng)絡(luò)
圖片：Andrew Ng
更深入會是前進(jìn)的方向嗎？不一定，因為越來越多的研究者正在尋找深度學(xué)習(xí)模型的替代方案。深度模型需要更多的計算和更多的數(shù)據(jù)。雖然深度學(xué)習(xí)毋庸置疑是這十年的明星，但這十年也是一個好時機(jī)，可以使深度學(xué)習(xí)能很快被濃縮為提供相似或更好性能的更緊湊、可擴(kuò)展的模型。
04算力 vs 深度學(xué)習(xí)進(jìn)展
摩爾定律觀察發(fā)現(xiàn)，集成電路上元器件數(shù)量大約每隔 2 年翻一番。自 1975 年摩爾定律提出以來一直顛撲不破，但近 10 年來我們的發(fā)展慢了下來。因此，很多人相信技術(shù)進(jìn)步即將到來，很可能就是我們前文討論的量子計算。這將有助于推動深度學(xué)習(xí)的重大進(jìn)步。
作者 ｜ Jürgen Schmidhuber 編譯 ｜ 張秋玥、馬莉
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
