2020年AI怎么發(fā)展？聽加州大學(xué)、谷歌、英偉達(dá)、IBM怎么說

原標(biāo)題：2020年AI怎么發(fā)展？聽加州大學(xué)、谷歌、英偉達(dá)、IBM怎么說

AI 領(lǐng)域最杰出的頭腦如何總結(jié) 2019 年技術(shù)進(jìn)展，又如何預(yù)測(cè) 2020 年發(fā)展趨勢(shì)呢？本文介紹了 Soumith Chintala、Celeste Kidd、Jeff Dean 等人的觀點(diǎn)。

人工智能不是將要改變世界，而是正在改變世界。在新年以及新的十年開啟之際，VentureBeat 采訪了人工智能領(lǐng)域最杰出的頭腦，來回顧人工智能在 2019 年的進(jìn)展，展望機(jī)器學(xué)習(xí)在 2020 年的前景。受訪者包括 PyTorch 之父 Soumith Chintala、加州大學(xué)教授 Celeste Kidd、谷歌 AI 負(fù)責(zé)人 Jeff Dean、英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar，以及 IBM 研究主管 Dario Gil。

PyTorch 之父 Soumith Chintala

PyTorch 負(fù)責(zé)人、首席工程師和創(chuàng)造者 Soumith Chintala

不論用哪種衡量方式，PyTorch 都是現(xiàn)在全世界最流行的機(jī)器學(xué)習(xí)框架。PyTorch 是基于 2002 年發(fā)布的 Torch 開源框架的衍生，于 2016 年發(fā)布初始版本，目前其擴(kuò)展和庫均穩(wěn)步增長(zhǎng)。

在 2019 年秋季舉辦的 PyTorch 開發(fā)者大會(huì)上，F(xiàn)acebook 發(fā)布了 PyTorch 1.3 版本，該版本支持量化和 TPU 支持。會(huì)上還發(fā)布了深度學(xué)習(xí)可解釋性工具 Captum 和 PyTorch Mobile。此外，還有機(jī)器人框架 PyRobot 和代碼共享神器 PyTorch Hub，鼓勵(lì)機(jī)器學(xué)習(xí)從業(yè)者擁抱可復(fù)現(xiàn)性。

在這次 PyTorch 開發(fā)者大會(huì)上，Chintala 表示：2019 年機(jī)器學(xué)習(xí)領(lǐng)域幾乎沒有突破性進(jìn)展。

「我認(rèn)為，自 Transformer 之后，基本上沒有什么突破。2012 年 CNN 在 ImageNet 大賽上奪冠，迎來了高光時(shí)刻，2017 年是 Transformer。這是我的個(gè)人看法?！顾f。

他認(rèn)為 DeepMind 的 AlphaGo 對(duì)強(qiáng)化學(xué)習(xí)的貢獻(xiàn)是突破性的，但其結(jié)果很難在現(xiàn)實(shí)世界的實(shí)際任務(wù)中實(shí)現(xiàn)。

Chintala 還認(rèn)為，PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架的演化改變了研究者探索新思路和做研究的方式?！高@些框架使研究者的速度比之前快了一兩個(gè)數(shù)量級(jí)，從這個(gè)角度看，這是一項(xiàng)巨大突破。」

2019 年，谷歌和 Facebook 的開源框架都引入了量化，用于提升模型訓(xùn)練速度。Chintala 預(yù)測(cè)，2020 年 PyTorch 的 JIT 編譯器和神經(jīng)網(wǎng)絡(luò)硬件加速器（如 Glow）等工具的重要性和采用范圍將迎來「爆發(fā)」。

「從 PyTorch 和 TensorFlow 中，可以看到框架的融合趨勢(shì)。量化以及大量其他較低級(jí)功能出現(xiàn)的原因是，框架之爭(zhēng)的下一戰(zhàn)是編譯器——XLA（TensorFlow）、TVM（陳天奇團(tuán)隊(duì)）、Glow（PyTorch），大量創(chuàng)新即將出現(xiàn)。未來幾年，你們會(huì)看到如何更智能地量化、更好地融合、更高效地使用 GPU，以及如何針對(duì)新硬件執(zhí)行自動(dòng)編譯。」

和本文大多數(shù)受訪者一樣，Chintala 預(yù)測(cè) 2020 年 AI 社區(qū)將用更多度量指標(biāo)衡量 AI 模型的性能，而不僅僅是準(zhǔn)確率。社區(qū)將注意力轉(zhuǎn)向其他因素，如創(chuàng)建模型所需的電量、如何向人類解釋輸出結(jié)果，以及如何使 AI 更好地反映人類想要構(gòu)建的社會(huì)。

「回望過去五六年，我們只關(guān)注準(zhǔn)確率和原始數(shù)據(jù)，例如『英偉達(dá)的模型更準(zhǔn)確，還是 Facebook 的模型更準(zhǔn)確？』我認(rèn)為，2020 年我們將（以更復(fù)雜的方式）思考，如果模型不具備良好的可解釋性（或滿足其他標(biāo)準(zhǔn)），那就算準(zhǔn)確率高出 3% 又怎樣呢？」Chintala 表示。

加州大學(xué)教授 Celeste Kidd

加州大學(xué)伯克利分校發(fā)展心理學(xué)家 Celeste Kidd

Celeste Kidd 是加州大學(xué)伯克利分校 Kidd 實(shí)驗(yàn)室的主管，她和她的團(tuán)隊(duì)致力于探索兒童的學(xué)習(xí)方式。他們的見解可以幫助那些嘗試以類似于培養(yǎng)兒童的方式訓(xùn)練模型的神經(jīng)網(wǎng)絡(luò)創(chuàng)建者。

Kidd 表示：「人類嬰兒不需要標(biāo)注數(shù)據(jù)集，但他們也能學(xué)習(xí)得很好。這其中的關(guān)鍵在于我們需要理解這其中的原理。」

她認(rèn)為，當(dāng)你對(duì)嬰兒的行為綜合分析后，你確實(shí)會(huì)看到他們理解一些事物的證據(jù)，但是他們并非完美的學(xué)習(xí)者?！笅雰耗茏詣?dòng)學(xué)習(xí)很多東西」這種說法是對(duì)嬰兒能力的過度美化。

「嬰兒很棒，但他們也會(huì)出很多錯(cuò)。我看到人們隨意地進(jìn)行對(duì)比，將嬰兒的行為理想化了。我認(rèn)為人們將會(huì)更加重視如何將當(dāng)前的研究和未來的研究目標(biāo)之間的聯(lián)系」

在 AI 領(lǐng)域，「黑箱」一詞已誕生多年，該詞常用于批評(píng)神經(jīng)網(wǎng)絡(luò)缺乏可解釋性。但 Kidd 認(rèn)為，在 2020 年，可能不會(huì)再有這種對(duì)神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)了。

「黑箱這個(gè)觀點(diǎn)是虛假的……大腦也是黑箱，而我們?cè)诹私獯竽X工作原理方面已經(jīng)獲得巨大進(jìn)展。」

在為「黑箱」理論祛魅的過程中，Kidd 閱讀了 MIT-IBM Watson AI 實(shí)驗(yàn)室執(zhí)行主任 Aude Oliva 的研究。

「我們當(dāng)時(shí)討論過這件事。我之前認(rèn)為系統(tǒng)是黑箱，她批評(píng)了我，說當(dāng)然不是黑箱。你當(dāng)然可以將它分割開來，查看其工作方式，并運(yùn)行實(shí)驗(yàn)，就像我們?cè)诹私庹J(rèn)知過程時(shí)所做的實(shí)驗(yàn)?zāi)菢?。?/p>

上個(gè)月，Kidd 在 NeurIPS 2019 開幕式上發(fā)表主旨演講。她的演講主要涉及人類大腦如何堅(jiān)持己見、注意力系統(tǒng)以及貝葉斯統(tǒng)計(jì)。

她注意到了內(nèi)容推薦系統(tǒng)如何操縱人類的想法。追求讓用戶最大程度參與的系統(tǒng)對(duì)人類如何形成想法和觀點(diǎn)有著重大影響。

2020 年，她希望看到更多人意識(shí)到技術(shù)工具和技術(shù)決策對(duì)現(xiàn)實(shí)生活的影響，拒絕「工具創(chuàng)造者不對(duì)工具使用者的行為和后果負(fù)責(zé)」的觀點(diǎn)。

「我聽到太多人用『我不是衛(wèi)道士』這樣的說辭自我辯護(hù)。我認(rèn)為必須有更多人意識(shí)到這是不誠實(shí)的?！?/p>

「作為社會(huì)一員，尤其是作為研發(fā)這些工具的人，我們需要直接正視隨之而來的責(zé)任?！?/p>

谷歌 AI 負(fù)責(zé)人 Jeff Dean

谷歌 AI 負(fù)責(zé)人 Jeff Dean

Jeff Dean 在谷歌工作了二十年，現(xiàn)已領(lǐng)導(dǎo)谷歌 AI 近兩年，他是谷歌早期很多搜索和分布式網(wǎng)絡(luò)算法的設(shè)計(jì)師，谷歌大腦的早期成員。

Jeff Dean 在 NeurIPS 2019 會(huì)議上發(fā)表了兩場(chǎng)演講，這兩場(chǎng)演講分別關(guān)于使用機(jī)器學(xué)習(xí)設(shè)計(jì) ASIC 半導(dǎo)體（ML for Systems）和 AI 社區(qū)幫助解決氣候變化的方法（Tackling Climate Change with ML）。他認(rèn)為后者是這個(gè)時(shí)代最重要的問題之一。在關(guān)于氣候變化的演講里，Dean 討論了 AI 怎樣能夠成為零碳產(chǎn)業(yè)的方法，以及使用 AI 幫助改變?nèi)祟惖男袨椤?/p>

談到對(duì) 2020 年的期待，Dean 表示，他希望看到多模型學(xué)習(xí)領(lǐng)域的進(jìn)展。在這一領(lǐng)域中，多模態(tài)學(xué)習(xí)依賴多媒體數(shù)據(jù)進(jìn)行訓(xùn)練，而多任務(wù)學(xué)習(xí)則讓網(wǎng)絡(luò)通過訓(xùn)練一次就可以完成多項(xiàng)任務(wù)。

毫無疑問，2019 年最顯著的機(jī)器學(xué)習(xí)趨勢(shì)之一是：基于 Transformer 的自然語言模型的發(fā)展和壯大（上文中 Chintala 也認(rèn)為這是 AI 領(lǐng)域近年來的最大突破之一）。在 2018 年，谷歌開源了基于 Transformer 的模型 BERT。而 2019 年大量頂級(jí)性能的模型（如谷歌的 XLNet、微軟的 MT-DNN、Facebook 的 RoBERTa）都基于 Transformer 構(gòu)建。而且，谷歌發(fā)言人還告訴 VentureBeat，XLNet 2 將于本月底發(fā)布。

Jeff Dean 在談到 Transformer 進(jìn)展時(shí)表示，「基于 Transformer 實(shí)際獲得的機(jī)器學(xué)習(xí)模型可以執(zhí)行比之前更復(fù)雜的 NLP 任務(wù)，從這個(gè)角度看，這個(gè)領(lǐng)域的研究碩果累累?！沟撬a(bǔ)充道，該領(lǐng)域仍有發(fā)展空間?！肝覀冞€是希望能夠使模型更多地理解語境?，F(xiàn)在 BERT 等模型可以很好地處理數(shù)百個(gè)單詞的語境，但如果語境包含 10000 個(gè)單詞就不行了。這是一個(gè)有趣的研究方向?！?/p>

Dean 表示他希望社區(qū)更少去強(qiáng)調(diào)微小的 SOTA 進(jìn)展，而是多關(guān)注如何創(chuàng)建更穩(wěn)健的模型。

谷歌 AI 將推進(jìn)新計(jì)劃，如 2019 年 11 月開啟的內(nèi)部項(xiàng)目「Everyday Robot」，該項(xiàng)目旨在創(chuàng)造在家庭和工作環(huán)境中完成常見任務(wù)的機(jī)器人。

英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar

英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar

英偉達(dá)的 AI 研究圍繞多個(gè)領(lǐng)域展開，從針對(duì)醫(yī)療領(lǐng)域的聯(lián)邦學(xué)習(xí)到自動(dòng)駕駛、超級(jí)計(jì)算機(jī)、顯卡不一而足。

2019 年，在英偉達(dá)負(fù)責(zé)機(jī)器學(xué)習(xí)工作的 Anandkumar 的重點(diǎn)之一是強(qiáng)化學(xué)習(xí)模擬框架。目前這樣的框架越來越流行，也更加成熟。

2019 年，我們看到英偉達(dá)開發(fā)了自動(dòng)駕駛平臺(tái) Drive 和機(jī)器人模擬器 Isaac，以及基于模擬生成合成數(shù)據(jù)的模型和 GAN。

例如，去年 StyleGAN 和 GauGAN 等 AI 模型大出風(fēng)頭。而在上個(gè)月，英偉達(dá)還發(fā)布了 StyleGAN2。

這其中使用的便是 GAN 這一神經(jīng)網(wǎng)絡(luò)。這是一項(xiàng)能「混淆現(xiàn)實(shí)和虛擬界限」的技術(shù)，Anandkumar 認(rèn)為該技術(shù)能夠幫助解決 AI 社區(qū)面臨的難題，如抓握式機(jī)器臂和自動(dòng)駕駛。

Anandkumar 預(yù)測(cè)，2020 年迭代算法（iterative algorithm）、自監(jiān)督和自訓(xùn)練方法將有新的進(jìn)展。所謂自訓(xùn)練，指的是模型使用無監(jiān)督數(shù)據(jù)，通過自我訓(xùn)練得到改進(jìn)。

「我認(rèn)為迭代算法就是未來，因?yàn)槿绻阒蛔鲆粋€(gè)前饋網(wǎng)絡(luò)，它的穩(wěn)健性可能是個(gè)問題。而如果你嘗試進(jìn)行多次迭代——基于數(shù)據(jù)類型或準(zhǔn)確率要求來調(diào)試迭代，那么達(dá)到目標(biāo)的可能性就會(huì)大大增加?！?/p>

Anandkumar 認(rèn)為，2020 年 AI 社區(qū)將面臨多項(xiàng)挑戰(zhàn)，比如說，AI 社區(qū)需要和領(lǐng)域?qū)＜液献鳛樘囟ㄐ袠I(yè)創(chuàng)建模型。政策制定者、個(gè)人和 AI 社區(qū)還需要處理特征表示上的問題，并確保模型訓(xùn)練所用數(shù)據(jù)集能夠代表不同群體。

「我們需要更加審慎地審查數(shù)據(jù)收集和使用過程。歐洲正在這樣做，但在美國更應(yīng)該如此。出于正當(dāng)理由，美國國家運(yùn)輸安全委員會(huì)（NTSB）和聯(lián)邦公共交通管理局（FTA）等組織將更多地執(zhí)行此類操作。」

Anandkumar』s 認(rèn)為，2019 年的一大驚喜是文本生成模型的突飛猛進(jìn)。

「2019 是語言模型之年，不是嗎？現(xiàn)在，我們第一次得到了更連貫的文本生成結(jié)果，且其長(zhǎng)度相當(dāng)于整個(gè)段落，這在之前絕不可能，這非常棒?！?/p>

2019 年 8 月，英偉達(dá)發(fā)布了 Megatron 自然語言模型。該模型具備 80 億參數(shù)，被認(rèn)為是全球最大的 Transformer 模型。Anandkumar 表示，她被人們開始按模型是否具備人格或個(gè)性進(jìn)行分類的方式震驚到了。她期待看到更加適用于特定行業(yè)的文本模型。

「我們?nèi)匀粵]有到達(dá)交互式對(duì)話生成階段。在這個(gè)階段中，我們可以追蹤和進(jìn)行自然對(duì)話。我認(rèn)為 2020 年這一方向會(huì)有更多嘗試?！?/p>

IBM 研究主管 Dario Gil

IBM 研究主管 Dario Gil

Dario Gil 帶領(lǐng)的研究者團(tuán)隊(duì)為白宮和全球企業(yè)提供積極指導(dǎo)。他認(rèn)為，2019 年機(jī)器學(xué)習(xí)領(lǐng)域的重要進(jìn)展包括生成模型和語言模型的進(jìn)步。

他預(yù)測(cè)，使用較低精度架構(gòu)更高效地訓(xùn)練模型方面會(huì)有持續(xù)進(jìn)展。開發(fā)更高效的 AI 模型是 NeurIPS 的重點(diǎn)，IBM Research 在會(huì)上介紹了使用 8-bit 精度模型的深度學(xué)習(xí)技術(shù)。

「總體上，使用現(xiàn)有硬件和 GPU 架構(gòu)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式仍然是低效的。因此，從根本上重新思考非常重要。我們已經(jīng)提升了 AI 的計(jì)算效率，我們還將做得更多?！?/p>

Gil 引用研究表示，機(jī)器學(xué)習(xí)訓(xùn)練的需求每三個(gè)半月翻一番，比摩爾定律預(yù)測(cè)的要快得多。

Gil 對(duì) AI 加速推動(dòng)科學(xué)新發(fā)現(xiàn)感到很振奮，但他表示，IBM 研究院的研究重點(diǎn)將是神經(jīng)符號(hào)方法。

2020 年，Gil 希望 AI 從業(yè)者和研究者能夠關(guān)注準(zhǔn)確率以外的度量指標(biāo)，考慮在生產(chǎn)環(huán)境中部署模型的價(jià)值。AI 領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是準(zhǔn)確率至上，這將是 AI 得到繼續(xù)采用的關(guān)鍵。

「社區(qū)中有些人可能會(huì)說『不要擔(dān)心，只需要提高準(zhǔn)確率。人們會(huì)習(xí)慣黑箱這件事的?！唬蛘咚麄冋J(rèn)為人類有時(shí)做決策時(shí)也不給出解釋啊。我認(rèn)為將社區(qū)的智力聚焦于比準(zhǔn)確率更好的事情是非常非常重要的。在任務(wù)關(guān)鍵型應(yīng)用中，AI 系統(tǒng)不能是黑箱?！?/p>

AI 只有少數(shù)機(jī)器學(xué)習(xí)才能做，具備數(shù)據(jù)科學(xué)和軟件工程技能的更多人只用使用它就行了。Gil 認(rèn)為這種認(rèn)知應(yīng)該摒棄。

「如果我們讓 AI 保持神秘，只有該領(lǐng)域的 PhD 才能研究，這對(duì) AI 的應(yīng)用沒有好處?！?/p>

2020 年，Gil 對(duì)神經(jīng)符號(hào) AI 尤其感興趣。IBM 將尋找神經(jīng)符號(hào)方法為概率編程（讓 AI 學(xué)習(xí)如何編程）和能夠分享決策背后原因的模型等賦能。

「采用神經(jīng)符號(hào)方法，能夠?qū)W(xué)習(xí)和推理結(jié)合起來，即符號(hào)維度嵌入到學(xué)習(xí)程序中。通過這種方式，我們已經(jīng)證明可使用所需數(shù)據(jù)的一部分進(jìn)行學(xué)習(xí)。因?yàn)槟銓W(xué)習(xí)了程序，你的最終輸出是可解釋的，因?yàn)橛辛诉@些可解釋的輸出，系統(tǒng)就更加可信?！?/p>

除了 MIT-IBM Watson 實(shí)驗(yàn)室的主要項(xiàng)目——神經(jīng)符號(hào)和常識(shí)推理以外，Gil 表示 2020 年 IBM 研究院還將探索用于 AI 的量子計(jì)算，以及較低精度架構(gòu)以外的 AI 模擬硬件。

總結(jié)

機(jī)器學(xué)習(xí)將繼續(xù)塑造商業(yè)和社會(huì)，本文采訪的這些研究者和專家發(fā)現(xiàn)了如下趨勢(shì)：

神經(jīng)語言模型的進(jìn)展是 2019 年的重大事件，Transformer 是其背后的巨大助力。2020 年會(huì)出現(xiàn)更多 BERT 變體和基于 Transformer 的模型。

AI 行業(yè)應(yīng)該尋找準(zhǔn)確率以外的模型輸出度量指標(biāo)。

2020 年，半監(jiān)督學(xué)習(xí)、神經(jīng)符號(hào)等方法和多任務(wù)學(xué)習(xí)、多模態(tài)學(xué)習(xí)等子領(lǐng)域可能出現(xiàn)進(jìn)展。

編譯器和量化等方法可能在 PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架中更加流行，以作為優(yōu)化模型性能的方式。

本文轉(zhuǎn)自機(jī)器之心

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。