深度學習之上，圖神經(jīng)網(wǎng)絡（GNN ）崛起

由于深度學習在可推理和可解釋性方面存在比較大的局限性，結(jié)合了圖計算和深度學習的圖神經(jīng)網(wǎng)絡(GNNs)成為近期學術(shù)界和工業(yè)界研究熱度頗高的新方向之一。業(yè)界普遍認為，GNN 恰好可以彌補前面提到的深度學習無法解決的兩個缺陷。近一年 GNN 在越來越多應用場景上取得了成功，但它也仍面臨著許多挑戰(zhàn)。

螞蟻金服在今年的數(shù)據(jù)挖掘研究領(lǐng)域頂級年會 KDD 2019 上召開了以“圖神經(jīng)網(wǎng)絡研究及實際應用”為主題的研討會。InfoQ 記者有幸采訪到了螞蟻金服人工智能部研究員宋樂，聊聊深度學習和 GNN 在大型工業(yè)級場景的應用和實踐、目前面臨的難點挑戰(zhàn)，以及未來技術(shù)前進的可能方向。

宋樂老師在 KDD2019

GNN已成“AI新貴”

除了傳統(tǒng)的深度學習方法，圖神經(jīng)網(wǎng)絡(GNN)在近兩年也是公認的“AI 新貴”。由于圖結(jié)構(gòu)的強大表現(xiàn)力，用機器學習 / 深度學習方法分析圖的研究越來越受重視。而圖神經(jīng)網(wǎng)絡(GNN)由于較好的性能和可解釋性，已經(jīng)成為一種廣泛應用的圖分析方法，更有不少人將它看作“深度學習的新一代技術(shù)”。近一年來，學界和工業(yè)界陸續(xù)推出了 GNN 的相關(guān)框架和工具，進一步促進了這一領(lǐng)域的蓬勃發(fā)展。

GNN 提供了圖表征學習(Graph representation learning)或圖嵌入技術(shù)(Graph embedding)的框架，可以用于各種圖數(shù)據(jù)上的監(jiān)督，半監(jiān)督及強化學習。GNN 將圖上的元素，如節(jié)點，連接或者子圖表達成為一個向量，而不同元素所對應的向量之間的距離保存了它們在原圖上的相似關(guān)系。這樣將拓撲關(guān)系表達為特征空間中的向量的做法，本質(zhì)上是一種基于拓撲信息的特征提取過程，其結(jié)果是溝通了傳統(tǒng)的圖分析和各種傳統(tǒng)機器學習或數(shù)據(jù)挖掘方法，在推薦系統(tǒng)、知識圖譜構(gòu)建及推理等領(lǐng)域都有許多應用。比如說，可以通過引入了圖卷積操作構(gòu)造了一個適用于圖數(shù)據(jù)的半監(jiān)督學習框架，用于提取更精確的特征表達或直接進行分類操作，并可以結(jié)合圖像分割、視頻理解、交通預測等許多領(lǐng)域開始探索其應用價值。無論對于圖分析還是深度學習，GNN 都是一個極有價值的的演化。

GNN 的出現(xiàn)解決了傳統(tǒng)深度學習方法難以應用到非規(guī)則形態(tài)數(shù)據(jù)上的痛點，大大擴展了神經(jīng)網(wǎng)絡的應用空間，并在一些問題上改進了模型的可解釋性。對于許多建立在非規(guī)則形態(tài)數(shù)據(jù)基礎(chǔ)之上的業(yè)務場景，諸如推薦、消歧、反欺詐等，GNN 都有極大的應用潛力。以螞蟻金服為例，GNN 已經(jīng)廣泛部署于普惠金融業(yè)務的推薦和風控中。

宋樂還列舉了兩個比較有趣的新應用：

一個是 GNN 在知識圖譜上推理的應用。知識圖譜是螞蟻金服非常重要的研發(fā)方向之一，借助知識圖譜可以把中國所有注冊企業(yè)都聯(lián)系起來，圖譜里每個節(jié)點可能就是一個注冊的商家，這個節(jié)點數(shù)量可能會達到幾千萬。這些商家之間可能有一些是供應商關(guān)系，有一些是同行競爭對手的關(guān)系，有一些可能是存在法律訴訟的關(guān)系。如果想根據(jù)這個圖來做一些預測和推測，用于普惠金融業(yè)務的推薦和風控，就可以借助 GNN。

另一個是動態(tài)圖的應用。本質(zhì)上，所有金融交易問題都是動態(tài)的，誰在什么時間買了什么東西，都是有一個對應的時間戳的，隨著新的交易發(fā)生、新的賬號產(chǎn)生，整個圖應該是在不斷變化的。如何把時間和圖的結(jié)構(gòu)一起考慮進去做表征，這個也是比較有挑戰(zhàn)性的前沿問題。目前螞蟻金服正在貸款準入模型中嘗試應用動態(tài)圖。

除此之外，據(jù)宋樂保守估計，GNN 目前至少已在阿里巴巴數(shù)十個業(yè)務場景落地。不過這只是 GNN 發(fā)展樂觀的一面。

從業(yè)界整體落地情況來看，GNN 仍然處于發(fā)展初期。從 2018 年 10 月，由 DeepMind、谷歌大腦、麻省理工等近 30 名學者聯(lián)名在 ArXiv 上傳的論文《Relational inductive biases, deep learning, and graph networks》將 GNN 相關(guān)工作推到一個新的高度以來，GNN 火熱發(fā)展還未到一年，很多本質(zhì)問題尚未突破。與工業(yè)級深度學習應用面臨的問題類似，GNN 要真正做到在工業(yè)界大規(guī)模落地，在底層系統(tǒng)架構(gòu)方面仍需要做大量工作。

如何大規(guī)模落地 GNN 仍面臨挑戰(zhàn)

在宋樂看來，目前 GNN 在工業(yè)界大規(guī)模落地面臨的挑戰(zhàn)主要在于大規(guī)模圖網(wǎng)絡的訓練和線上更新預測兩方面。未來互聯(lián)網(wǎng)公司只要涉及 GNN 相關(guān)應用工作，幾乎都逃不開大規(guī)模圖網(wǎng)絡。

首先，工業(yè)級業(yè)務場景，尤其是互聯(lián)網(wǎng)公司的業(yè)務場景，圖網(wǎng)絡規(guī)模通常都很大，至少包含億級，甚至是十億級、百億級的圖節(jié)點和邊。要計算這么大規(guī)模的圖神經(jīng)網(wǎng)絡，通常一臺機器是無法達到想要的效果的，這時就需要一個專門的分布式圖計算平臺。如果沒有一個平臺能夠支撐 GNN 所需的海量計算，就很難把 GNN 做好。但目前就業(yè)界來說，GNN 平臺的進展仍然比較慢。還沒有哪個企業(yè)能夠推出一個足夠好的開源 GNN 平臺，并且能自信地表示可以很好地支持億級節(jié)點的圖網(wǎng)絡。

在對 GNN 模型進行訓練時，算法需要與分布式圖存儲平臺進行高效交互，這也是非常有挑戰(zhàn)性的一項工作。在模型訓練時，算法需要不斷隨機查詢節(jié)點、節(jié)點的鄰居和鄰居的鄰居，取出數(shù)據(jù)放到內(nèi)存中做深度學習模型的前向 Inference 和后向的回傳，這在大規(guī)模圖上其實是很難做好的。對于 GNN 平臺來說，做深度學習以及和數(shù)據(jù)庫打交道這兩個環(huán)節(jié)常常是導致速度慢最大的瓶頸。在過去兩年，螞蟻金服在分布式圖存儲這個方向上做了很多努力，目前已經(jīng)開發(fā)出了一個高效的分布式圖存儲平臺，以及可以跟這個圖存儲平臺比較高效地交互的圖訓練平臺。從數(shù)據(jù)上看，原來需要幾天時間的億級圖網(wǎng)絡訓練已經(jīng)可以縮短到一個小時以內(nèi)。

大規(guī)模圖神經(jīng)網(wǎng)絡在線上的預測也是難點之一。GNN 的 Embedding 并非實時的，以金融交易場景為例，每次出現(xiàn)一筆新的交易，圖網(wǎng)絡就會多一條邊，圖就會發(fā)生變化，如果想做好實時預測，就需要用最新的邊根據(jù)這個 GNN 的參數(shù)，算出它的表征來進行預測。但是通常在線上環(huán)境中，要在非常短的響應時間內(nèi)構(gòu)一個圖，把 GNN 計算好非常困難，特別是在交易量很大的情況下，通常都存在一定的滯后。如何讓 GNN 能夠在線上高效地直接做這個運算，這個挑戰(zhàn)還沒有完全解決，需要和底層的系統(tǒng)架構(gòu)做一些合作。

宋樂坦言，即使沒有 GNN，圖計算本身在工業(yè)界就是一個比較困難的問題。因為圖和圖像、文本有所不同，圖的每個節(jié)點連接的鄰居個數(shù)可能不一樣、節(jié)點類型不一樣、邊的類型不一樣，就制造了很多不規(guī)則的運算，每個節(jié)點需要運算的程度不一樣。而計算機特別適合規(guī)則運算，卻天生不適合不規(guī)則運算，圖的計算就屬于不規(guī)則運算，以前傳統(tǒng)的圖算法也有各種各樣的研究，但都不能很好地解決問題，再加上 GNN 引入了深度學習這一層，導致復雜度陡增，難度就更大了。因此，如何在很短的時間內(nèi)得到 GNN 的訓練結(jié)果和預測結(jié)果，都存在很大的挑戰(zhàn)。如果這一問題能夠得到解決，使 GNN 的訓練和預測都做到足夠快，那么算法工程師在建模的時候，就可以很快地嘗試 GNN 的效果以及各種不同網(wǎng)絡結(jié)構(gòu)下 GNN 的效果，進一步修改提高 GNN 的結(jié)果。

不管在學術(shù)界還是工業(yè)界，目前這都還是一個比較前沿的問題，同時這也是當前 GNN 領(lǐng)域的瓶頸之一。雖然 Google、Facebook 等業(yè)內(nèi)大公司都在推動 GNN 平臺的開發(fā)工作，但目前還沒有一個能夠真正做好大規(guī)模分布式圖網(wǎng)絡計算的主流開源平臺。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。