2018年3月，搜狗搜索聯(lián)合清華大學計算機系、國家超級計算無錫中心、數(shù)學工程與先進計算國家重點實驗室、卡塔爾計算研究所、國家并行計算機工程技術研究中心等國家級科研單位，共同研發(fā)推出了世界上首個基于超級計算機的超大規(guī)模圖計算系統(tǒng)——神圖。神圖系統(tǒng)大幅提升了圖計算系統(tǒng)所能夠支持的最大數(shù)據(jù)量和計算復雜度，這標志著超大規(guī)模圖數(shù)據(jù)的計算能力實現(xiàn)了巨大的飛躍，同時，也為搜索領域的用戶體驗開創(chuàng)了新的篇章。
神圖系統(tǒng)的運行環(huán)境是神威·太湖之光國產(chǎn)超級計算機，2016年6月至今，神威·太湖之光已連續(xù)4次獲得世界高性能計算機排行榜第一名，是目前世界上最快的計算機?；谏裢?middot;太湖之光超級計算機的先進架構，神圖攻克了大規(guī)模圖計算系統(tǒng)面臨的多項核心技術難題，針對超級計算機的運行特點進行了深度優(yōu)化，充分挖掘了神威·太湖之光的超寬并行架構的計算能力，將真實任務的應用性能提升了兩個數(shù)量級。
搜狗搜索始終著力于對前沿技術成果的推動、創(chuàng)新，致力于為用戶帶來便捷、豐富的個性化搜索體驗，滿足用戶的多元化搜索需求。搜狗搜索智能的用戶分析系統(tǒng)為神圖系統(tǒng)的研發(fā)提供了不可或缺的、全方位多角度的用戶實用場景。
神威·太湖之光超級計算機 ©搜狗百科
過去，超級計算機主要用于科學與工程計算，還比較缺乏面向超大規(guī)模數(shù)據(jù)分析的非數(shù)值計算應用。圖(Graph)能夠表達豐富關聯(lián)的關系，是搜索和人工智能領域中常用的數(shù)據(jù)結構之一?；趫D的數(shù)據(jù)挖掘算法已經(jīng)廣泛應用于搜索系統(tǒng)的網(wǎng)頁鏈接關系分析、文檔主題建模、用戶點擊行為分析、實體與關系挖掘、搜索意圖理解等任務中?；ヂ?lián)網(wǎng)應用的數(shù)據(jù)規(guī)模和用戶使用頻度均在持續(xù)快速增長，這對圖計算系統(tǒng)的橫向擴展能力提出了全新挑戰(zhàn)?，F(xiàn)有分布式圖計算系統(tǒng)普遍采用按點劃分或按邊劃分的分布計算模式，但由于互聯(lián)網(wǎng)環(huán)境下數(shù)據(jù)分布遵從冪律分布，頂點度數(shù)存在極大的不平衡性，兩種方式都面臨嚴重的性能問題。超級計算機先進的體系架構和超高的計算能力為超大規(guī)模圖計算任務既帶來了機遇，也提出了挑戰(zhàn)。
例：網(wǎng)頁鏈接圖 © Marcel Salathe
從2017年開始，搜狗搜索聯(lián)合清華大學計算機系等單位，共同研發(fā)了面向超大規(guī)模圖計算的神圖系統(tǒng)。研發(fā)團隊通過深入分析神威·太湖之光的系統(tǒng)大容量的內(nèi)存、領先的通信能力、以及大容量且能快速訪問的外存系統(tǒng)的優(yōu)勢，并同時充分結合超大規(guī)模圖算法的實際需要，創(chuàng)新性地提出分化的消息傳播技術、基于分組的消息分發(fā)技術、無鎖數(shù)據(jù)分發(fā)技術、基于內(nèi)存檢查點的高可用系統(tǒng)等多項新技術，成功研發(fā)出可支持BFS/WCC/PageRank等核心圖計算算法的神圖系統(tǒng)，計算規(guī)?？梢詳U展到神威·太湖之光全部4萬個節(jié)點。在實際應用中，神圖能夠充分利用上千萬核的運算能力和各節(jié)點之間通信網(wǎng)絡，在12萬億條邊的真實中文網(wǎng)頁圖上完成PageRank算法的一輪計算迭代僅需21秒，與文獻中報道的業(yè)界最先進水平系統(tǒng)相比，(如微軟的GraM系統(tǒng)處理1.2萬億條邊的合成圖每輪PageRank迭代需要140秒)，所處理圖數(shù)據(jù)規(guī)模增加了一個數(shù)量級，計算耗時反而縮短了一個數(shù)量級，綜合性能提升超過百倍，實現(xiàn)了圖計算節(jié)點規(guī)模、圖數(shù)據(jù)規(guī)模以及運行速度上的巨大突破。
神圖系統(tǒng)的研發(fā)成功，在擴展了國產(chǎn)超級計算機在大數(shù)據(jù)分析領域的應用能力的同時，提供了更加迅捷的實驗、優(yōu)化超大規(guī)模圖算法的運算環(huán)境。神圖系統(tǒng)更加強大的計算能力給人工智能等相關領域提供了更廣闊的探索空間。
搜狗搜索研發(fā)團隊已經(jīng)將神圖系統(tǒng)集成、滲透到搜索大數(shù)據(jù)平臺中，新系統(tǒng)將為搜狗搜索持續(xù)優(yōu)化提供強有力的技術支撐和系統(tǒng)保障，為用戶實現(xiàn)更精準便捷的搜索體驗。同時，搜狗搜索作為人工智能領域的領跑者，將繼續(xù)致力于推進國產(chǎn)超級計算機和國產(chǎn)處理器產(chǎn)業(yè)，加速扭轉我國計算機領域核心技術和信息安全上受制于人的局面。
- 蜜度索驥：以跨模態(tài)檢索技術助力“企宣”向上生長
- 比亞迪第五代DM技術問世，首搭秦L/海豹06 DM-i，開創(chuàng)油耗2時代！
- 小紅書沉帖降權怎么做，有效方法大盤點！
- 亞洲時刻京東送上電視好禮 以舊換新一體化服務讓低價更靠譜
- 互聯(lián)網(wǎng)營銷師和全媒體運營師的區(qū)別?
- 聯(lián)想集團車計算“超級大腦”概念機亮相
- 華策影視設立專項基金成立AIGC應用研究院
- 三部委審批，聯(lián)合發(fā)布9個新職業(yè)，“互聯(lián)網(wǎng)營銷師”上榜
- 互聯(lián)網(wǎng)營銷師的報考條件是什么？
- 互聯(lián)網(wǎng)營銷師的適合人群有哪些？
- 互聯(lián)網(wǎng)營銷師行業(yè)前景怎么樣？
免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。
