霸榜IO500，中國將HPC性能天花板提升15倍

近日，存儲圈又有炸裂新消息。

高性能計算（HPC）領(lǐng)域最具影響力的IO500最新一期榜單公布，以華為OceanStor Pacific分布式存儲為核心底座的Cheeloo-1系統(tǒng)表現(xiàn)一騎絕塵，在最重要的10節(jié)點榜單中以創(chuàng)紀(jì)錄的13萬總得分位列第一，性能是上屆冠軍的15倍之多。

無疑，這份超高的存儲性能成績具有里程碑意義：不僅體現(xiàn)出華為OceanStor Pacific分布式存儲強大的產(chǎn)品力，更標(biāo)志著分布式存儲在高性能計算領(lǐng)域的重要性愈發(fā)突出，甚至加速拉開了高性能計算向HPDA（High Performance Data Analytics，高性能數(shù)據(jù)分析）演進的序幕。

HPDA是HPC新的制高點

數(shù)據(jù)正在深刻影響高性能計算領(lǐng)域。

眾所周知，隨著數(shù)字經(jīng)濟高速發(fā)展，數(shù)據(jù)已是最重要的生產(chǎn)要素之一，其對于各行各業(yè)的影響日漸凸顯，高性能計算領(lǐng)域也不例外。過去，能源勘探、基因測序、氣象預(yù)測、類腦研究、災(zāi)害模擬等是典型的HPC場景，側(cè)重數(shù)值計算，計算是絕對主角；如今，HPC場景則走向HPC+AI+大數(shù)據(jù)融合，“數(shù)據(jù)要素”扮演的角色愈發(fā)引人矚目，成為科學(xué)研究、自動駕駛等諸多HPC場景的新型驅(qū)動力。

例如，華西醫(yī)院的精準(zhǔn)醫(yī)療研究，其一臺基因測序儀一年產(chǎn)生的原始數(shù)據(jù)和膨脹數(shù)據(jù)高達8.5PB，研究人員在海量基因數(shù)據(jù)中進行多組學(xué)數(shù)據(jù)分析，首次將人類全基因組分析推進到了分鐘級時代，對精準(zhǔn)醫(yī)療發(fā)展意義重大；在氣象預(yù)測方面，預(yù)測模型加入更多維度的海量數(shù)據(jù)，意味著氣象預(yù)測可以更加快速和精準(zhǔn)，對于防災(zāi)、生產(chǎn)等有著明顯指導(dǎo)作用；在如火如荼的自動駕駛場景，模擬和驗證階段的數(shù)據(jù)量高達數(shù)百PB，汽車廠商們利用海量數(shù)據(jù)來訓(xùn)練更高級的自動駕駛方案……

人們依靠數(shù)據(jù)密集型應(yīng)用，進行海量數(shù)據(jù)實時分析，并尋找相關(guān)性，從而獲得新發(fā)現(xiàn)。HPDA的發(fā)展對于國民經(jīng)濟有著重要的價值與意義，同時也給時代提出了更為嚴(yán)苛的訴求，數(shù)據(jù)密集型應(yīng)用具有不可重復(fù)性、高度不確定性、高維、計算高度復(fù)雜等特性，且眾多HPC系統(tǒng)與應(yīng)用從“數(shù)值計算型”向“數(shù)據(jù)密集型”演進，這對互聯(lián)帶寬和存儲IO響應(yīng)有著極高的要求。

對于HPC而言，應(yīng)用類型的轉(zhuǎn)變標(biāo)志著過去重計算、輕存儲的“偏科生”建設(shè)模式，其瓶頸日益突出，加速向HPDA（High Performance Data Analytics，高性能數(shù)據(jù)分析）平臺演進是必然趨勢。這也意味著，注重數(shù)據(jù)存儲建設(shè)、關(guān)注數(shù)據(jù)價值釋放將成為HPC的長期任務(wù)。

毫無疑問，業(yè)界早已意識到數(shù)據(jù)存儲對于HPC發(fā)展的重要性。去年，CCF高性能計算專家委員會、信通院等單位聯(lián)合推出的《高性能計算系統(tǒng)性能評價白皮書》首次提出的綜合評價體系中，就將數(shù)據(jù)存儲多個指標(biāo)納入其中，提倡算力、存力平衡設(shè)計與建設(shè)的模式。

此外，從2017年11月開始，全球頂級高性能計算會議都會發(fā)布IO500榜單，與TOP500榜單并列，將數(shù)據(jù)存儲與計算并列為HPC重要的評估指標(biāo)。事實上，從近年來IO500榜單的變化，我們明顯感受到HPDA對于分布式存儲帶來的變革性影響。

從IO500讀懂分布式存儲趨勢

毫無疑問，高性能計算是分布式存儲的高價值應(yīng)用場景。在傳統(tǒng)HPC向HPDA演進的過程中，分布式存儲扮演著關(guān)鍵角色，支撐起海量數(shù)據(jù)高性能并行訪問與計算的高吞吐、高IOPS、混合負載等需求。

如何評價分布式存儲的性能優(yōu)劣？IO500榜單在2017年11月橫空出世，憑借其全面、嚴(yán)格和科學(xué)的標(biāo)準(zhǔn)化性能測試套件，以及貼近用戶實際環(huán)境和使用狀況的測試配置與方法，IO500已經(jīng)成為HPC領(lǐng)域針對存儲性能的國際權(quán)威排行榜，更是分布式存儲發(fā)展趨勢的風(fēng)向標(biāo)。

IO500每半年發(fā)布一次，包括 “總榜單”和“10節(jié)點榜單”兩類，其中“10節(jié)點榜單”非常貼近用戶真實的使用情況，其測試結(jié)果也非常便于用戶做橫向?qū)Ρ?，對用戶的參考價值極高。

經(jīng)過將近6年的持續(xù)發(fā)展與完善，IO500更像是分布式存儲產(chǎn)品先進技術(shù)的“試驗場”和產(chǎn)品力的“比武擂臺”。在HPC場景下，對于架構(gòu)、性能、帶寬、容量、延遲等持續(xù)增加的需求，各大用戶和廠商們不斷摸索、構(gòu)建出新的分布式存儲產(chǎn)品方案，在你追我趕中提升了分布式存儲的特性，切實推動了分布式存儲的發(fā)展。

例如，HPC從側(cè)重數(shù)值計算向HPC+AI+大數(shù)據(jù)融合，帶來的是應(yīng)用負載類型的多樣化和復(fù)雜化，直接推動著分布式存儲多協(xié)議和混合負載特性的發(fā)展。像自動駕駛場景，數(shù)據(jù)處理流程復(fù)雜，從數(shù)據(jù)導(dǎo)入、預(yù)處理到訓(xùn)練、仿真、結(jié)果分析，不同的數(shù)據(jù)處理環(huán)節(jié)，使用到的協(xié)議類型不盡相同，如果每個環(huán)節(jié)都采用一套存儲，則會大幅提升數(shù)據(jù)存儲成本和數(shù)據(jù)管理的復(fù)雜度，而支持多協(xié)議互通的分布式存儲，無疑成為了解決這一難題的關(guān)鍵。

再如，在IO500榜單中，用戶與數(shù)據(jù)存儲廠商攜手打造的分布式存儲方案，在穩(wěn)定性、可靠性等方面比開源方案更勝一籌，逐漸成為了HPC的主流建設(shè)模式。眾所周知，隨著應(yīng)用類型的轉(zhuǎn)變，HPC應(yīng)用的長期穩(wěn)定運行極為關(guān)鍵，對于可靠性和可用性也愈發(fā)重視。比如，氣象預(yù)測和災(zāi)難模擬等典型場景，對數(shù)據(jù)的時效性和業(yè)務(wù)連續(xù)性要求極高，一旦發(fā)生中斷，將帶來一系列連鎖反應(yīng)，而分布式存儲日漸發(fā)展出的高穩(wěn)定和高可靠的特點，則滿足了這些典型場景的需求。

綜合來看，HPC已經(jīng)成為推動分布式存儲技術(shù)、產(chǎn)品和方案發(fā)展的重要抓手，像分布式存儲的支持混合負載、多協(xié)議互通、數(shù)據(jù)高可用、全閃化等特性，均在HPC場景中得到實踐和應(yīng)用。

事實上，華為OceanStor Pacific分布式存儲在HPC領(lǐng)域的成功就是最好的例子。作為常年霸榜IO500的分布式存儲產(chǎn)品，華為OceanStor Pacific憑借多年的深耕細作，在HPC場景中不斷積累與創(chuàng)新，取得多項關(guān)鍵技術(shù)的突破，實現(xiàn)產(chǎn)品與用戶的雙贏。

華為分布式存儲：五邊形戰(zhàn)士一騎絕塵

在本次IO500榜單中，以華為OceanStor Pacific分布式存儲為核心底座的Cheeloo-1系統(tǒng)，搭載了全新研制的OceanFS2新一代并行文件系統(tǒng)，真正打破了HPC在存儲層的關(guān)鍵性能瓶頸，在總體得分、帶寬性能、元數(shù)據(jù)性能等五個維度上的得分均遙遙領(lǐng)先，堪稱全能型的五邊形戰(zhàn)士。

在滿足HPC各項存儲需求的基礎(chǔ)上，華為OceanStor Pacific分布式存儲如何做到在綜合性能上比其他廠商快得多？這得益于華為在分布式存儲領(lǐng)域始終如一的研發(fā)創(chuàng)新，逐步在應(yīng)用、算法、網(wǎng)存和架構(gòu)四個層面，形成綜合優(yōu)勢。

出處:IO500官網(wǎng)

首先，在應(yīng)用層面，華為OceanStor Pacific分布式存儲打造了應(yīng)用感知的DataTurbo數(shù)據(jù)加速引擎，利用融合數(shù)據(jù)格式、近數(shù)據(jù)處理和特征處理算子卸載加速等創(chuàng)新技術(shù)，實現(xiàn)了對各種HPDA 應(yīng)用的性能加強。

比如，針對HPDA中愈發(fā)密集、愈發(fā)不可或缺的大數(shù)據(jù)環(huán)節(jié)，數(shù)據(jù)處理流程的各類ETL嚴(yán)重影響了數(shù)據(jù)處理效率，而OceanStor Pacific分布式存儲靈活對接各種大數(shù)據(jù)引擎的“基操”，實現(xiàn)了數(shù)據(jù)湖和數(shù)倉之間的數(shù)據(jù)共享，大幅減少了ETL的需求。

再例如，DataTurbo數(shù)據(jù)加速引擎在存儲側(cè)為計算引擎開啟緩存能力，通過自動緩存熱點數(shù)據(jù)進行預(yù)處理，并在多個計算集群之間共享緩存數(shù)據(jù)，以削除計算側(cè)加載時的資源消耗和時延，實現(xiàn)效率60倍提升，讓數(shù)百PB數(shù)據(jù)查詢縮減至10秒。

其次，在算法層面，華為OceanStor Pacific分布式存儲采用業(yè)內(nèi)獨創(chuàng)的SmartBalance全均衡設(shè)計，實現(xiàn)數(shù)據(jù)類型和I/O流的智能感知，解決CPU算力不足或調(diào)用堆棧深度等軟件問題引起的IOPS瓶頸、HPC多流程跨系統(tǒng)的數(shù)據(jù)遷移、數(shù)據(jù)膨脹等難題。

比如，華為OceanStor Pacific的大小IO分流處理技術(shù)，實現(xiàn)了在一套存儲中帶寬、IOPS和OPS性能全優(yōu)，單節(jié)點性能達到了20GB/s的帶寬和20萬IOPS，是業(yè)界的最高水準(zhǔn)。

此外，獨創(chuàng)的融合非結(jié)構(gòu)化元數(shù)據(jù)索引，實現(xiàn)文件、對象和大數(shù)據(jù)等原生多協(xié)議無損互通，一份數(shù)據(jù)多端調(diào)用。并且，針對數(shù)字化病理、衛(wèi)星遙感、基因測序等，華為采用智能感知語義格式、多模態(tài)聚合、智能分區(qū)編碼等技術(shù)，進行場景化二次壓縮算法，將壓縮比例提高了30~80%。

華為的算法創(chuàng)新在真實HPC場景中有何價值？以其獨創(chuàng)的融合非結(jié)構(gòu)化元數(shù)據(jù)索引為例，在科學(xué)計算等典型的HPC場景中，創(chuàng)建數(shù)據(jù)集一直都是老大難的問題，動輒又?jǐn)?shù)十TB的數(shù)據(jù)集，過去如果需要創(chuàng)建多個數(shù)據(jù)集，以滿足不同研發(fā)團隊的需求，往往需要通過數(shù)據(jù)復(fù)制的方式，效率極其低下；如今，利用融合非結(jié)構(gòu)化元數(shù)據(jù)索引，則不需要通過數(shù)據(jù)復(fù)制的方式，一份數(shù)據(jù)集能夠輕松被多端靈活調(diào)用。

第三，在網(wǎng)存層面，華為OceanStor Pacific通過自研的網(wǎng)絡(luò)芯片支持RoCE，以及RDMA和IP的訪問能力。在同時支持帶寬、IOPS等不同類型的業(yè)務(wù)時，可以智能調(diào)整網(wǎng)絡(luò)的相關(guān)參數(shù)，提供更好的擁塞控制，從而大幅降低不同存儲節(jié)點間的數(shù)據(jù)交換時延。

最后，在架構(gòu)層面，華為OceanStor Pacific采用全對稱架構(gòu)，實現(xiàn)了智能IO路徑與磁盤管理，以及極高的數(shù)據(jù)可靠性保護，大幅領(lǐng)先開源方案。眾所周知，Lustre等開源分布式存儲在HPC領(lǐng)域被多年應(yīng)用，但Lustre的非對稱架構(gòu)、IO路徑漫長、磁盤碎片化嚴(yán)重、無冗余保護等劣勢，在如今的HPC場景中逐漸凸顯，越來越多用戶開始轉(zhuǎn)向以華為OceanStor Pacific為代表的商用方案，從而在架構(gòu)、性能和可靠性方面獲得更好的保障。

寫在最后

根據(jù)Gartner 2022年存儲和數(shù)據(jù)保護技術(shù)成熟度曲線(Hype Cycle for Storage and Data Protection Technologies, 2022)，分布式文件系統(tǒng)、對象存儲、容器原生存儲等分布式存儲熱門技術(shù)，在未來2-5年里將進入高優(yōu)先級。這也預(yù)示著，分布式存儲會存儲市場中呈現(xiàn)勢不可擋的爆發(fā)。

憑借多年來在分布式存儲領(lǐng)域的關(guān)鍵技術(shù)積累與突破，華為分布式存儲已成為該領(lǐng)域的翹楚，在市場份額、行業(yè)覆蓋、產(chǎn)品競爭力等多方面遙遙領(lǐng)先。

以市場為例，華為分布式存儲作為連續(xù)多年沖入Gartner文件與對象存儲魔力象限的唯一中國廠商，在全球份額上也令人驚喜。

國內(nèi)市場上，華為分布式存儲連續(xù)六年高居市場第一，早已執(zhí)掌半壁江山。放眼全球，2022年全球二級存儲收入排名第二，達到總份額的25%，以18%的增速遠超其他對手。

在行業(yè)覆蓋方面，華為分布式存儲在歐洲、中東、拉美和亞太等地區(qū)的關(guān)鍵業(yè)務(wù)場景，均實現(xiàn)了大規(guī)模突破，除了高性能計算之外，還包括教育科研、金融、醫(yī)療保健、媒體娛樂、交通安平、大數(shù)據(jù)分析等行業(yè)。

據(jù)IDC預(yù)測，到2025年，中國的數(shù)據(jù)量將增長到48.6ZB，成為全球最大的數(shù)據(jù)圈，其中80%是非結(jié)構(gòu)化數(shù)據(jù)，這無疑對擅長存儲和處理非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲有著長期需求。隨著中國數(shù)字經(jīng)濟持續(xù)高速增長，數(shù)據(jù)要素、東數(shù)西算、產(chǎn)業(yè)數(shù)字化等戰(zhàn)略的出臺，存儲成為了最重要的數(shù)字底座，而華為分布式存儲憑借過硬的產(chǎn)品力、強大的方案以及聯(lián)合創(chuàng)新的模式，能夠為數(shù)字底座筑造最為牢固的數(shù)字基石。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。