讓超算再升級的存儲系統(tǒng)，華為憑什么？

摘要：不同于上世紀計算機的向下平民化，這次 HPC 向上擁抱更為復雜的業(yè)務負載。

世界上第一臺計算機叫什么？很多人可以不假思索地回答——“埃尼阿克” (ENIAC)。

那么，“埃尼阿克” 最初被用來干什么呢？少有人知道，1946年，“埃尼阿克” 是為了解決彈道計算問題而生，賓夕法尼亞大學花費40萬美元巨資才研制出“埃尼阿克” ，當時的計算機是一種戰(zhàn)略物資。

在很長一段時間后，個人PC的普及才讓計算機逐漸進入大眾視野，IBM和Apple都是第一代家用電腦廠商，而計算機作為戰(zhàn)略物資的屬性以另一種名字保留了下來，也就是 HPC (High Performance Computing，高性能計算)。

HPC成為計算機科學的一個分支，使用超級計算機和并行處理技術解決復雜計算問題，主要瞄準大規(guī)模科學問題的計算和海量數(shù)據(jù)的處理，如科學研究、氣象預報、計算模擬、CFD/CAE、生物制藥、基因測序、圖像處理等等。每年的全球HPC Top 500高性能計算機排行榜都備受矚目。

近年來，大數(shù)據(jù)和AI等新興應用催生 HPC 發(fā)生另一種變化，不同于上世紀計算機的向下平民化， HPC 向上擁抱更為復雜的業(yè)務負載，使得傳統(tǒng)HPC開始向 HPDA (High Performance Data Analytics)方向演進。

華為常務董事、ICT產品與解決方案總裁汪濤

在2021年華為全聯(lián)接大會上，華為常務董事、ICT產品與解決方案總裁汪濤介紹了數(shù)字基礎設施七大創(chuàng)新與客戶實踐，其中業(yè)界首個面向HPDA的分布式存儲OceanStor Pacific引起熱議，何謂高性能數(shù)據(jù)分析HPDA，HPDA又需要什么樣的分布式存儲？不妨一觀。

HPDA：從數(shù)據(jù)中攫取價值

我們手中智能手機的算力，遠超NASA在1969年登月計劃中最先進計算機的算力，但相較于手機，HPC所要解決業(yè)務的復雜水平，也呈現(xiàn)指數(shù)級發(fā)展，一大變化就是數(shù)據(jù)的爆炸式增長，使得原有HPC架構的存儲不堪其重。

傳統(tǒng)HPC主要從仿真物理模型中計算價值，需求是無與倫比的大算力，而HPDA泛指利用HPC資源的數(shù)據(jù)密集型負載，典型特點是數(shù)據(jù)量大、時效性強以及算法復雜，從數(shù)據(jù)本身提取價值，兩者業(yè)務邏輯不同，導致存儲需求不同。

例如地震勘探從二維向三維的演進中，數(shù)據(jù)量增加了5-10倍；電影渲染從2K升級到8K的革命中，數(shù)據(jù)量增長16倍；衛(wèi)星測繪領域，探測精準度由20米縮小到2米，數(shù)據(jù)量同比增長70倍。海量的數(shù)據(jù)，需要高性能的存儲，這是HPC向HPDA演進要解決的根本性問題。

傳統(tǒng)HPC的存儲主要用來文件共享、Scratch和歸檔，AI業(yè)務負載則涉及到數(shù)據(jù)收集、輸入、清洗、訓練、推理和歸檔一系列復雜操作，原有存儲系統(tǒng)并不是為這種存儲工作流程而設計的，自然也就無法很好滿足新存儲的需求。

在關鍵性能要求上，傳統(tǒng)HPC負載通常基于順序大I/O型，AI業(yè)務負載需要順序大和隨機小I/O型的混合，用于AI訓練的數(shù)據(jù)存取需要快速的隨機小I/O型。

應用場景的變化催生了各種耐用性和彈性解決方案需求。例如歸檔需要極具高性價比的解決方案，沒有苛刻的性能要求；傳統(tǒng)的臨時應用需要將臨時結果轉移到持久存儲，需要高性能以防止出現(xiàn)故障；HPDA 解決方案需要混合存儲需求同時滿足高性能、瞬態(tài)存儲和持久彈性存儲的不同要求。

此外，當存儲系統(tǒng)變得復雜化，內部多種協(xié)議發(fā)展為另一種壁壘，不同數(shù)據(jù)采用不同的訪問方式，每種訪問方式都需要獨特的協(xié)議支持，橫亙在業(yè)務負載中消耗通信時間和計算資源。

據(jù)IDC統(tǒng)計，全球67%的高性能計算中心（HPC）已經在使用AI、大數(shù)據(jù)相關技術，HPC與AI、大數(shù)據(jù)加速融合，如何從海量數(shù)據(jù)中更高效、更經濟地釋放更大的數(shù)據(jù)價值，成為迫切訴求，存儲系統(tǒng)的改變至關重要。

找尋HPDA存儲新的平衡點

HPDA推動了存儲架構的改變，從而匹配新業(yè)務負載的同步、空間分布式計算和存儲需求，矛盾聚焦于不同 I/O 模型、支持多協(xié)議訪問、各種數(shù)據(jù)訪問頻率、高密度高效設計等方面，歸根究底是找尋存儲性能、成本和效率新的平衡點。

OceanStor Pacific存儲新品于2021華為全聯(lián)接發(fā)布

華為發(fā)布了Huawei OceanStor Pacific 9950、Huawei OceanStor Pacific 9550兩款新品，華為OceanStor Pacific系列高性能分布式存儲，就是為打破HPC產業(yè)三重壁壘量身打造的HPDA存儲系統(tǒng)。

第一重壁壘是高性能，HPC在不同流程階段面臨帶寬型、OPS型業(yè)務負載需求，HPDA場景下這一情況會更加常態(tài)化，傳統(tǒng)存儲僅支持單一負載模型，形成了性能孤島，使得流程間的數(shù)據(jù)需要在不同存儲間遷移，降低了整體流程效率。

華為技術專家夏飛博士介紹，華為OceanStor Pacific系列存儲搭載新一代分布式文件系統(tǒng)，一套存儲即可實現(xiàn)2倍大文件高帶寬，5倍小文件高IOPS性能，大大提高性能水平，同時該文件系統(tǒng)也能支持多種業(yè)務負載，既能兼顧客戶原有的常規(guī)業(yè)務，也能很好適配企業(yè)對大數(shù)據(jù)和AI等新業(yè)務的探索，實現(xiàn)面向混合負載的全場景加速。

第二重壁壘是多協(xié)議無損互通，在以自動駕駛為代表的HPDA場景中，不同的流程階段可能用到文件、大數(shù)據(jù)、對象多種服務，如何實現(xiàn)流程的高效數(shù)據(jù)訪問成為用戶面臨的一大挑戰(zhàn)。

華為OceanStor Pacific系列存儲能夠匹配多樣化算力需求，一套系統(tǒng)支持多種協(xié)議，實現(xiàn)數(shù)據(jù)互通，減少中間環(huán)節(jié)，并且資源統(tǒng)一管理和運維，支撐業(yè)務敏捷響應。

第三重壁壘是大容量，隨著HPDA的快速發(fā)展，海量數(shù)據(jù)的價值被進一步挖掘，用戶愿意更長更久地保留數(shù)據(jù)，這對機房空間、功耗、存儲成本都提出了新的挑戰(zhàn)。

基于這種挑戰(zhàn)，華為OceanStor Pacific全新推出了系列化超高密硬件，支持不同硬件間的數(shù)據(jù)自動分級，單位空間容量提升20%，全面降低HPC場景的存儲成本。華為OceanStor Pacific系列高密大容量產品在5U空間里支持120個 3.5寸硬盤，通過高密實現(xiàn)60%以上的機柜空間節(jié)省，讓海量數(shù)據(jù)不再成為負擔。

越是基礎的，越是核心的

中石油東方物探正行進在通過HPDA挖掘數(shù)據(jù)價值的路上。

自19世紀40年代至今，人類為探尋石油和天然氣能源用上了最先進的理論和技術，其中高性能計算必不可少，在油氣地震勘探數(shù)據(jù)采集、處理、解釋的三大環(huán)節(jié)中，都需要大量的高性能計算、海量數(shù)據(jù)分析等平臺，不同架構和規(guī)模的數(shù)據(jù)存儲在不同系統(tǒng)部署，數(shù)據(jù)需要在和平臺之間頻繁傳輸拷貝，產生了額外的花銷和不必要的時間損耗。

中石油東方物探有限責任公司教授級高級工程師、數(shù)據(jù)中心原總工程師賴能和在會上講到，以中東某探區(qū)為例，3259平方公里三維地震勘探，190萬個激發(fā)、采集數(shù)據(jù)量1049TB。東方物探用了近12個月時間順利完成數(shù)據(jù)處理任務。據(jù)了解，這也是目前為止已完成的單體數(shù)據(jù)量最大的油氣地震勘探數(shù)據(jù)處理項目。

OceanStor Pacific存儲助力油氣勘探

要支持如此之大的數(shù)據(jù)處理，東方物探選擇了規(guī)模化集中部署華為OceanStor Pacific存儲系統(tǒng)，其天然適合HPDA的設計在勘探場景下最大化程度得到發(fā)揮，不僅解決油氣地震勘探不斷增長的海量數(shù)據(jù)對存儲容量的巨大需求的挑戰(zhàn)，而且還可以保證存儲性能和容量的線性增長，同時簡化IT基礎設施的復雜度，又可減少IT日常運維的工作量。

“華為OceanStor Pacific存儲支持系統(tǒng)間遠程直接訪問、混合負載和多協(xié)議互通等功能，可大大減少數(shù)據(jù)拷貝時間和拷貝次數(shù)；同時滿足大文件高并發(fā)、高帶寬、小文件高IOPS的性能平衡要求；可實現(xiàn)一套存儲同時供高性能計算、人機交互、資料解釋、數(shù)值模擬、人工智能等多個不同技術應用平臺共享。存儲資源利用率提高30%以上；生產效率提升15%以上。”賴能和補充道。

越是基礎的，越是核心的，不論是HPDA所要解決的問題，還是存儲技術的突破，都再次證明了這一論斷。

不止于油氣勘探，從基因測序到自動駕駛研發(fā)，從天氣預報到生物制藥等等，這些場景要么是全新誕生的復雜業(yè)務，要么是舊技術難以解決的老大難問題，他們存在一個共性——關乎國計民生，解決問題之道在于底層基礎技術的突破。

華為OceanStor Pacific存儲支持著最頂尖的科研項目，同時這些科研項目的成果又讓最廣泛的人群受益，天氣預報的及時預警，新藥的快速開發(fā)，自動駕駛車輛的算法升級，存儲的升級換代成為數(shù)字基礎設施革命的必要因素，其帶來的結果變化一點點傳導到普羅大眾的感知。

（本文首發(fā)鈦媒體App，作者｜張帥）

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。