以生態(tài)共建促產(chǎn)業(yè)發(fā)展,點亮HPC新未來

作為IT行業(yè)的“明珠”,極“硬核”的高性能計算不如云計算、AI、物聯(lián)網(wǎng)技術(shù)備受關(guān)注。但不可忽視的是,近年來,高性能計算正在從高精尖科研加速邁向千行百業(yè),成為推動數(shù)字經(jīng)濟發(fā)展的新引擎。在近日舉辦的2022全國高性能計算學術(shù)年會(CCF HPC China 2022)上,我們可以看到,華為等企業(yè)除了提供綜合化技術(shù)支撐外,正在通過生態(tài)共建的方式推動HPC發(fā)展,以促進產(chǎn)業(yè)共同繁榮,把握新機遇。

01 HPC發(fā)展已進入新階段

一方面,環(huán)境科學、生命科學、材料科學、能源、制造……所有追求快、多、準計算的領(lǐng)域,都更加迫切地需要HPC,也提出了更高的要求。另一方面,發(fā)展HPC所需要的各項條件在中國計算機學會、高校、企業(yè)等產(chǎn)學研單位的推動下持續(xù)累積,并形成正循環(huán)。

從華為發(fā)表的《共筑算力新生態(tài) 賦能數(shù)字新未來》主題演講中,可以看到其中幾個具體的發(fā)展方向。

向更高效率、多樣性的計算架構(gòu)演進,例如,當前ARM指令集兼容的HPC,如鯤鵬HPC生態(tài)已完備,已成為氣象行業(yè)主要選擇之一,超融合以太網(wǎng)絡(luò)面向AI訓練場景量身打造NSLB網(wǎng)絡(luò)級負載均衡,釋放AI算力。

強大的、跨區(qū)域的算力網(wǎng)絡(luò)正在形成,如今各地數(shù)據(jù)中心、計算中心的新基建如火如荼,并且逐漸連成網(wǎng)絡(luò)。

更加注重軟件技術(shù)及生態(tài)構(gòu)建,目前以openEuler操作系統(tǒng)等為代表的基礎(chǔ)軟件生態(tài)正在快速發(fā)展。

更加需要產(chǎn)業(yè)力量來實現(xiàn)價值閉環(huán),以武漢高性能計算聯(lián)盟、全球計算聯(lián)盟為代表的產(chǎn)業(yè)組織,應用聯(lián)合創(chuàng)新、學術(shù)界和產(chǎn)業(yè)界課題合作等一直在推進。

HPC發(fā)展正在進入新階段,新時代的集結(jié)號已經(jīng)吹響。

02 技術(shù)創(chuàng)新打造底層源動力,共建生態(tài)推動產(chǎn)業(yè)新發(fā)展

有底層技術(shù),有伙伴的共同努力,才有HPC在產(chǎn)業(yè)的持續(xù)繁榮。

華為在主題演講中提出了三位一體的HPC發(fā)展戰(zhàn)略,也即筑牢底座、共建生態(tài)、繁榮產(chǎn)業(yè)。

首先,要構(gòu)筑未來數(shù)字化應用的堅實HPC算力底座。

相對于其他任何技術(shù)領(lǐng)域,HPC都要更考驗綜合化的力量。

這方面,華為基于鯤鵬全棧打造的高性能計算解決方案,涵蓋硬件使能、基礎(chǔ)軟件、應用優(yōu)化等層次能力,全面囊括了HPC的各項要素需求。

在最基礎(chǔ)的硬件層,面向多樣性計算趨勢,方案提供全場景液冷整機柜硬件平臺天成集群硬件,功率密度相比傳統(tǒng)風冷機架提升了8倍,PUE小于1.15,充分釋放集群硬件性能,也兼顧系統(tǒng)能效比。

針對數(shù)據(jù)密集型高性能計算存儲需求,打造HPDA解決方案,支持大規(guī)模并發(fā)、實時分析、跨地域/跨集群數(shù)據(jù)共享與流動。方案核心組成——數(shù)據(jù)加速引擎DataTurbo能聯(lián)接應用與存儲,提升50% HPDA數(shù)據(jù)處理效率,使數(shù)據(jù)調(diào)度效率提升3倍。

在網(wǎng)絡(luò)方面,華為推出超融合以太技術(shù),實現(xiàn)計算、存儲、業(yè)務三網(wǎng)融合,根據(jù)業(yè)務進行動態(tài)調(diào)度和差異化保障,實現(xiàn)算力有效釋放。還面向AI訓練場景量身打造超融合以太NSLB網(wǎng)絡(luò)均衡技術(shù),實現(xiàn)AI訓練場景下整網(wǎng)流量100%的均衡度和AI訓練性能提升,更有DPFF故障無感自愈技術(shù)使得業(yè)務層面對故障無感知,提升高性能計算和存儲的計算效率。

在軟件方面,華為構(gòu)建了完整的高性能計算基礎(chǔ)軟件棧,不僅包含了openEuler操作系統(tǒng)、畢昇編譯器、鯤鵬數(shù)學庫及Hyper MPI通信庫等一系列基礎(chǔ)軟件,同時還包含了面向管理員的多瑙集群管理套件以及面向開發(fā)者的Devkit鯤鵬開發(fā)套件。

面對應用側(cè)需求,華為投入了大量的領(lǐng)域?qū)<液陀脩暨M行對接,更加關(guān)注直接影響應用性能的實際技術(shù)指標和計算中心的有效算力,通過全棧設(shè)計與優(yōu)化,打造HPC最優(yōu)應用性能。

再有,是匯聚生態(tài)的力量。高性能計算技術(shù)尖深和復雜,意味著構(gòu)建新生態(tài)是一次極限探索。牢固底座只是第一步,構(gòu)建應用軟件生態(tài)更為關(guān)鍵,而這必須依靠產(chǎn)業(yè)伙伴的共同努力。

華為通過開源的模式,豐富和完善基礎(chǔ)軟件體系。一方面主動開源自身產(chǎn)品能力,涵蓋歐拉操作系統(tǒng)、畢昇編譯器、鯤鵬數(shù)學庫等HPC基礎(chǔ)軟件,另一方面持續(xù)貢獻HPC開源社區(qū),共同建設(shè)ARM CI(持續(xù)集成)平臺,使能開源軟件源頭支持多樣性算力。得益于對開源的持續(xù)投入,華為HPC已在氣象環(huán)境、生命科學、制造仿真等關(guān)鍵行業(yè)實現(xiàn)廣泛應用,支持80%核心場景。

人才是引領(lǐng)生態(tài)發(fā)展的核心力量之一,華為推出多項計劃,包括鯤鵬展翅伙伴計劃、鯤鵬眾智計劃、鯤鵬科研創(chuàng)新使能計劃等,賦能產(chǎn)業(yè)伙伴。同時把相關(guān)的知識和經(jīng)驗,整合為培訓課程,編撰成高校教材,培養(yǎng)專業(yè)人才,不斷發(fā)展和完善HPC的技術(shù)生態(tài),構(gòu)筑HPC人才根基。

03 產(chǎn)業(yè)共繁榮,開創(chuàng)數(shù)字經(jīng)濟發(fā)展新未來

本次2022全國高性能計算學術(shù)年會上,華為也分享了其HPC產(chǎn)業(yè)建設(shè)的進展和思考,其中包括積極參與GCC開放標準聯(lián)盟、武漢高性能計算產(chǎn)業(yè)聯(lián)盟等產(chǎn)業(yè)組織和平臺的建設(shè),形成生態(tài)合力,加速高性能計算的產(chǎn)業(yè)鏈構(gòu)建和產(chǎn)業(yè)全球化發(fā)展;通過設(shè)立高性能計算青年創(chuàng)新基金、向業(yè)界發(fā)布產(chǎn)業(yè)課題等方式,攜手產(chǎn)業(yè)伙伴共同探索和突破產(chǎn)業(yè)難題,呼吁加速與學術(shù)界的融合,促進科研成果產(chǎn)業(yè)落地;聯(lián)合CCF以及其他產(chǎn)業(yè)伙伴共同合作發(fā)布產(chǎn)業(yè)白皮書,旨在形成對于HPC技術(shù)和生態(tài)的共識,助力共同繁榮高性能計算產(chǎn)業(yè)。

可預見的是,隨著算力底座的持續(xù)夯實、算力生態(tài)的穩(wěn)步發(fā)展、產(chǎn)業(yè)力量的不斷匯聚,高性能計算這顆“明珠”將閃亮出更璀璨的光芒,點亮數(shù)字化新未來。

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )