浪潮存儲(chǔ)聯(lián)合華中大,探索科研新基建背后的大數(shù)據(jù)奧秘

一直以來,從腦疾病的研究到大腦功能的解密,科學(xué)家從未停止過對(duì)大腦探索的步伐。在華中科技大學(xué)蘇州腦空間信息研究院,科學(xué)家們正在做一件對(duì)于腦科學(xué)研究具有里程碑意義的事情:繪制一張可能是世界上最復(fù)雜的“地圖”——靈長類全腦的三維圖譜。

以小鼠三維腦圖譜為例,科學(xué)家們通常先對(duì)小鼠進(jìn)行腦成像:將鼠腦標(biāo)本固定,用金剛刀從上至下、從左至右,將鼠腦標(biāo)本順次切成1微米厚度的薄片,一邊切片一邊拍照,照片實(shí)時(shí)存儲(chǔ)到計(jì)算機(jī)系統(tǒng)之中。當(dāng)鼠腦成像結(jié)束,腦科學(xué)家再根據(jù)這些二維照片合成三維腦圖譜。

一個(gè)小鼠全腦有超7000萬個(gè)神經(jīng)元,繪制小鼠腦圖譜需要15380張圖片,未壓縮的數(shù)據(jù)量高達(dá)8TB。人腦的體積大約是小鼠腦的1500倍,擁有860億個(gè)神經(jīng)元,人腦的三維圖譜數(shù)據(jù)量將會(huì)再提升幾個(gè)量級(jí)?,F(xiàn)如今,單純的腦成像已經(jīng)不成問題,但成像之后巨大的數(shù)據(jù)量如何存儲(chǔ)和分析成為當(dāng)下腦科學(xué)等多個(gè)科研領(lǐng)域最為棘手的挑戰(zhàn)。

是什么阻礙了“腦洞大開”

華中科大蘇州腦空間信息研究院所遇到的情況是科研機(jī)構(gòu)在新數(shù)據(jù)時(shí)代下的一個(gè)縮影。

一方面,得益于國家經(jīng)濟(jì)實(shí)力的不斷提升,科學(xué)研究投入持續(xù)加大。根據(jù)《2019年全國科技經(jīng)費(fèi)投入統(tǒng)計(jì)公報(bào)》顯示,2019年全國研究與試驗(yàn)發(fā)展經(jīng)費(fèi)首次突破2萬億元,達(dá)到22143.6億元,同比增長12.5%。

另一方面,數(shù)字化正在改變科研模式,過去相對(duì)薄弱的數(shù)字基礎(chǔ)設(shè)施開始面臨升級(jí),亟需符合未來研發(fā)需求的新型基礎(chǔ)設(shè)施。正如發(fā)改委今年首次明確了新基建的范圍,將支撐科學(xué)研究等具有公益性質(zhì)的重大科技、科教基礎(chǔ)設(shè)施劃分為創(chuàng)新基礎(chǔ)設(shè)施,屬于新基建未來重點(diǎn)投入方向。

“當(dāng)前科研領(lǐng)域在存儲(chǔ)等基礎(chǔ)設(shè)施方面主要有容量、性能和穩(wěn)定性三個(gè)典型挑戰(zhàn)。”華中科技大學(xué)計(jì)算機(jī)學(xué)院院長馮丹教授在浪潮云數(shù)智中國行武漢峰會(huì)上如是說。

浪潮存儲(chǔ)聯(lián)合華中大,探索科研新基建背后的大數(shù)據(jù)奧秘

華中科技大學(xué)計(jì)算機(jī)學(xué)院院長馮丹教授

與其他行業(yè)相比,數(shù)據(jù)在科研領(lǐng)域的生產(chǎn)要素屬性更加快速顯現(xiàn)。科研數(shù)據(jù)往往具有數(shù)據(jù)密集型范式的特點(diǎn),具有數(shù)據(jù)量巨大的特征。以目前世界上靈敏度最高的射電望遠(yuǎn)鏡中國天眼項(xiàng)目為例,每天產(chǎn)生約500TB的零級(jí)未壓縮數(shù)據(jù),預(yù)計(jì)未來十年數(shù)據(jù)量將超過100PB,對(duì)長期運(yùn)行產(chǎn)生的海量數(shù)據(jù)進(jìn)行存儲(chǔ)與計(jì)算分析正在深刻改變其科研模式,如何存儲(chǔ)與保護(hù)這些海量數(shù)據(jù)就成為巨大挑戰(zhàn)。

此外,隨著海量數(shù)據(jù)的產(chǎn)生,科研機(jī)構(gòu)通常希望能夠讓數(shù)據(jù)采集、處理和存儲(chǔ)的速度提升,以更好、更快支撐起科學(xué)研究。馮丹教授表示:“科研項(xiàng)目對(duì)于性能一直很關(guān)注。早年前,像新材料研發(fā)這些研究可能數(shù)據(jù)量不會(huì)很大,但對(duì)于后端存儲(chǔ)性能要求極高?,F(xiàn)在,科研的數(shù)據(jù)量普遍很大,對(duì)于存儲(chǔ)性能的要求就更高了。”

例如,華中科大蘇州腦空間信息研究院存儲(chǔ)人腦三維圖譜數(shù)據(jù),如果采用之前的成像系統(tǒng),一臺(tái)系統(tǒng)至少需要花費(fèi)20年時(shí)間才能完成數(shù)據(jù)的采集,這無疑是當(dāng)前科研機(jī)構(gòu)們所不能接受的,因此需要存儲(chǔ)具有分布式橫向擴(kuò)展能力,提升其并發(fā)性能,讓數(shù)據(jù)的采集與分析更加快速,確保其研究項(xiàng)目的高效。

第三就是穩(wěn)定和可靠,科研數(shù)據(jù)除了數(shù)據(jù)量之外,高質(zhì)量與完整性也至關(guān)重要,因此對(duì)于存儲(chǔ)系統(tǒng)的穩(wěn)定性和可靠性要求越來越高。存儲(chǔ)越穩(wěn)定和可靠,意味著對(duì)高質(zhì)量科研數(shù)據(jù)的存儲(chǔ)與完整就越有保障。

以清華大學(xué)RUSH腦成像研究項(xiàng)目為例,其對(duì)擁有1億神經(jīng)元的小鼠大腦進(jìn)行研究,28臺(tái)1200萬像素相機(jī)以每秒30幀、連續(xù)72小時(shí)的方式對(duì)小鼠進(jìn)行拍攝,每天將產(chǎn)生2.7PB左右的數(shù)據(jù),最后將這些圖片拼接成三維圖像序列,存儲(chǔ)系統(tǒng)需要滿足最長72小時(shí)拍攝過程中PB數(shù)據(jù)不丟幀。

事實(shí)上,在新數(shù)據(jù)時(shí)代加速到來的今天,包括科研領(lǐng)域的各行各業(yè)都在加快數(shù)字化的步伐,也直接驅(qū)動(dòng)著存儲(chǔ)等基礎(chǔ)設(shè)施走向新的變革。

為數(shù)字化提速,存儲(chǔ)有哪些重要趨勢(shì)

當(dāng)下,數(shù)據(jù)正在成為最重要的生產(chǎn)要素,是數(shù)字化轉(zhuǎn)型和智能化升級(jí)的基礎(chǔ)。年初的《關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》報(bào)告中首次新增“數(shù)據(jù)”要素,并指出要發(fā)揮“數(shù)據(jù)”這一新型要素對(duì)其他要素效率的倍增作用,使數(shù)據(jù)成為推動(dòng)經(jīng)濟(jì)高質(zhì)量發(fā)展的新動(dòng)能。

這恰恰是新數(shù)據(jù)時(shí)代到來的體現(xiàn)。就像科研領(lǐng)域越來越重視數(shù)據(jù)一樣,各行各業(yè)都渴望充分利用數(shù)據(jù)的價(jià)值、為數(shù)字化提速,使得與數(shù)據(jù)密切打交道的存儲(chǔ)呈現(xiàn)出重要的新趨勢(shì)。“在數(shù)據(jù)呈現(xiàn)爆炸性增長的趨勢(shì)下,隨著算力的提升和數(shù)據(jù)的積累,大數(shù)據(jù)智能成為發(fā)展趨勢(shì),也給存儲(chǔ)系統(tǒng)帶來一系列新變化。”馮丹教授直言。

馮丹教授介紹,存儲(chǔ)在PCM、3D NAND、3DXPoint等芯片器件上創(chuàng)新,將進(jìn)一步帶動(dòng)存儲(chǔ)設(shè)備、系統(tǒng)、架構(gòu)和軟件的創(chuàng)新,“面向大數(shù)據(jù)的存儲(chǔ)首先是以數(shù)據(jù)為中心,圍繞數(shù)據(jù)做相應(yīng)處理,其次是近數(shù)據(jù)處理,在離數(shù)據(jù)最近的地方做處理,減少數(shù)據(jù)傳輸帶來的性能損耗;第三則是實(shí)現(xiàn)存算一體化或存算融合,直接在存儲(chǔ)中進(jìn)行處理。另外,智能相關(guān)技術(shù)也會(huì)加速融入到存儲(chǔ)系統(tǒng)之中,提升存儲(chǔ)系統(tǒng)性能、可管理性等。”

浪潮存儲(chǔ)聯(lián)合華中大,探索科研新基建背后的大數(shù)據(jù)奧秘

浪潮存儲(chǔ)

浪潮存儲(chǔ)作為近年來存儲(chǔ)市場上快速崛起的代表廠商,則認(rèn)為未來存儲(chǔ)的發(fā)展理念是“云存智用 運(yùn)籌新數(shù)據(jù)”,體現(xiàn)到存儲(chǔ)趨勢(shì),可以提煉為三個(gè)字:云、閃、智。

首先是“云存”,即存儲(chǔ)需要與云進(jìn)行全面對(duì)接。云計(jì)算已經(jīng)走向普及,企業(yè)上云的趨勢(shì)不可阻擋,混合或者多云環(huán)境將會(huì)成為常態(tài)。無論是公有云還是私有云,存儲(chǔ)層實(shí)現(xiàn)對(duì)它們的對(duì)接,將極大有利于數(shù)據(jù)的流動(dòng)。葉毓睿介紹:“存儲(chǔ)與私有云管理平臺(tái)的對(duì)接,有利于私有云管理平臺(tái)按需驅(qū)動(dòng)存儲(chǔ)資源的創(chuàng)建、調(diào)整、優(yōu)化甚至回收;而存儲(chǔ)與公有云對(duì)接,則有利于更好地使用公有云彈性的資源,讓數(shù)據(jù)流動(dòng)起來。”

另外,存儲(chǔ)加速實(shí)現(xiàn)全閃化也是大勢(shì)所趨。借助于閃存介質(zhì)成本的不斷下降、NVMe、RDMA等與閃存相關(guān)的技術(shù)逐漸走向成熟,閃存在存儲(chǔ)系統(tǒng)中的門檻愈發(fā)下降。隨著基于閃存介質(zhì)的技術(shù)堆棧走向完善,全閃存存儲(chǔ)在性能、功能和容量三者之間有望實(shí)現(xiàn)“魚與熊掌可兼得”,有望在更多用戶中得到落地。

第三則是存儲(chǔ)快速邁向智能化。一方面,存儲(chǔ)自身會(huì)融入更多人工智能技術(shù),根據(jù)業(yè)務(wù)負(fù)載、運(yùn)維管理等數(shù)據(jù)特征,進(jìn)行不斷的學(xué)習(xí)與優(yōu)化,從而提供更加精準(zhǔn)的預(yù)警信息和執(zhí)行動(dòng)作。馮丹教授也表示:“融入智能化是存儲(chǔ)的大勢(shì)所趨。例如,華中大在研究的主動(dòng)對(duì)象存儲(chǔ)技術(shù)中,最主要體現(xiàn)的就是智能性,讓存儲(chǔ)系統(tǒng)并不是簡單的啞設(shè)備被動(dòng)響應(yīng)請(qǐng)求,而是會(huì)根據(jù)歷史負(fù)載預(yù)測未來趨勢(shì),讓存儲(chǔ)系統(tǒng)可以感知應(yīng)用需求,然后采用不同的策略更好地服務(wù)不同的應(yīng)用。”

浪潮存儲(chǔ)聯(lián)合華中大,探索科研新基建背后的大數(shù)據(jù)奧秘

雙方共同探討存儲(chǔ)技術(shù)趨勢(shì)

另一方面,AI技術(shù)正在加速落地,但AI準(zhǔn)備、訓(xùn)練、推理和歸檔等各階段的IO特征不同,對(duì)于存儲(chǔ)需求也不同,將會(huì)進(jìn)一步推動(dòng)AI存儲(chǔ)產(chǎn)品加速到來。“例如,AI在模型訓(xùn)練階段的IO特征為高帶寬、低延時(shí)和隨機(jī)小IO;而推理階段的IO特征是讀寫混合,要求存儲(chǔ)延時(shí)低,能夠快速響應(yīng)。”葉毓睿補(bǔ)充道。

為“新數(shù)據(jù)時(shí)代”做好準(zhǔn)備

IDC《2019年數(shù)據(jù)及存儲(chǔ)發(fā)展研究報(bào)告》中指出,新數(shù)據(jù)時(shí)代表現(xiàn)出的新數(shù)據(jù)特征:數(shù)據(jù)增長、企業(yè)對(duì)實(shí)時(shí)數(shù)據(jù)需求增加、多云部署模式成趨勢(shì)、多元和非結(jié)構(gòu)化數(shù)據(jù)成為常態(tài)。從本質(zhì)上來看,存儲(chǔ)需要為用戶在新數(shù)據(jù)時(shí)代下更好地存好、用好和調(diào)度好數(shù)據(jù),為其數(shù)字化轉(zhuǎn)型和智能化升級(jí)提供支撐。

在眾多廠商中,浪潮存儲(chǔ)近年來已經(jīng)成為市場中一股不可或缺的力量。根據(jù)IDC最新數(shù)據(jù)顯示,浪潮存儲(chǔ)在今年第二季度出貨量躍居中國第二,增長速度位列中國第一,并且增速遠(yuǎn)超其他廠商。這背后是浪潮存儲(chǔ)致力于幫助用戶為“新數(shù)據(jù)時(shí)代”做好準(zhǔn)備的戰(zhàn)略布局。

浪潮存儲(chǔ)聯(lián)合華中大,探索科研新基建背后的大數(shù)據(jù)奧秘

2020浪潮云數(shù)智中國行武漢站

浪潮存儲(chǔ)在戰(zhàn)略上提出了“云存智用,運(yùn)籌新數(shù)據(jù)”的理念,打造存儲(chǔ)平臺(tái)戰(zhàn)略,重點(diǎn)發(fā)展分布式存儲(chǔ)和閃存存儲(chǔ)等新存儲(chǔ),并致力于打造存儲(chǔ)七大極致能力,更好地幫助用戶在多元化、應(yīng)用復(fù)雜化的數(shù)據(jù)全局中將數(shù)據(jù)存好、用好和調(diào)度好,更好地發(fā)揮出數(shù)據(jù)價(jià)值。

為更好地支撐起“云存智用,運(yùn)籌新數(shù)據(jù)”理念,浪潮存儲(chǔ)在過去幾年投入了20億元巨資攻關(guān)存儲(chǔ)核心技術(shù)的突破,比如浪潮存儲(chǔ)幾年前開始布局閃存盤,其NVMe SSD已經(jīng)在浪潮服務(wù)器中進(jìn)行搭載售賣,接下來還會(huì)在集中式存儲(chǔ)和分布式存儲(chǔ)中搭載;另外,浪潮存儲(chǔ)在存儲(chǔ)架構(gòu)上將致力于打造出融合分布式和集中式架構(gòu)優(yōu)勢(shì)的新存儲(chǔ)架構(gòu),以實(shí)現(xiàn)“一個(gè)數(shù)據(jù)中心,一套存儲(chǔ)”的愿景目標(biāo)。

浪潮存儲(chǔ)短短幾年的飛速成長,同樣離不開強(qiáng)大人才體系的打造。浪潮存儲(chǔ)從過去幾十人的規(guī)模如今成長為上千人的團(tuán)隊(duì),其研發(fā)、市場、銷售人才體系不斷充實(shí)與壯大。此外,浪潮存儲(chǔ)還注重與華科大等高校、科研機(jī)構(gòu)緊密合作,共同公關(guān)存儲(chǔ)多項(xiàng)核心技術(shù)的突破。

未來,隨著新基建的建設(shè)逐漸深入,千行百業(yè)必然會(huì)在數(shù)字基礎(chǔ)設(shè)施層迎來更大的變化,存儲(chǔ)作為新基建中的基石,其作用與價(jià)值將會(huì)得到進(jìn)一步提升。浪潮存儲(chǔ)將持續(xù)以“云存智用 運(yùn)籌新數(shù)據(jù)”賦能智算中心,在分布式存儲(chǔ)和全閃存儲(chǔ)兩大新存儲(chǔ)領(lǐng)域加速創(chuàng)新,釋放數(shù)據(jù)要素價(jià)值驅(qū)動(dòng)行業(yè)數(shù)字化轉(zhuǎn)型。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )