顛覆傳統(tǒng)模式,華為OceanDisk智能盤框讓數(shù)據(jù)應(yīng)用更高效

現(xiàn)在越來越多人意識到,數(shù)據(jù)已經(jīng)成為了數(shù)字化時代的“石油”。

這也體現(xiàn)了數(shù)據(jù)的核心價值。如今隨著大數(shù)據(jù)、云計算、人工智能等技術(shù)快速發(fā)展,數(shù)據(jù)與算力一同為智算應(yīng)用提供基礎(chǔ),也成為了影響社會經(jīng)濟(jì)發(fā)展的重要科技因素。二伴隨著新一輪科技革命和產(chǎn)業(yè)變革加速演進(jìn),社會經(jīng)濟(jì)各方面也正在向數(shù)智化轉(zhuǎn)型邁進(jìn),數(shù)據(jù)的價值進(jìn)一步凸顯;但目前,我們對于數(shù)據(jù)應(yīng)用的場景還很單一,更多時候存儲只是作為算力的附屬出現(xiàn),難以體現(xiàn)數(shù)據(jù)的價值。這樣一來,如何有效利用數(shù)據(jù)、“開采”數(shù)據(jù)也就成為了擺在所有管理者面前的新問題。

圖片1.jpg

日前,第十八屆中國IDC產(chǎn)業(yè)(大灣區(qū))年度大典舉行。大會以“綠色數(shù)智、生態(tài)共建”為主題,圍繞算力產(chǎn)業(yè)的綠色化、智算化發(fā)展趨勢,以及政策環(huán)境、技術(shù)創(chuàng)新、市場需求、生態(tài)建設(shè)等話題展開了精彩的演講和討論。現(xiàn)場,中國計量院發(fā)布《存儲容量計量白皮書》總結(jié)了保證存儲容量利用率的關(guān)鍵技術(shù)以及存儲計量的一些關(guān)鍵指標(biāo),在數(shù)據(jù)量快速增長,所需存儲容量快速膨脹的背景下,為存儲容量計量提供關(guān)鍵指導(dǎo)。

當(dāng)下數(shù)據(jù)存儲與應(yīng)用的三大難題

一直以來,整個行業(yè)對于數(shù)據(jù)存儲依然存在不少誤區(qū)。從個人到企業(yè),從家庭到辦公室,我們每天都在產(chǎn)生大量的數(shù)據(jù),海量數(shù)據(jù)已經(jīng)不是什么新概念,但如何存儲這些數(shù)據(jù)并在實(shí)際業(yè)務(wù)中發(fā)揮其價值,依然是一個新課題,甚至我們還要直面許多數(shù)據(jù)管理上的不足。

首先就是數(shù)據(jù)的安全性、可靠性管理缺失。對于企業(yè)來說,云化管理帶來了諸多便利,許多大規(guī)模云數(shù)據(jù)中心擁有海量服務(wù)器本地盤,每天成千上萬塊硬盤都在不停運(yùn)轉(zhuǎn),出現(xiàn)故障也在所難免。一般運(yùn)維人員只能單純依靠簡單的軟件管理硬盤,只有在故障發(fā)生時才能采取亡羊補(bǔ)牢的措施,但往往這時無論是維修還是更換都已經(jīng)對實(shí)際運(yùn)行的業(yè)務(wù)產(chǎn)生了影響,很難做到防患于未然。

其次,多年來軟件定義概念的普及讓存算一體化成為了一種趨勢,其代表性產(chǎn)品就是超融合。當(dāng)然從用戶的角度來看,存算一體非常方便,節(jié)約了空間提升了系統(tǒng)密度,但與此同時也帶來了資源的浪費(fèi)——相對于算力迭代來說,存儲設(shè)備的生命周期更長,應(yīng)用實(shí)踐更久,同時兩者的耦合也降低了系統(tǒng)的擴(kuò)展性,不利于數(shù)字化時代特別是數(shù)據(jù)的有效利用,難以真正發(fā)揮數(shù)據(jù)價值。

圖片2.jpg

最后也是最為人撓頭的,則是資源的浪費(fèi)。正因為數(shù)據(jù)的價值日益凸顯,管理者對數(shù)據(jù)安全也格外重視,比如當(dāng)下流行的3副本存儲策略(即1份數(shù)據(jù)保存3份)就是一種基于可靠性的無奈選擇,畢竟數(shù)據(jù)中心的存儲空間是有限的,尤其是在北上廣深這樣的一線城市與長三角、珠三角這樣的經(jīng)濟(jì)發(fā)達(dá)地區(qū),數(shù)據(jù)中心價格可謂是“寸土寸金”,任何一個管理者都希望能有效提升數(shù)據(jù)密度,降低空間占用和能源消耗。如果能安全、穩(wěn)妥的保存數(shù)據(jù),我相信更多管理者會選擇釋放備份空間,盡可能多的存儲數(shù)據(jù)。

那么是否真的有一種方式能解決上述數(shù)據(jù)存儲與應(yīng)用的難題呢?這一次發(fā)布的白皮書就給出了一種全新的思路。報告中明確提出了專業(yè)的事就要交給專業(yè)的設(shè)備來做,圍繞應(yīng)用場景數(shù)據(jù)特點(diǎn)構(gòu)建真實(shí)數(shù)據(jù)模型,通過先進(jìn)計量引導(dǎo)行業(yè)技術(shù)創(chuàng)新,通過Diskless技術(shù)理念使用專業(yè)的存儲智能盤框進(jìn)一步提升數(shù)據(jù)存儲的安全性、可靠性與空間利用率,也為行業(yè)提供了全新的發(fā)展方向。

華為OceanDisk引領(lǐng)行業(yè),讓存儲管理不再難

這幾年Serverless的概念特別火,許多人都聽過。與字面上“無服務(wù)器”的理解不同,Serverless其實(shí)是將服務(wù)器的管理、運(yùn)維等工作都放在后端的云數(shù)據(jù)中心,這樣用戶就不需要關(guān)心這些“瑣事”而是專注于業(yè)務(wù)本身,這樣就可以獲得彈性部署與資源池化,大大釋放了算力。如今不少云服務(wù)商也都有相關(guān)的解決方案。

那么要解決存儲問題,我們同樣可以借鑒類似的理念,于是就有了“Diskless”。面對存儲痛點(diǎn),這些年整個業(yè)界都在積極探索突圍之道,存算分離、池化運(yùn)行、共享應(yīng)用等思路與做法逐漸浮出水面,Diskless技術(shù)也應(yīng)運(yùn)而生。從理念和框架來說,Diskless技術(shù)的核心就是將本地盤或本地內(nèi)存從服務(wù)器獨(dú)立出來,遠(yuǎn)程形成共享存儲池或共享內(nèi)存池,這樣就解決了上述我們提到的存儲三大難題,無論是在運(yùn)維、存算分離還是應(yīng)用效率上都有了明顯提升,也因此得到了行業(yè)的普遍關(guān)注和大力推廣。

圖片3.jpg

華為OceanDisk智能盤框就是基于Diskless技術(shù)的、非常具備行業(yè)代表性的。相比傳統(tǒng)盤框來說,它以NoF+高速網(wǎng)絡(luò)連接Diskless服務(wù)器,實(shí)現(xiàn)計算和存儲資源獨(dú)立彈性擴(kuò)展。面向云和互聯(lián)網(wǎng)的數(shù)據(jù)中心,OceanDisk可組合成高速可靠的共享存儲資源池,幫助客戶提高資源利用率。根據(jù)測試,華為OceanDisk 1500/1600智能盤框最大能夠具備250萬IOPS、50GB/s帶寬的高性能,并提供了硬盤亞健康管理、智能慢盤優(yōu)化等技術(shù),保持大規(guī)模數(shù)據(jù)中心10萬級硬盤的性能穩(wěn)定,大幅降低運(yùn)維難度。這也同時化解了傳統(tǒng)存儲三大存儲難題,真正實(shí)現(xiàn)了“各個擊破”。

比如針對數(shù)據(jù)與磁盤的管理難題,剛才提到的硬盤亞健康管理、加密盤和慢盤智能優(yōu)化等軟硬協(xié)同技術(shù)就起到了關(guān)鍵作用。得益于這些技術(shù),運(yùn)維人員可以在硬盤故障前獲得預(yù)警,并根據(jù)系統(tǒng)分析的硬件運(yùn)行狀況采取針對性措施,防患于未然,真正實(shí)現(xiàn)數(shù)據(jù)安全的有效管理。而對于那些已經(jīng)存在故障的硬盤,系統(tǒng)也可以自動屏蔽底層硬盤故障,保持大規(guī)模數(shù)據(jù)中心海量硬盤的可靠穩(wěn)定,讓運(yùn)維人員擺脫“焦頭爛額”的工作苦惱。

圖片4.jpg

管理硬盤只解決了眼前問題,而華為OceanDisk智能盤框”治標(biāo)更治本“,從系統(tǒng)架構(gòu)上下功夫。針對存算一體帶來的困擾,OceanDisk智能盤框使用的是創(chuàng)新性的存算分離架構(gòu),通過Diskless技術(shù)將服務(wù)器內(nèi)數(shù)據(jù)盤拉遠(yuǎn),集中到智能盤框中統(tǒng)一管理,這樣就實(shí)現(xiàn)了計算和存儲獨(dú)立更新?lián)Q代,一方面不影響算力的正常應(yīng)用,另一方面存儲性能也得到了充分釋放,同時解決了不同迭代周期的問題,真正實(shí)現(xiàn)了靈活擴(kuò)展,按需更換。

最后,華為OceanDisk智能盤框要解決的就是數(shù)據(jù)存儲的安全性與空間利用率之間的矛盾。針對傳統(tǒng)數(shù)據(jù)存儲造成的空間損失,華為OceanDisk智能盤框通過性能無損數(shù)據(jù)縮減、大比例EC等關(guān)鍵技術(shù),在保證數(shù)據(jù)安全的同時最大限度的降低體積,從而節(jié)省了存儲空間;同時智能盤框通過高速網(wǎng)絡(luò)無縫對接Ceph、Lustre、GPFS等第三方平臺,真正達(dá)到了上層業(yè)務(wù)無感知,這也正是Diskless技術(shù)的真正價值所在。

得益于Diskless技術(shù),華為OceanDisk智能盤框最終在空間利用率上表現(xiàn)出色,大幅提升存儲效率,實(shí)現(xiàn)了機(jī)柜空間和功耗分別降低40%。不僅如此,借助于虛擬存儲技術(shù)、分層存儲技術(shù)和容量縮減技術(shù),用戶的可得容量也獲得了大幅度的提升——在簡化數(shù)據(jù)管理的同時,刪除待存儲數(shù)據(jù)中重復(fù)的字節(jié)、數(shù)據(jù)塊或文件,大大提升了空間利用率,讓客戶獲得小空間大“肚量”,也有助于數(shù)據(jù)中心的綠色節(jié)能、低碳應(yīng)用。

圖片5.jpg

至此,華為OceanDisk智能盤框?qū)崿F(xiàn)了真正意義上的技術(shù)創(chuàng)新與產(chǎn)業(yè)引領(lǐng)。一方面憑借Diskless技術(shù),達(dá)成了全新的數(shù)據(jù)存儲與應(yīng)用形態(tài),讓用戶從此不再擔(dān)心數(shù)據(jù)的存儲與安全性等問題;而另一方面,華為OceanDisk智能盤框也可以在云端隨時隨地進(jìn)行數(shù)據(jù)處理,實(shí)現(xiàn)了用戶端的無感知應(yīng)用,憑借出色的性能最大限度的發(fā)揮數(shù)據(jù)價值,并大大優(yōu)化數(shù)據(jù)存儲空間,保障數(shù)據(jù)應(yīng)用的有效性與綠色節(jié)能,把握住了數(shù)字化時代發(fā)展的脈搏。

時至今日,數(shù)據(jù)應(yīng)用已經(jīng)深入我們生活的方方面面,無論是智慧辦公、智慧交通、智能制造等多個場景下都離不開數(shù)據(jù)的支撐。而在汽車仿真云、云硬盤、視頻云等多個場景中也都有了華為OceanDisk智能盤框部署的身影,將Diskless技術(shù)應(yīng)用于諸多行業(yè)當(dāng)中,深度挖掘數(shù)據(jù)價值,也推動了數(shù)據(jù)應(yīng)用的加速和效率提升,讓客戶業(yè)務(wù)更高效,也讓數(shù)據(jù)真正成為數(shù)字化發(fā)展的驅(qū)動力。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )