作者：浪潮存儲(chǔ)資深架構(gòu)師葉毓睿、李錚鋆
根據(jù)IDC報(bào)告，在2014-2020年，IT從業(yè)人員數(shù)量?jī)H僅增長(zhǎng)1.285倍，但平均每個(gè)IT人員管理的數(shù)據(jù)量從230GB增加到1231GB，超過(guò)5倍。而在未來(lái)兩年，企業(yè)數(shù)據(jù)預(yù)計(jì)仍將以42.2%的速度增長(zhǎng)。盡管大多數(shù)企業(yè)認(rèn)為數(shù)據(jù)是企業(yè)的無(wú)形資產(chǎn)，然而目前企業(yè)僅捕獲了56%的可用數(shù)據(jù)，幾乎一半的數(shù)據(jù)流失掉了，如何擴(kuò)展數(shù)據(jù)存儲(chǔ)系統(tǒng)的容量成為企業(yè)面臨的重要議題。
從2014年到2020年，企業(yè)IT人員人均管理的數(shù)據(jù)量增加5倍
隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、5G等科技手段的不斷推進(jìn)，人們已經(jīng)走進(jìn)數(shù)據(jù)互聯(lián)的時(shí)代。在數(shù)據(jù)需求日漸強(qiáng)烈的當(dāng)下，邊緣設(shè)備的工藝、精度越來(lái)越高，數(shù)據(jù)采樣的方式逐漸增多，產(chǎn)生的數(shù)據(jù)量也快速增長(zhǎng)，到2025年44%的數(shù)據(jù)將在邊緣和核心創(chuàng)建，將有越來(lái)越多的物聯(lián)網(wǎng)設(shè)備向企業(yè)輸送數(shù)據(jù)。同時(shí)，基于數(shù)據(jù)挖掘和智慧應(yīng)用，數(shù)據(jù)的生產(chǎn)者也不再只有人和設(shè)備，數(shù)據(jù)本身也參與到了生產(chǎn)數(shù)據(jù)的環(huán)節(jié)中來(lái)，成為了新的數(shù)據(jù)生產(chǎn)者，數(shù)據(jù)的產(chǎn)生進(jìn)入一個(gè)巨大的循環(huán)，數(shù)據(jù)總量呈指數(shù)級(jí)增長(zhǎng)。
浪潮存儲(chǔ)產(chǎn)品線總經(jīng)理李輝曾表示，“人工智能、大數(shù)據(jù)、5G新技術(shù)驅(qū)動(dòng)下，數(shù)據(jù)發(fā)生本質(zhì)改變，從過(guò)去‘人工采集、人工干預(yù)’過(guò)渡到現(xiàn)在‘機(jī)器產(chǎn)生、機(jī)器處理’的新時(shí)代，數(shù)據(jù)量爆發(fā)式增長(zhǎng)成為新常態(tài)。”據(jù)IDC預(yù)測(cè)，2020年全球?qū)⒂谐?9ZB的數(shù)據(jù)被創(chuàng)建、捕獲、復(fù)制和消費(fèi)，其中原始數(shù)據(jù)與復(fù)制數(shù)據(jù)(主要為機(jī)器處理產(chǎn)生的數(shù)據(jù))的比率大約為1:9，未來(lái)復(fù)制數(shù)據(jù)將推動(dòng)全球數(shù)據(jù)的增長(zhǎng)，預(yù)計(jì)到2024年復(fù)制數(shù)據(jù)將達(dá)到原始數(shù)據(jù)的10倍。
這些數(shù)據(jù)來(lái)源廣泛，它對(duì)存儲(chǔ)有什么要求?IT人員如何管理這些迅猛增長(zhǎng)的數(shù)據(jù)呢?
新數(shù)據(jù)時(shí)代對(duì)海量數(shù)據(jù)的存儲(chǔ)系統(tǒng)提出嚴(yán)苛要求
其一，高密度、大容量、可擴(kuò)展。數(shù)據(jù)的爆發(fā)式增長(zhǎng)和保存周期的延長(zhǎng)，帶來(lái)了對(duì)存儲(chǔ)空間的直接需求。傳統(tǒng)的存儲(chǔ)架構(gòu)已經(jīng)無(wú)法解決如此大數(shù)據(jù)量的存儲(chǔ)空間問(wèn)題。需要一套具有EB級(jí)擴(kuò)展性、支持千億級(jí)文件并支持多種服務(wù)接口的新型存儲(chǔ)系統(tǒng)，滿足海量、多元化數(shù)據(jù)存儲(chǔ)的同時(shí)，實(shí)現(xiàn)跨平臺(tái)無(wú)障礙對(duì)接。
其二，高可靠、高可用。存儲(chǔ)系統(tǒng)承擔(dān)著用戶的核心數(shù)據(jù)，與業(yè)務(wù)系統(tǒng)交互頻繁，一旦出故障，將直接影響業(yè)務(wù)系統(tǒng)的運(yùn)行狀態(tài)，甚至引發(fā)數(shù)據(jù)完整性、安全性問(wèn)題。而大規(guī)模存儲(chǔ)系統(tǒng)，硬件故障將成為常態(tài)，對(duì)存儲(chǔ)集群的負(fù)載均衡，數(shù)據(jù)冗余，系統(tǒng)重建和故障排除都有著較高要求，如何有效的避免故障和高效的管理、處理故障就顯得尤為重要。
浪潮分布式存儲(chǔ)應(yīng)運(yùn)而生
面對(duì)挑戰(zhàn)，浪潮存儲(chǔ)提出“云存智用 運(yùn)籌新數(shù)據(jù)”的理念，并發(fā)布了“AS13000G5超大規(guī)模數(shù)據(jù)中心級(jí)分布式存儲(chǔ)平臺(tái)”，幫助用戶解決海量數(shù)據(jù)的存儲(chǔ)問(wèn)題，為用戶的數(shù)據(jù)中心打造面向未來(lái)的存儲(chǔ)平臺(tái)。
首先，浪潮分布式存儲(chǔ)系統(tǒng)基于Scale Out架構(gòu)實(shí)現(xiàn)了容量極致擴(kuò)展。浪潮分布式存儲(chǔ)系統(tǒng)AS13000G5，通過(guò)Scale Out橫向擴(kuò)展的基礎(chǔ)架構(gòu)，實(shí)現(xiàn)單存儲(chǔ)系統(tǒng)節(jié)點(diǎn)擴(kuò)展數(shù)達(dá)5120個(gè)，可形成EB級(jí)海量存儲(chǔ)空間，支持千億數(shù)據(jù)文件管理。系統(tǒng)通過(guò)海量存儲(chǔ)系統(tǒng)對(duì)底層硬盤(pán)資源進(jìn)行池化，形成統(tǒng)一資源池，同時(shí)提供文件存儲(chǔ)、對(duì)象存儲(chǔ)、塊存儲(chǔ)、大數(shù)據(jù)四種存儲(chǔ)服務(wù)，支撐上層多種應(yīng)用，承載多元化的海量數(shù)據(jù)。依賴橫向擴(kuò)展的分布式存儲(chǔ)架構(gòu)，存儲(chǔ)性能隨容量擴(kuò)展而線性提升，從而達(dá)到千萬(wàn)級(jí)IOPS和百GB帶寬的極致性能。
浪潮分布式存儲(chǔ)
其次，浪潮分布式存儲(chǔ)依托多項(xiàng)高級(jí)功能優(yōu)化容量資源利用率。依托強(qiáng)大的研發(fā)實(shí)力，浪潮AS13000G5分布式存儲(chǔ)在研發(fā)過(guò)程中實(shí)現(xiàn)多項(xiàng)技術(shù)突破，并演進(jìn)迭代成為功能特性，進(jìn)一步提升大規(guī)模存儲(chǔ)集群的整體可用性、可靠性。
一是高級(jí)糾刪。浪潮存儲(chǔ)基于高級(jí)糾刪技術(shù)將空間利用率相較三副本提升2倍以上，在保障空間利用率的前提下，升級(jí)磁盤(pán)故障的可靠性。同時(shí)，支持通過(guò)故障域劃分技術(shù)將一個(gè)故障單元?jiǎng)澐殖蓛蓚€(gè)邏輯的故障單元，使得糾刪策略的配置更加靈活;
二是數(shù)據(jù)均衡。浪潮存儲(chǔ)采取全局一致性容量均衡技術(shù)，通過(guò)為每個(gè)硬盤(pán)增加引用計(jì)數(shù)，保證數(shù)據(jù)在集群所有硬盤(pán)中均勻分布?？刂朴脖P(pán)容量使用率偏差在2%以內(nèi)，系統(tǒng)容量實(shí)際利用率最高可達(dá)98%;
三是急速拷貝。浪潮存儲(chǔ)基于急速拷貝技術(shù)，無(wú)論文件大小都可以瞬間完成拷貝操作，一個(gè)源文件可以拷貝成多個(gè)目標(biāo)文件，每個(gè)文件的數(shù)據(jù)只在修改時(shí)復(fù)制，節(jié)約空間;
四是元數(shù)據(jù)集群。浪潮存儲(chǔ)通過(guò)部署多個(gè)active元數(shù)據(jù)服務(wù)，優(yōu)化元數(shù)據(jù)服務(wù)的內(nèi)存占用及多服務(wù)間負(fù)載均衡，提高元數(shù)據(jù)并發(fā)處理能力。實(shí)現(xiàn)海量元數(shù)據(jù)管理的同時(shí)，提升元數(shù)據(jù)處理性能;
五是快速重構(gòu)。浪潮存儲(chǔ)在硬盤(pán)發(fā)生故障時(shí)數(shù)據(jù)重構(gòu)速度最快可達(dá)4TB/h，支持根據(jù)業(yè)務(wù)情況配置重構(gòu)速度，采用合理的重構(gòu)策略。
極致容量下的極易管理
存儲(chǔ)集群在大規(guī)模部署的情況下，運(yùn)維的量級(jí)和難度對(duì)用戶來(lái)說(shuō)都是極大的挑戰(zhàn)。浪潮智能統(tǒng)一存儲(chǔ)管理平臺(tái)InView面向全系浪潮存儲(chǔ)平臺(tái)實(shí)現(xiàn)管理，采用大數(shù)據(jù)和AI技術(shù)采集硬盤(pán)、系統(tǒng)壓力等數(shù)據(jù)，發(fā)送給AI引擎執(zhí)行分析，輸出結(jié)果和處理建議，構(gòu)建智能化運(yùn)維管理平臺(tái)，實(shí)現(xiàn)對(duì)存儲(chǔ)平臺(tái)自動(dòng)化部署、狀態(tài)監(jiān)測(cè)、容量預(yù)測(cè)、性能優(yōu)化、遠(yuǎn)程巡檢、故障診斷、磁盤(pán)故障預(yù)測(cè)、資產(chǎn)管理等智能化運(yùn)營(yíng)，解決大規(guī)模IT系統(tǒng)運(yùn)維難題，提高運(yùn)維效率，降低運(yùn)維成本，優(yōu)化用戶體驗(yàn)，保障業(yè)務(wù)連續(xù)性。
InView基于深度學(xué)習(xí)的智能分析和主動(dòng)預(yù)防
通過(guò)配置InView,系統(tǒng)運(yùn)維由被動(dòng)模式轉(zhuǎn)換為主動(dòng)模式，大幅提升系統(tǒng)運(yùn)維能力和穩(wěn)定性。為用戶帶來(lái)看得見(jiàn)的收益，比如多套存儲(chǔ)平臺(tái)統(tǒng)一管理、統(tǒng)一入口，實(shí)現(xiàn)存儲(chǔ)平臺(tái)精細(xì)管理;又如基于神經(jīng)網(wǎng)絡(luò)算法和先進(jìn)訓(xùn)練模型，在3年多時(shí)間內(nèi)收集超50萬(wàn)個(gè)硬盤(pán)樣本，實(shí)現(xiàn)故障類型100%覆蓋，再如實(shí)現(xiàn)14天內(nèi)磁盤(pán)故障預(yù)測(cè)預(yù)測(cè)準(zhǔn)確率高于85%。此外，浪潮存儲(chǔ)還可以進(jìn)行容量、性能智能預(yù)測(cè)。例如，InView的容量智能預(yù)測(cè)如下圖。
浪潮存儲(chǔ)可實(shí)現(xiàn)容量智能預(yù)測(cè)
浪潮存儲(chǔ)圍繞解決數(shù)據(jù)存儲(chǔ)問(wèn)題，在“存得下”的基礎(chǔ)上，充分考慮大規(guī)模存儲(chǔ)集群對(duì)成本和硬件故障的敏感性，在低投入的情況下實(shí)現(xiàn)高容量的數(shù)據(jù)存儲(chǔ)，并且通過(guò)多種功能特性給予存儲(chǔ)系統(tǒng)更高的可靠性、安全性和可用性，進(jìn)一步實(shí)現(xiàn)了“存得穩(wěn)”、“管得全”。
浪潮存儲(chǔ)基于七大極致硬核技術(shù)形成了強(qiáng)大的產(chǎn)品競(jìng)爭(zhēng)力，二季度浪潮分布式存儲(chǔ)出貨量同比增長(zhǎng)313%，遠(yuǎn)超業(yè)界平均增速。浪潮存儲(chǔ)在殊多行業(yè)斬獲大單，為中國(guó)移動(dòng)大云5.0、全球最大天文望遠(yuǎn)鏡FAST、中國(guó)氣象大數(shù)據(jù)研究等超級(jí)工程項(xiàng)目提供彈性、靈活、高效的數(shù)據(jù)存儲(chǔ)服務(wù)。浪潮存儲(chǔ)將持續(xù)以“云存智用 運(yùn)籌新數(shù)據(jù)”賦能智算中心，在分布式存儲(chǔ)領(lǐng)域加速創(chuàng)新，釋放數(shù)據(jù)要素價(jià)值驅(qū)動(dòng)行業(yè)數(shù)字化轉(zhuǎn)型。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
