對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

IDC數(shù)據(jù)顯示:SDS蠶食傳統(tǒng)存儲,對象存儲蠶食文件系統(tǒng)市場

近期IDC發(fā)布了2020年SDS中國區(qū)市場報(bào)告,我們可以從統(tǒng)計(jì)數(shù)據(jù)分析出存儲市場正在發(fā)生的格局變化。

從SDS的整體數(shù)據(jù)來看,SDS的市場份額占比相比2019年增長了5.4%,是增長最快的一個市場,而較熱門的HCI也僅增長了2%。而傳統(tǒng)存儲則從2019年的占比65%下降到57.7%,下降了超過7個百分點(diǎn)。從這個數(shù)據(jù)可以看出,SDS和HCI在不斷地蠶食傳統(tǒng)存儲市場。

對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

圖1 2020/2019中國存儲市場概況

將SDS的三個產(chǎn)品分類:塊、文件、對象的市場份額拆開來看,文件依然占比最大,但份額從2019年的59.9%下降到了48.5%。

對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

圖2 2019-2020中國SDS市場概況

2020年的塊存儲增長較快,IDC給出的原因是中移動大規(guī)模集采造成的影響,屬于短期波動。就整體市場空間而言,2020年對象存儲增長了63.1%,文件存儲增長了22.7%。根據(jù)IDC的預(yù)測,未來5年平均增長最快的還是對象存儲。

對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

圖3 2020-2025中國SDS市場空間預(yù)測

為什么對象存儲會替代文件系統(tǒng)

對象存儲和文件系統(tǒng)都以非結(jié)構(gòu)化數(shù)據(jù)存儲為主要目標(biāo)市場,但是對象存儲在技術(shù)上存在以下先天優(yōu)勢,能夠更好地滿足應(yīng)用需求:

1.對象存儲采用哈希索引定位和讀取數(shù)據(jù)塊,具有更豐富的元數(shù)據(jù)管理手段,使得對象存儲在海量小文件場景下?lián)碛羞h(yuǎn)比文件存儲強(qiáng)大的性能優(yōu)勢;

2.物理世界中的數(shù)據(jù)往往有多重屬性,對象存儲可以對數(shù)據(jù)附加多維度的標(biāo)簽來描述這些屬性,因此在檢索和管理數(shù)據(jù)時,對象存儲比只能基于文件名檢索的文件系統(tǒng)更高效;

3.對象存儲RESTful風(fēng)格的應(yīng)用接口,大大簡化了存儲協(xié)議棧,縮短了應(yīng)用和存儲之間的距離,而存儲系統(tǒng)的智能化使得應(yīng)用可以將對數(shù)據(jù)的計(jì)算處理卸載到存儲系統(tǒng)進(jìn)行,在很多場景下,這種計(jì)算模式可以大大降低存儲與計(jì)算之間的交互次數(shù)或吞吐量,簡化應(yīng)用的復(fù)雜度和業(yè)務(wù)流程,極大提升應(yīng)用的關(guān)鍵性能指標(biāo)。

對象存儲逐漸替代文件系統(tǒng)的主要應(yīng)用場景

從應(yīng)用場景看,對象存儲正在替代傳統(tǒng)文件存儲的領(lǐng)域。我們按照Gartner的文件系統(tǒng)傳統(tǒng)應(yīng)用場景來分析對象存儲替代文件的主要原因。

對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

表1 傳統(tǒng)文件存儲被對象存儲替代的應(yīng)用場景

新興應(yīng)用場景是未來對象存儲的增長點(diǎn)

我們還要看到,除了傳統(tǒng)文件存儲的市場,對象存儲在新興場景的增量是一個更大的市場。

一、AI視覺場景

隨著AI技術(shù)在各行各業(yè)應(yīng)用的深化,公安、交通等行業(yè)開始利用AI改進(jìn)視頻監(jiān)控技術(shù),將視頻中的關(guān)鍵圖片抽取出來,進(jìn)行結(jié)構(gòu)化分析后保存圖片和相關(guān)結(jié)構(gòu)化數(shù)據(jù),從而快速檢索符合特征的人/車圖片,提升檢索效率,同時也能夠提升存儲的數(shù)據(jù)價值。視頻監(jiān)控場景原來大量采用視頻監(jiān)控存儲,采用AI技術(shù)后,存儲的是圖片和圖片的結(jié)構(gòu)化數(shù)據(jù),傳統(tǒng)視頻監(jiān)控存儲無法滿足海量圖片存儲的性能需求。這部分需求會逐步被對象存儲取代,而且對象存儲可以存儲圖片的標(biāo)簽,支持基于標(biāo)簽的檢索,長期來講會提升對象存儲的市場占有率。

在制造業(yè),智能制造利用AI技術(shù)替代人工進(jìn)行產(chǎn)品質(zhì)檢也會產(chǎn)生海量的圖片,杉巖數(shù)據(jù)的一些制造業(yè)用戶每天產(chǎn)生近100TB/數(shù)千萬文件的圖片數(shù)據(jù),對快速檢索有很強(qiáng)的需求,比如以生產(chǎn)線、工序號、時間、良/次品、物料ID等為檢索手段。大量的圖片使傳統(tǒng)存儲面臨很大挑戰(zhàn),尤其是在圖片的檢索中,文件系統(tǒng)只能基于文件名進(jìn)行檢索,檢索效率非常低下,在這種新場景下用戶使用非常不便。采用對象存儲后無論在性能,還是檢索的多維度、檢索效率上都非常匹配用戶需求,這也是新場景帶來的對象存儲機(jī)會點(diǎn)。

二、IPFS存儲場景

IPFS場景對存儲的容量規(guī)模需求非常大,由于規(guī)模大,對于存儲的性價比要求也比較高。在做時空證明時,IPFS系統(tǒng)需要進(jìn)行大量的隨機(jī)讀,并將讀取的內(nèi)容組裝起來,業(yè)務(wù)系統(tǒng)不斷地向存儲集群進(jìn)行大量讀請求,請求數(shù)量對網(wǎng)絡(luò)形成非常大的壓力。杉巖數(shù)據(jù)的IPFS存儲解決方案在計(jì)算集群中整合多次讀請求,由存儲集群一次性處理,并將大量的請求分散到所有磁盤,然后組裝讀取的數(shù)據(jù),該方案可以保證高性能的大規(guī)模數(shù)據(jù)存儲。目前在IPFS存儲場景,大規(guī)模的礦商基本采用對象存儲方案,這會在中期大幅度提升對象存儲的市場空間。

三、大數(shù)據(jù)存算分離,替代HDFS存儲

大數(shù)據(jù)集群由于歷史原因一直采用存算融合架構(gòu),底層采用HDFS分布式存儲。受云原生架構(gòu)影響,Hadoop/Spark計(jì)算層為了適應(yīng)彈性,采用云/容器化的趨勢增加,而HDFS云化/容器化難度較大,所以存算分離架構(gòu)的需求越來越多。采用存算分離架構(gòu)可以帶來如下好處:

·存儲和計(jì)算獨(dú)立擴(kuò)展,計(jì)算能力不夠單獨(dú)擴(kuò)展計(jì)算集群,存儲空間不足單獨(dú)擴(kuò)展存儲容量,可以降低大數(shù)據(jù)平臺的建設(shè)成本。

·計(jì)算彈性使業(yè)務(wù)可以根據(jù)需求收縮和擴(kuò)展,避免長時間占用大量物理資源。

·Hadoop/Spark/Impala可以獨(dú)立升級,無需考慮HDFS數(shù)據(jù)格式兼容無法升級問題,快速應(yīng)用計(jì)算層組件的最新特性。

·對象存儲的商用產(chǎn)品,在穩(wěn)定性、可維護(hù)性、升級兼容性方面大大優(yōu)于開源的HDFS,可以降低存儲維護(hù)難度。

目前最優(yōu)的替代方案就是采用對象存儲替換HDFS存儲,目前該方案已經(jīng)在公有云上得到驗(yàn)證,企業(yè)私有云用戶正在逐步替換。

云原生應(yīng)用私有化部署,替代傳統(tǒng)NAS

云原生應(yīng)用如阿里釘釘,早期為中小型企業(yè)提供SaaS服務(wù),積累了大量中小型用戶,這些新興SaaS軟件供應(yīng)商基本都是基于云/容器,以及對象存儲來開發(fā)應(yīng)用。隨著產(chǎn)品的口碑不斷提升,中大型企業(yè)認(rèn)識到這些新的應(yīng)用服務(wù)非常方便,但部署形態(tài)上希望采用私有云以保證信息安全和合規(guī)。隨著這些云原生應(yīng)用持續(xù)拓展到中大型用戶機(jī)房,會倒逼基礎(chǔ)架構(gòu)向容器/對象的架構(gòu)轉(zhuǎn)型,而且采用跟公有云架構(gòu)普遍采用的對象存儲,也更加容易幫助企業(yè)構(gòu)建混合云基礎(chǔ)架構(gòu),也會是未來對象存儲持續(xù)增長的動力。

對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

表2 新興場景文件/對象存儲優(yōu)劣對比

小結(jié)

1.文件存儲的傳統(tǒng)領(lǐng)域:對象存儲在非結(jié)構(gòu)化數(shù)據(jù)歸檔、文件共享、備份等場景會不斷蠶食傳統(tǒng)文件存儲市場空間。

2.新場景領(lǐng)域如AI視覺場景、IPFS場景、大數(shù)據(jù)場景、云原生應(yīng)用私有化部署場景,對象存儲會成為主流。

3.建議CIO盡早構(gòu)建對象存儲基礎(chǔ)架構(gòu),滿足AI應(yīng)用、數(shù)據(jù)湖,以及云原生應(yīng)用下云對基礎(chǔ)架構(gòu)升級換代的需求。

對象存儲:存儲市場黑馬及未來市場發(fā)展的深度解讀

圖4 對象存儲和文件存儲的適用場景

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )