浪潮資深存儲(chǔ)架構(gòu)師 葉毓睿
簡(jiǎn)而言之,存儲(chǔ)如何以更高效、更低成本的方式,圍繞著數(shù)據(jù)的產(chǎn)生、存放、保護(hù)、優(yōu)化、利用,直至數(shù)據(jù)成為資產(chǎn),滿(mǎn)足數(shù)據(jù)對(duì)存儲(chǔ)提出的要求。
相關(guān)的關(guān)鍵詞有十個(gè):分布式存儲(chǔ)、云存儲(chǔ)、容器存儲(chǔ)、全閃存、AI存儲(chǔ)、區(qū)塊鏈存儲(chǔ)、邊緣存儲(chǔ)、量子存儲(chǔ)、生物存儲(chǔ)或基因存儲(chǔ)等等。
一、 鑒往事
我們先回顧一下歷史,過(guò)去十年(2010-2019)存儲(chǔ)發(fā)生了什么事件?
2010年:EMC收購(gòu)Isilon,22.5億美元 ;
2010年:惠普收購(gòu)3Par,23.5億美元 ;
2011年:戴爾收購(gòu)Compellent,9.6億美元 ;
2011年:希捷收購(gòu)三星硬盤(pán),13.75億美元 ;
2011年:西部數(shù)據(jù)收購(gòu)日立GST,48億美元 ;
2012年:VMware提出SDDC(軟件定義數(shù)據(jù)中心)和SDS(軟件定義存儲(chǔ))的概念,之后推出SDS產(chǎn)品 – Virtual SAN的預(yù)覽版 ;
2013年:Avago收購(gòu)LSI,66億美元 ;
2014年:閃迪收購(gòu)Fusion-io,11億美元 ;
2015年:戴爾收購(gòu)EMC,630億美元 ;
2015年:西部數(shù)據(jù)收購(gòu)閃迪,160億美元 ;
2016年:IBM收購(gòu)對(duì)象存儲(chǔ),約13億美元 ;
2016年:HCI(超融合)概念提出者Nutanix上市;
2016年:博通收購(gòu)博科,59億美元 ;
2016年:OpenText收購(gòu)Dell EMC企業(yè)內(nèi)容部門(mén)(包括Documentum等),16.2億美元 ;
2017年:HPE收購(gòu)Nimble Storage,10.9億美元 ;
2018年:微軟收購(gòu)混合云數(shù)據(jù)存儲(chǔ)公司Avere Systems ;
2019年: AWS收購(gòu)E8 Storage,估計(jì)在5000萬(wàn)美元至6000萬(wàn)美元之間 ;
2019年: 谷歌收購(gòu)存儲(chǔ)企業(yè)Elastifile, 2億美元 ;
2019年: IBM收購(gòu) RedHat, 340億美元,RedHat有兩款開(kāi)源存儲(chǔ)產(chǎn)品:Ceph和Gluster。
站在企業(yè)存儲(chǔ)系統(tǒng)的角度,有幾件事值得注意:HCI、SDDC、SDS的相聚出現(xiàn)、戴爾收購(gòu)EMC、西部數(shù)據(jù)收購(gòu)閃迪、HPE收購(gòu)3Par和Nimble Storage,以及云計(jì)算廠(chǎng)商微軟、AWS和谷歌的收購(gòu)。這些事件體現(xiàn)了全球存儲(chǔ)發(fā)展的幾大趨勢(shì):分布式、云化、閃存化、智能等。
1、分布式存儲(chǔ)
軟件定義存儲(chǔ),為云而生。軟件定義存儲(chǔ)就是將硬件的可操控成分按需求,分階段的,通過(guò)編程接口或者以服務(wù)的方式逐步暴露給前端應(yīng)用,分階段地滿(mǎn)足應(yīng)用對(duì)資源的不同程度、不同方面的靈活調(diào)用。軟件定義存儲(chǔ)其實(shí)是一個(gè)過(guò)程,不是一蹴而就的目標(biāo),它分成不同階段:抽象、池化和自動(dòng)化。目前,軟件定義存儲(chǔ)最顯著的特征是呈現(xiàn)分布式,根據(jù)近年來(lái)IDC的報(bào)告,軟件定義存儲(chǔ)按照訪(fǎng)問(wèn)方式,分為三類(lèi):分布式塊存儲(chǔ)、分布式文件存儲(chǔ)、分布式對(duì)象存儲(chǔ)。未來(lái)十年,分布式存儲(chǔ)的相對(duì)市場(chǎng)份額將不斷增長(zhǎng),預(yù)計(jì)將超過(guò)集中存儲(chǔ)的市場(chǎng)份額,然而兩者將長(zhǎng)期并存。
戴爾收購(gòu)的Compellent、HP收購(gòu)的3Par,實(shí)現(xiàn)了塊級(jí)虛擬化,將硬盤(pán)和RAID解耦;VMware Virtual SAN(現(xiàn)命名為vSAN)、Nutanix有別于以往的專(zhuān)用存儲(chǔ),將文件系統(tǒng)軟件與服務(wù)器解耦,體現(xiàn)了分布式存儲(chǔ)征程中的不同階段
回顧一下Gartner 在2015年7月發(fā)布的技術(shù)成熟度曲線(xiàn),彼時(shí)處于曲線(xiàn)的最高點(diǎn),也即階段二(過(guò)高期望的峰值,Peak of Inflated Expectations)。四、五年左右的時(shí)間,才被市場(chǎng)廣泛認(rèn)可,但迄今離占據(jù)市場(chǎng)主流份額還需一段時(shí)間。好消息是,分布式存儲(chǔ)發(fā)展非常迅猛,遠(yuǎn)超平均值。
2、云化 (含容器、超融合、混合云)
據(jù)報(bào)道,全球云存儲(chǔ)市場(chǎng)2017年為307億美元,預(yù)計(jì)到2022年889.1億美元,CAGR為23.7%;中國(guó)云存儲(chǔ)市場(chǎng)2017年規(guī)模為88.68億人民幣,同比增長(zhǎng)71.8%,2018年同比增長(zhǎng)率將上升至72.8%,市場(chǎng)規(guī)模為158.5億元人民幣。
Gartner在2019年的報(bào)告中顯示:到2024年,40%的企業(yè)將實(shí)施至少一種混合云存儲(chǔ)方式,高于2019年的10% 。
上述提到的云存儲(chǔ)主要是以AWS S3、EBS、阿里云塊存儲(chǔ)、OSS為代表的公有云存儲(chǔ)。在本篇文章里,云化的概念更廣泛,包括了公有云和私有云。
云的特點(diǎn)包括彈性靈活、按需交付、按用付費(fèi)等,除了眾所周知的公有云之外,還要看到私有云。AWS CEO Andy Jessy在A(yíng)WS 2019 re:Invent大會(huì)上分享了如下消息:公有云的總支出只占到總IT支出的3% 。也就是說(shuō),全球IT支出總,私有云仍占絕大多數(shù)。我曾在2017年看到一篇文章提到:預(yù)計(jì)到2040年,公有云大約占整個(gè)IT開(kāi)支的1/3和1/2之間。如果真是如此,也就是說(shuō)即使二十年后,私有云仍占半壁江山。
1)私有云的云化對(duì)接
存儲(chǔ)如何更好的服務(wù)私有云,成為企業(yè)級(jí)存儲(chǔ)的一個(gè)重要課題。除了存儲(chǔ)自身的池化、自動(dòng)化之外,向上提供API,方便私有云管理平臺(tái)按需驅(qū)動(dòng)存儲(chǔ)資源的創(chuàng)建、調(diào)整、優(yōu)化甚至回收,將逐漸成為必備配置。云化對(duì)接包含兩大塊,一是對(duì)接開(kāi)源的云管理平臺(tái),例如OpenStack的塊接口Cinder、文件接口Manila、對(duì)象接口Swift和幾乎成為標(biāo)準(zhǔn)的AWS S3接口;二是對(duì)接商業(yè)的云管理平臺(tái),首當(dāng)其沖的是能夠被主流Hypervisor識(shí)別,如VMware ESXi、Microsoft Hyper-V。國(guó)內(nèi)存儲(chǔ)廠(chǎng)商中,浪潮的AS13000在云化對(duì)接中做得更齊全。
容器對(duì)接也可以視為云化對(duì)接的一部分,我們看到越來(lái)越多的用戶(hù),包括互聯(lián)網(wǎng)、金融、電信等行業(yè),開(kāi)始部署容器技術(shù)。因此存儲(chǔ)支持CSI(Container Storage Interface)接口也將逐漸成為企業(yè)級(jí)存儲(chǔ)的必備配置。
超融合可以視為私有云的一種部署形態(tài),當(dāng)計(jì)算資源池和存儲(chǔ)資源池在初次采購(gòu)以及后續(xù)擴(kuò)容的過(guò)程中,計(jì)算和存儲(chǔ)的比例比較適中,也即,不會(huì)出現(xiàn)少量計(jì)算資源需要搭配大量存儲(chǔ)空間;也不會(huì)出現(xiàn)大量計(jì)算資源需要搭配很少的存儲(chǔ)空間,此時(shí)超融合是不錯(cuò)的選擇。
2)公私相互滲透
在云計(jì)算領(lǐng)域,開(kāi)始出現(xiàn)To C和To B的融合。
早期公有云的用戶(hù)主要是一些C端,或者小B的用戶(hù),隨著云計(jì)算的深入和普及,云巨頭開(kāi)始希望吸引大B用戶(hù)。但是,出于隱私保護(hù)、安全性、政府合規(guī)、管理、兼容性、慣性、遷移成本等多種因素的考慮,原有大B用戶(hù)遷移到公有云的進(jìn)展比預(yù)期要緩慢。
因此,云巨頭早在幾年前就開(kāi)始通過(guò)構(gòu)建混合云或者私有云的方式來(lái)瓜分B端IT市場(chǎng)的大蛋糕。AWS收購(gòu)E8和推出Outposts,微軟收購(gòu)混合云數(shù)據(jù)存儲(chǔ)公司Avere,阿里云推出混合云存儲(chǔ)方案,騰訊云、金山云、京東云也不甘人后。
另外,因?yàn)槌杀?、空間、能耗等因素,逐漸有更多用戶(hù)希望To B的存儲(chǔ)廠(chǎng)商,能夠支持將歷史數(shù)據(jù)備份或歸檔到公有云存儲(chǔ)上。
3、閃存化
根據(jù)IDC 在2019年12月31日的報(bào)道:“2019前三個(gè)季度,中國(guó)企業(yè)級(jí)全閃存存儲(chǔ)陣列市場(chǎng)同比增長(zhǎng)超過(guò)60%。IDC預(yù)測(cè), 2019年全閃存存儲(chǔ)市場(chǎng)仍將達(dá)到近50%的增長(zhǎng)”。
據(jù)報(bào)道,閃存顆粒價(jià)格逐年下降(按照30%~40%的降幅),如下圖所示。
國(guó)內(nèi)的長(zhǎng)江存儲(chǔ)或?qū)⒓铀匍W存顆粒下降趨勢(shì);
當(dāng)全閃存相比機(jī)械盤(pán)價(jià)格差距不大時(shí),更多用戶(hù)愿意為延時(shí)縮短而買(mǎi)單(目前和15k轉(zhuǎn),10k轉(zhuǎn)的機(jī)械盤(pán)價(jià)格相差不多;7.2k轉(zhuǎn)的機(jī)械盤(pán)當(dāng)下價(jià)格還有一些優(yōu)勢(shì));
機(jī)械硬盤(pán)逐漸退化成類(lèi)似磁帶地位的介質(zhì)。
而且在當(dāng)前的大背景下,因?yàn)闄C(jī)械硬盤(pán)的核心技術(shù)欠缺的原因,大力發(fā)展和推進(jìn)閃存落地具有重要的意義。國(guó)內(nèi)大的存儲(chǔ)廠(chǎng)商中,華為和浪潮都推出了自己的NVMe閃存盤(pán)。
閃存化的過(guò)程中,必然催生全閃存陣列的發(fā)展,其中的相關(guān)技術(shù)NVMe Over Fabric(簡(jiǎn)稱(chēng)NVMe-oF)借助RDMA等超低延時(shí)的傳輸協(xié)議,可遠(yuǎn)程訪(fǎng)問(wèn)SSD,解決了下一代數(shù)據(jù)中心在橫向擴(kuò)展 (Scale-out) 時(shí)所遭遇的性能、功能、容量三者之間難以取舍的權(quán)衡問(wèn)題。
4、智能
這里包括兩個(gè)方面,一是存儲(chǔ)的智能化;二是存儲(chǔ)如何為智能應(yīng)用進(jìn)行優(yōu)化,也即AI存儲(chǔ)應(yīng)該如何優(yōu)化。
1)存儲(chǔ)智能化
存儲(chǔ)智能化所希望達(dá)到的就是能夠根據(jù)業(yè)務(wù)負(fù)載、運(yùn)維管理等的歷史記錄,預(yù)測(cè)未來(lái)可能會(huì)發(fā)生什么,再據(jù)此動(dòng)態(tài)地調(diào)整存儲(chǔ)資源池,做到物盡其用;以及提供預(yù)警信息和執(zhí)行動(dòng)作,做到防患于未然。然而這個(gè)道路非常漫長(zhǎng),因?yàn)閺S(chǎng)商需要在安全性穩(wěn)定性和性?xún)r(jià)比(也即動(dòng)態(tài)調(diào)整存儲(chǔ)資源)之間做取舍;另外要想取得根據(jù)負(fù)載自動(dòng)調(diào)整存儲(chǔ),其實(shí)不亞于將AI算法植入存儲(chǔ)系統(tǒng)之中,難度不小。目前,存儲(chǔ)廠(chǎng)商中,做得比較好的有HPE的Infosight和浪潮的InView。
2)AI存儲(chǔ)
Gartner報(bào)告顯示,到2022年,企業(yè)高管中將有半數(shù)以上會(huì)規(guī)劃AI技術(shù)的部署,而這一數(shù)字在2018年的時(shí)候僅有4% 。
根據(jù)IDC數(shù)據(jù),2018年上半年,中國(guó)AI基礎(chǔ)架構(gòu)市場(chǎng)銷(xiāo)售額和出貨量分別同比增長(zhǎng)176%和129% 。
AI所需存儲(chǔ),可以分為準(zhǔn)備、訓(xùn)練、推理和歸檔等階段,每個(gè)階段的IO特征不一樣,對(duì)于存儲(chǔ)的要求也不一樣。例如,在推理階段,IO的特征是讀寫(xiě)混合,并且要求存儲(chǔ)的延時(shí)低,能快速響應(yīng)。
國(guó)內(nèi)的AI公司針對(duì)不同行業(yè)不同細(xì)分場(chǎng)景,通過(guò)AI訓(xùn)練導(dǎo)出的模型,銷(xiāo)售給最終用戶(hù)。為了增加營(yíng)收,降低部署難度,有不少AI公司將模型以及所需的軟硬件打包,以一體機(jī)的方式銷(xiāo)售。其中的存儲(chǔ)系統(tǒng)多采用OEM或者轉(zhuǎn)售的方式,因?yàn)锳I公司的主業(yè)是它的算法以及針對(duì)場(chǎng)景不斷優(yōu)化,自研存儲(chǔ)納入到一體機(jī)里,性?xún)r(jià)比不高。
總結(jié)而言,過(guò)去的這些年,解決了數(shù)據(jù)的存放、保護(hù)和優(yōu)化,尤其是在數(shù)字宇宙迅猛膨脹的過(guò)程中,如何低成本、高效率地存放。
Peter Ye(葉毓睿),浪潮資深存儲(chǔ)架構(gòu)師。區(qū)塊鏈存儲(chǔ)概念首倡者之一 。國(guó)內(nèi)第一本SDS書(shū)籍 ---《軟件定義存儲(chǔ):原理,實(shí)踐與生態(tài)》的作者,該書(shū)由倪光南院士親自撰寫(xiě)序言,重印多次?!禫Mware軟件定義存儲(chǔ):原理剖析和設(shè)計(jì)指南》的譯者。曾任職于EMC、DELL、VMware等公司的系統(tǒng)顧問(wèn)、存儲(chǔ)架構(gòu)師,對(duì)存儲(chǔ)、云計(jì)算、區(qū)塊鏈等IT行業(yè)的歷史發(fā)展和未來(lái)趨勢(shì)有著深入的了解。同時(shí)也是"樂(lè)生活與愛(ài)IT" 微信公眾號(hào)的作者。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 為什么年輕人不愛(ài)換手機(jī)了
- 柔宇科技未履行金額近億元被曝已6個(gè)月發(fā)不出工資
- 柔宇科技被曝已6個(gè)月發(fā)不出工資 公司回應(yīng)欠薪有補(bǔ)償方案
- 第六座“綠動(dòng)未來(lái)”環(huán)保公益圖書(shū)館落地貴州山區(qū)小學(xué)
- 窺見(jiàn)“新紀(jì)元”,2021元宇宙產(chǎn)業(yè)發(fā)展高峰論壇“廣州啟幕”
- 以人為本,景悅科技解讀智慧城市發(fā)展新理念
- 紐迪瑞科技/NDT賦能黑鯊4 Pro游戲手機(jī)打造全新一代屏幕壓感
- 清潔家電新老玩家市場(chǎng)定位清晰,攜手共進(jìn),核心技術(shù)決定未來(lái)
- 新思科技與芯耀輝在IP產(chǎn)品領(lǐng)域達(dá)成戰(zhàn)略合作伙伴關(guān)系
- 芯耀輝加速全球化部署,任命原Intel高管出任全球總裁
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。