西部數(shù)據(jù)推出分區(qū)存儲(chǔ)技術(shù) 引領(lǐng)數(shù)據(jù)中心進(jìn)入ZB時(shí)代

這是一個(gè)萬(wàn)物皆可數(shù)字化的時(shí)代，我們的世界正在全面交由0和1來(lái)構(gòu)建。IDC的報(bào)告指出，現(xiàn)在每一年人類所創(chuàng)造的數(shù)據(jù)總量都相當(dāng)過(guò)去人類歷史中產(chǎn)生數(shù)據(jù)的總和。根據(jù)預(yù)測(cè)，2023年人類數(shù)據(jù)的產(chǎn)生將會(huì)超過(guò)100個(gè)ZB(數(shù)據(jù)單位量級(jí)GB\TB\PB\EB\ZB)。

過(guò)去幾年，全球及中國(guó)的ICT市場(chǎng)規(guī)模一直處于快速增長(zhǎng)態(tài)勢(shì)，尤其是IT技術(shù)架構(gòu)市場(chǎng)，北美和中國(guó)是數(shù)據(jù)中心市場(chǎng)的主要帶動(dòng)區(qū)域，而中國(guó)仍然是整個(gè)全球ICT市場(chǎng)增長(zhǎng)速度最快的。

到2025年，無(wú)論是用戶產(chǎn)生的，還是IoT設(shè)備捕獲的數(shù)據(jù)，或者是數(shù)據(jù)中心創(chuàng)建并復(fù)制的數(shù)據(jù)，將會(huì)達(dá)到“ZB”級(jí)別(1ZB=1,073,741,824TB)，與我們現(xiàn)在常接觸到的存儲(chǔ)容量單位TB、GB相比，是一個(gè)非常巨大的數(shù)字。我們將會(huì)邁入一個(gè)全新的數(shù)據(jù)時(shí)代。

而在這個(gè)大數(shù)據(jù)時(shí)代，如何處理海量數(shù)據(jù)就變得相當(dāng)關(guān)鍵。從現(xiàn)在的趨勢(shì)來(lái)看，解決ZB級(jí)數(shù)據(jù)的存儲(chǔ)和處理有三種方式，分別是多云間的數(shù)據(jù)流動(dòng)、數(shù)據(jù)分層與智能化。

其中根據(jù)數(shù)據(jù)的熱度分級(jí)選擇存儲(chǔ)介質(zhì)和存儲(chǔ)方式是很關(guān)鍵的。在數(shù)據(jù)中心或是云服務(wù)器里面，數(shù)據(jù)分層的情況很普遍，我們上傳到云端的冷數(shù)據(jù)和熱數(shù)據(jù)的區(qū)別是非常明顯的。據(jù)IDC的數(shù)據(jù)顯示，整個(gè)數(shù)據(jù)中心的冷數(shù)據(jù)可以占到整個(gè)比例的60%-90%，這部分?jǐn)?shù)據(jù)包括長(zhǎng)期保存的數(shù)據(jù)和容量導(dǎo)向的介質(zhì)所存儲(chǔ)的數(shù)據(jù)，對(duì)于存儲(chǔ)容量的要求是非常大的。

隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大以及應(yīng)用程序需要負(fù)載的工作更多樣，如何更好地存儲(chǔ)大量數(shù)據(jù)?如何有效管理數(shù)據(jù)爆炸的數(shù)字化時(shí)代?

在這個(gè)大背景下，數(shù)據(jù)存儲(chǔ)技術(shù)和架構(gòu)的革新迫在眉睫。

6月12日，西部數(shù)據(jù)公司宣布推出分區(qū)存儲(chǔ)技術(shù)，旨在為云和超大規(guī)模數(shù)據(jù)中心架構(gòu)師融合創(chuàng)新與行業(yè)標(biāo)準(zhǔn)，從而設(shè)計(jì)出高效的存儲(chǔ)層，幫助用戶在ZB級(jí)容量的存儲(chǔ)時(shí)代保持具有競(jìng)爭(zhēng)力的總體擁有成本，實(shí)現(xiàn)更大的規(guī)模效益。

西部數(shù)據(jù)指出，82%的數(shù)據(jù)在2022年都會(huì)變?yōu)榱髅襟w數(shù)據(jù)寫入的視頻數(shù)據(jù)，通過(guò)在存儲(chǔ)部件中建立不同的分區(qū)，根據(jù)數(shù)據(jù)的不同類型在存儲(chǔ)固件中存儲(chǔ)、轉(zhuǎn)移和管理數(shù)據(jù)，將會(huì)提高整個(gè)存儲(chǔ)效能，并且作為定制化的數(shù)據(jù)基礎(chǔ)架構(gòu)的時(shí)候，可以把控制和智能協(xié)同從原來(lái)的系統(tǒng)硬件的層面，下沉到系統(tǒng)存儲(chǔ)部件的層面。

針對(duì)于此，西部數(shù)據(jù)提出了基于開(kāi)源技術(shù)的分區(qū)存儲(chǔ)的技術(shù)提案，這套新的存儲(chǔ)技術(shù)不僅包含了開(kāi)源工具和文件系統(tǒng)支持，還包括了面向數(shù)據(jù)中心的SMR(疊瓦式磁記錄)超大容量HDD以及ZNS NVMe SSD開(kāi)發(fā)平臺(tái)。

　　(分區(qū)存儲(chǔ)設(shè)備原理示意圖 來(lái)自Zonedstorage.io)

開(kāi)發(fā)套件中的軟件庫(kù)囊括了最主要的開(kāi)發(fā)工具、數(shù)據(jù)庫(kù)和相關(guān)的命令集庫(kù)，并且都會(huì)公布在開(kāi)源社區(qū)網(wǎng)站Zonedstorage.io，該網(wǎng)站提供了軟件開(kāi)發(fā)庫(kù)、工具、ZNS信息、SMR資源和參考架構(gòu)等，幫助數(shù)據(jù)中心基礎(chǔ)架構(gòu)工程師更好的利用分區(qū)存儲(chǔ)技術(shù)。這也是西部數(shù)據(jù)作為在NVMe聯(lián)盟持續(xù)貢獻(xiàn)以及長(zhǎng)期為開(kāi)源社區(qū)提供基于SMR開(kāi)發(fā)工具的延伸。

打造整個(gè)分區(qū)存儲(chǔ)生態(tài)，顯然不單單是軟件就能解決的。除了推出ZonedStorage.io網(wǎng)站外，西部數(shù)據(jù)的產(chǎn)品套件還包括Ultrastar ZNS NVMe開(kāi)發(fā)SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB現(xiàn)已推出并向已通過(guò)驗(yàn)收的客戶批量供貨，Ultrastar ZNS NVMe開(kāi)發(fā)SSD也將向部分客戶開(kāi)放。并且西部數(shù)據(jù)還透漏將在明年出貨20TB容量的SMR HDD。

預(yù)計(jì)到2022年，HDD和SSD的支出將達(dá)到IT基礎(chǔ)架構(gòu)總支出的27%。而采用SMR技術(shù)的HDD可以做到比普通HDD更大的容量，甚至高達(dá)20%，它的容量?jī)?yōu)勢(shì)對(duì)于數(shù)據(jù)中心降低其總擁有成本(TCO)是非常重要的。例如在一個(gè)1ZB級(jí)的超大規(guī)模數(shù)據(jù)中心，全部采用20TB的SMR HDD的話，將可以減少2500萬(wàn)個(gè)硬盤、42000個(gè)60槽位機(jī)架數(shù)量，并且相應(yīng)的溫控成本也會(huì)下降。

另外一點(diǎn)，SMR目前已經(jīng)得到了生態(tài)系統(tǒng)當(dāng)中廣泛的支持，包括內(nèi)核的支持，SUSE已經(jīng)全面支持SMR，而SMR在硬件方面需要IO控制器、HBA和拓展其產(chǎn)品的支持，現(xiàn)在包括HBA的廠家、ATTO、BROADCOM、MICROCHIP等等都推出了支持了SMR的產(chǎn)品。西部數(shù)據(jù)甚至把今年看做是SMR HDD推入部署的元年，預(yù)計(jì)在2023年，全世界將有超過(guò)50%的數(shù)據(jù)會(huì)在SMR HDD中存取。

　　(NVMe劃分區(qū)域中的命名空間數(shù)據(jù)放置示意圖 來(lái)自Zonedstorage.io)

西部數(shù)據(jù)還宣布針對(duì)早期分區(qū)存儲(chǔ)工作推出ZNS(分區(qū)命名空間)開(kāi)發(fā)SSD。ZNS是NVMe標(biāo)準(zhǔn)規(guī)劃內(nèi)的新特性，也是對(duì)SMR技術(shù)的補(bǔ)充，它讓開(kāi)發(fā)人員在共同的軟件堆棧下可以不分存儲(chǔ)介質(zhì)類型有效的調(diào)用SMR和ZNS。ZNS SSD通過(guò)將“區(qū)域”與SSD的內(nèi)部物理屬性進(jìn)行匹配而實(shí)現(xiàn)這些改進(jìn)，有效的減少數(shù)據(jù)存放低效能的現(xiàn)象，旨在減少寫放大，增加可用容量，并提供更高的吞吐量和更低的時(shí)延。

西部數(shù)據(jù)分區(qū)存儲(chǔ)架構(gòu)將會(huì)賦能應(yīng)用層、主機(jī)和存儲(chǔ)互相協(xié)調(diào)數(shù)據(jù)存放位置，以充分利用在SMR HDD上可以實(shí)現(xiàn)的最大存儲(chǔ)容量，以及ZNS SSD上實(shí)現(xiàn)更好的耐久性和可預(yù)測(cè)的低延遲和QoS性能。

隨著生態(tài)系統(tǒng)的不斷發(fā)展和SMR的推廣，西部數(shù)據(jù)致力于在提供高容量的同時(shí)不斷演進(jìn)能源輔助磁記錄技術(shù)。目前也有越來(lái)越多的云服務(wù)提供商正在投入資源管理高容量SMR HDD的主機(jī)軟件，SMR和ZNS正在從根本上重塑云和企業(yè)數(shù)據(jù)中心，將通過(guò)智能化應(yīng)用架構(gòu)成為當(dāng)前和未來(lái)ZB級(jí)數(shù)據(jù)時(shí)代的關(guān)鍵基石，以便協(xié)助大體量客戶實(shí)現(xiàn)更好的TCO。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。