上百億藍(lán)海市場(chǎng),CDM有何“數(shù)據(jù)魔法”?

如同高跟鞋之于女人,格子衫之于程序員,奧特曼之于小男孩…總有一股說不清,道不明的因子,讓他們?nèi)缤皇└搅四Хㄒ话?,甘愿沉浸其中。今天,CDM之于企業(yè)ITer,也正在徐徐呈現(xiàn)屬于它的獨(dú)一無二的“數(shù)據(jù)魔法”。

早在2017年Taneja Group的一項(xiàng)研究就表明,超過30%的公司正在考慮或?qū)嵤〤DM(Copy Data Management,數(shù)據(jù)副本管理)產(chǎn)品。在國(guó)內(nèi),金融和運(yùn)營(yíng)商行業(yè)的多家頭部用戶也在近兩年相繼完成了CDM產(chǎn)品的部署和應(yīng)用… 隨著數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū),數(shù)據(jù)成為企業(yè)最關(guān)鍵的生產(chǎn)資料,CDM“何許人也”,又究竟有何魔力,贏得了諸多企業(yè)的青睞?CDM技術(shù)“朋友圈”目前聚集了哪些“小伙伴”,這項(xiàng)技術(shù)未來又將保持怎樣的演進(jìn)……

一個(gè)數(shù)百億美元的藍(lán)海市場(chǎng)

統(tǒng)計(jì)顯示,平均每個(gè)企業(yè)要為應(yīng)用開發(fā)、QA、用戶驗(yàn)收、產(chǎn)品支持、報(bào)告和備份等,從生產(chǎn)數(shù)據(jù)源創(chuàng)建8-10份數(shù)據(jù)副本。因此,以一個(gè)5TB的生產(chǎn)數(shù)據(jù)庫(kù)為例,往往要為下游創(chuàng)建出40-50TB的數(shù)據(jù)副本。一家500強(qiáng)企業(yè)甚至擁有超過上千個(gè)生產(chǎn)數(shù)據(jù)庫(kù),數(shù)據(jù)副本達(dá)到PB級(jí)規(guī)模。

大量的數(shù)據(jù)副本存在不可避免地造成了一定程度的資源浪費(fèi)以及維護(hù)開銷的增長(zhǎng),有數(shù)據(jù)表明,企業(yè)80%的存儲(chǔ)能力都被次級(jí)數(shù)據(jù)所使用。

援引自IDC的數(shù)據(jù)也顯示,目前每年在Copy Data上的開銷達(dá)到460億美元,企業(yè)內(nèi)的數(shù)據(jù)副本消耗了60%的存儲(chǔ)空間,并且65%的存儲(chǔ)軟件和85%存儲(chǔ)采購(gòu)由此產(chǎn)生。

資料來源:IDC

不僅如此,在傳統(tǒng)的生產(chǎn)協(xié)作流程中,當(dāng)開發(fā)和測(cè)試人員想要獲取必須的數(shù)據(jù)副本時(shí),往往需要從提交申請(qǐng),到完全準(zhǔn)備好環(huán)境,耗時(shí)幾天甚至以月為單位(數(shù)據(jù)交付時(shí)間視數(shù)據(jù)規(guī)模,環(huán)境準(zhǔn)備情況等而定)。

這樣的數(shù)據(jù)管理實(shí)踐并非最佳,不僅大量浪費(fèi)了存儲(chǔ)資源,而且還帶來了數(shù)據(jù)合規(guī)和敏捷性等方面的問題,影響了用戶應(yīng)用程序的快速迭代,這對(duì)于今天追求敏捷轉(zhuǎn)型和DevOps轉(zhuǎn)型的企業(yè)而言難以接受。

為了幫助企業(yè)統(tǒng)一管理海量的非關(guān)鍵性數(shù)據(jù),尤其是冗余的數(shù)據(jù)副本,業(yè)界采用了CDM技術(shù)。什么是CDM?它的主要應(yīng)用場(chǎng)景又是什么?Gartner對(duì)此提出:它從生產(chǎn)環(huán)境通過快照技術(shù)獲取有應(yīng)用一致性保證的數(shù)據(jù),在非生產(chǎn)存儲(chǔ)上生成“黃金副本”(Golden Image),這個(gè)“黃金副本”數(shù)據(jù)格式是原始的磁盤格式,可再虛擬化成多個(gè)副本直接掛載給服務(wù)器,分別用于備份恢復(fù)、容災(zāi)或開發(fā)測(cè)試。

Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》報(bào)告指出,CDM技術(shù)已經(jīng)度過了了早期的技術(shù)炒作期,目前處于“泡沫化的低谷期”(trough of disillusionment),這從側(cè)面說明一些客戶開始在非關(guān)鍵性業(yè)務(wù)場(chǎng)景集中部署這項(xiàng)技術(shù),而且Gartner也預(yù)測(cè)CDM技術(shù)將在未來5-10年內(nèi)進(jìn)入“實(shí)質(zhì)生產(chǎn)的高峰期”(plateau of productivity)。

聚焦到CDM技術(shù)實(shí)現(xiàn)的業(yè)務(wù)價(jià)值,主要體現(xiàn)在以下幾個(gè)方面:

第一,降低存儲(chǔ)成本。利用數(shù)據(jù)虛擬化技術(shù),單個(gè)數(shù)據(jù)副本即可滿足開發(fā)、測(cè)試、備份、恢復(fù)、數(shù)據(jù)脫敏、統(tǒng)計(jì)分析等多種工作負(fù)載需求,同時(shí)利用高效的數(shù)據(jù)壓縮技術(shù),進(jìn)一步節(jié)省了存儲(chǔ)空間,減少企業(yè)不必要的存儲(chǔ)開支(以下圖上訊信息ADM產(chǎn)品數(shù)據(jù)拷貝方式為例)。

ADM數(shù)據(jù)拷貝方式

第二,縮短數(shù)據(jù)交付周期。數(shù)據(jù)準(zhǔn)備從原來的按天或者月為單位,縮短到分鐘級(jí),數(shù)據(jù)分發(fā)達(dá)到秒級(jí)?;贑DM技術(shù)的數(shù)據(jù)副本的交付與管理,大大節(jié)省了數(shù)據(jù)交付的時(shí)間,為企業(yè)構(gòu)建了更加敏捷的數(shù)據(jù)管理基礎(chǔ)架構(gòu),加速了企業(yè)的DevOps建設(shè),縮短了業(yè)務(wù)的開發(fā)測(cè)試周期,實(shí)現(xiàn)了產(chǎn)品的快速迭代。

第三,降低人力時(shí)間投入。傳統(tǒng)方式下,數(shù)據(jù)的導(dǎo)入和導(dǎo)出無法自動(dòng)完成,面對(duì)開發(fā)和測(cè)試人員的需求,需要通過人為的傳遞才能完成數(shù)據(jù)從生產(chǎn)環(huán)境到測(cè)試環(huán)境的遷移,而且這個(gè)過程中還可能需要持續(xù)的獲取增量數(shù)據(jù)資源。CDM技術(shù)實(shí)現(xiàn)了全流程的自動(dòng)化配置和編排,從審批到數(shù)據(jù)的導(dǎo)入和導(dǎo)出,這個(gè)過程只需要在統(tǒng)一的管理界面上鼠標(biāo)點(diǎn)擊操作,幾步即可自動(dòng)完成,極大減輕了存儲(chǔ)管理員和DBA的工作負(fù)荷,降低人力時(shí)間投入。

第四,提升數(shù)據(jù)集中管控能力。過去,數(shù)據(jù)移交到使用部門之后,管控權(quán)利完全在使用部門,只能用流程來控制數(shù)據(jù)的用后銷毀,存在較高的安全管控風(fēng)險(xiǎn)。CDM融合了數(shù)據(jù)動(dòng)態(tài)和靜態(tài)脫敏,權(quán)限管控,合規(guī)審計(jì)等多種數(shù)據(jù)保護(hù)策略,以集中的數(shù)據(jù)管控,防范敏感數(shù)據(jù)泄露,杜絕不當(dāng)或者誤操作,以及保留事后的可追溯。交付使用的數(shù)據(jù),可以通過CDM管控平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一集中管控,杜絕測(cè)試數(shù)據(jù)出現(xiàn)數(shù)據(jù)孤島,在數(shù)據(jù)使用完之后,可以實(shí)現(xiàn)數(shù)據(jù)的快速回收以釋放占用資源,杜絕暗數(shù)據(jù)的出現(xiàn)。

備份和CDM,孰是孰非

在國(guó)內(nèi),備份和CDM容易被混淆,有不少備份廠商在其備份產(chǎn)品上通過增加一些CDM功能,作為備份的補(bǔ)充,比如用作快速拉起恢復(fù)或者備份校驗(yàn),也許從用戶肉眼可見的角度看,功能上都?xì)w整到了統(tǒng)一的界面上,但實(shí)際上二者的后臺(tái)邏輯相差甚遠(yuǎn)。

備份從根本上是作為數(shù)據(jù)的保底存在,一旦發(fā)生物理或邏輯故障,為用戶提供了災(zāi)難恢復(fù)的手段。而CDM側(cè)重于對(duì)數(shù)據(jù)的生命周期管理,是牽涉到用戶數(shù)據(jù)獲取,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)使用的全流程的生產(chǎn)力工具。

傳統(tǒng)備份技術(shù)是將數(shù)據(jù)恢復(fù)后交付使用,恢復(fù)的過程很長(zhǎng),而CDM保存的是原始格式數(shù)據(jù),可以直接交付使用。

從功能上看,備份更多是作為CDM其中的一項(xiàng)數(shù)據(jù)獲取手段。CDM副本數(shù)據(jù)管理基于數(shù)據(jù)虛擬化等核心技術(shù),自動(dòng)化實(shí)現(xiàn)了從數(shù)據(jù)獲取到數(shù)據(jù)使用再到數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的全生命周期管理。其中,在數(shù)據(jù)獲取環(huán)節(jié)既可以通過用戶既有備份系統(tǒng)內(nèi)獲取數(shù)據(jù),也可以通過從生產(chǎn)環(huán)境實(shí)時(shí)獲取數(shù)據(jù),又或者用戶以腳本的方式自助上傳數(shù)據(jù)等多種方式。相比備份,CDM更加關(guān)心的是數(shù)據(jù)的交付使用與管理。

全球生態(tài),風(fēng)景這邊獨(dú)好

過去的十多年時(shí)間,CDM的主要玩家分布在北美。在國(guó)內(nèi),從上訊信息2016年發(fā)布了國(guó)內(nèi)第一款真正意義上的CDM產(chǎn)品開始,近兩年CDM技術(shù)在金融和運(yùn)營(yíng)商這兩個(gè)行業(yè)的蓬勃發(fā)展,推動(dòng)了開發(fā)測(cè)試場(chǎng)景的數(shù)據(jù)架構(gòu)轉(zhuǎn)型,并且大有替代傳統(tǒng)備份之勢(shì)。

1、Actifio

Actifio成立于2009年。2020年,谷歌宣布收購(gòu)Actifio,收購(gòu)?fù)瓿珊?,Actifio會(huì)并入Google Cloud。

Actifio的多云復(fù)制數(shù)據(jù)管理(Copy Data Management)軟件平臺(tái)虛擬化拷貝數(shù)據(jù),允許以原生格式對(duì)數(shù)據(jù)的虛擬副本進(jìn)行完整的生命周期管理。通過一套豐富的API,Actifio的軟件可以無縫地集成到任何IT服務(wù)管理工具、DevOps工具鏈或定制的腳本和應(yīng)用程序中。

Actifio數(shù)據(jù)虛擬化IT架構(gòu)及實(shí)現(xiàn)原理

2、Cohesity

Cohesity成立于2013年,公司CEO兼聯(lián)合創(chuàng)始人Mohit Aron,之前還聯(lián)合創(chuàng)立過Nutanix,目前該公司最新的市場(chǎng)估值達(dá)到37億美元。

對(duì)于Cohesity公司來說,在線備份只是其完整數(shù)據(jù)管理平臺(tái)的一部分,該平臺(tái)專注于解決大規(guī)模數(shù)據(jù)碎片所造成的問題。它側(cè)重于幫助企業(yè)保護(hù)和管理位于許多不同位置的二級(jí)數(shù)據(jù)。

3、Rubrik

Rubrik也是由前Nutanix的人員發(fā)起創(chuàng)立,提供跨越本地、云端和混合云環(huán)境中的企業(yè)數(shù)據(jù)管理和備份服務(wù)。

全球有2500多家企業(yè)和政府使用Rubrik公司的Cloud Data Management解決方案來管理和協(xié)調(diào)跨數(shù)據(jù)中心和云的數(shù)據(jù)。其提供一個(gè)單一的數(shù)據(jù)平臺(tái),可以跨數(shù)據(jù)中心和云安全地提供備份,恢復(fù),分析和合規(guī)性。承諾快速恢復(fù),提供接近0的RTO。另外還提供SLA自動(dòng)化和API優(yōu)先的架構(gòu)。

4、Delphix

Delphix成立于2008年。Delphix提供了一個(gè)API優(yōu)先的數(shù)據(jù)平臺(tái),該平臺(tái)跨越多云并支持從云原生主機(jī)到舊式大型機(jī)的所有應(yīng)用程序。Delphix可自動(dòng)執(zhí)行一系列關(guān)鍵的復(fù)雜數(shù)據(jù)操作,包括遵守GDPR和CCPA等隱私法規(guī)。

Delphix聲稱借助其平臺(tái),可將數(shù)據(jù)占用空間減少10倍,將資源調(diào)配速度提高100倍。借助Delphix虛擬化,用戶可在幾分鐘內(nèi)大規(guī)模配置輕量級(jí)虛擬數(shù)據(jù)庫(kù)副本,大規(guī)模地將數(shù)據(jù)從生產(chǎn)環(huán)境復(fù)制到非生產(chǎn)環(huán)境,以及使用刷新,回滾和快照功能管理虛擬數(shù)據(jù)庫(kù)等操作。

5、Catalogic

Catalogic 2013年成立,總部位于美國(guó)新澤西州。ECX是該公司提供的CDM軟件產(chǎn)品,大大簡(jiǎn)化了副本數(shù)據(jù)管理,實(shí)現(xiàn)了數(shù)據(jù)副本的自動(dòng)化和編排,可以在整個(gè)企業(yè)和云中利用該副本進(jìn)行各種創(chuàng)造價(jià)值的用例。借助Catalogic ECX,將開發(fā)/測(cè)試基礎(chǔ)架構(gòu)管理時(shí)間減少了多達(dá)99%。

ECX還可以幫助用戶將數(shù)據(jù)移動(dòng)到云中,利用云中成本更低,更具彈性的計(jì)算基礎(chǔ)架構(gòu),借助ECX,在某些用例中利用云時(shí),用戶的投資回報(bào)率超過300%。

6、上訊信息

上訊信息2010年成立,2016年率先發(fā)布了國(guó)內(nèi)首款CDM產(chǎn)品—敏捷數(shù)據(jù)管理平臺(tái)(ADM),這是一款集數(shù)據(jù)驗(yàn)證恢復(fù)、數(shù)據(jù)虛擬化、數(shù)據(jù)脫敏和數(shù)據(jù)庫(kù)審計(jì)為一體的數(shù)據(jù)全生命周期管理產(chǎn)品。通過一個(gè)平臺(tái),解決數(shù)據(jù)獲取,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)構(gòu)建,數(shù)據(jù)使用,數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的所有數(shù)據(jù)問題。

數(shù)據(jù)使用的全生命周期管理,資料來源:上訊信息

ADM核心技術(shù)-數(shù)據(jù)虛擬化技術(shù),可以通過一份數(shù)據(jù)的“黃金副本”快速創(chuàng)建出多份數(shù)據(jù)副本交付使用,所交付的數(shù)據(jù)都是可讀可寫的,并且可以達(dá)到分鐘級(jí)的數(shù)據(jù)交付效率,以及實(shí)現(xiàn)10倍以上的存儲(chǔ)成本節(jié)省。目前,ADM獲得了金融和運(yùn)營(yíng)商行業(yè)多家頭部客戶的使用和持續(xù)復(fù)購(gòu)。

CDM:我的未來不是夢(mèng)

對(duì)每一家致力于數(shù)據(jù)驅(qū)動(dòng)的企業(yè)和組織而言,CDM技術(shù)無疑重塑了其過去臃腫的數(shù)據(jù)架構(gòu)和繁冗的數(shù)據(jù)管理流程,以敏捷的數(shù)據(jù)架構(gòu)就緒企業(yè)數(shù)字化轉(zhuǎn)型,加速業(yè)務(wù)交付,提高企業(yè)的決策效率以及生產(chǎn)力水平。

但這并不是CDM的全部,這項(xiàng)令人著迷不已的技術(shù)未來又將擁有怎樣的蛻變?做一些預(yù)測(cè):

第一,跨越本地?cái)?shù)據(jù)中心,邊緣和多公有云的數(shù)據(jù)流動(dòng)和存儲(chǔ)。CDM需要滿足混合多云時(shí)代用戶對(duì)數(shù)據(jù)在不同端的流動(dòng)和統(tǒng)一管理的需求,支持不同位置的基礎(chǔ)環(huán)境,例如可利用公有云更加經(jīng)濟(jì)、彈性的存儲(chǔ)資源,進(jìn)一步降低OPEX。而無論是部署于邊緣,本地還是多公有云,都需要滿足一致性和可用性服務(wù)體驗(yàn)。

第二,以數(shù)據(jù)為中心,打通數(shù)據(jù)上中下游鏈條,實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理。從產(chǎn)品的角度,可以基于靈活的license授權(quán),為用戶按需交付備份容災(zāi),備份校驗(yàn),數(shù)據(jù)虛擬化,數(shù)據(jù)脫敏,合規(guī)審計(jì)等不同功能,而從后臺(tái)邏輯來看,支持一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái),能夠無縫連通數(shù)據(jù)的全生命周期統(tǒng)一管理。

第三,CDM技術(shù)與垂直應(yīng)用場(chǎng)景的緊耦合,強(qiáng)關(guān)聯(lián)。例如,開發(fā)測(cè)試場(chǎng)景下,能否基于一套數(shù)據(jù)平臺(tái),跑通所有的開發(fā)測(cè)試作業(yè),而無需額外使用第三方平臺(tái),例如測(cè)試版本控制,以降低額外的資源消費(fèi),提高開發(fā)測(cè)試效率。

相信隨著技術(shù)的不斷完善以及生態(tài)的成熟,CDM,未來可期!

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2021-04-18
上百億藍(lán)海市場(chǎng),CDM有何“數(shù)據(jù)魔法”?
利用數(shù)據(jù)虛擬化技術(shù),單個(gè)數(shù)據(jù)副本即可滿足開發(fā)、測(cè)試、備份、恢復(fù)、數(shù)據(jù)脫敏、統(tǒng)計(jì)分析等多種工作負(fù)載需求,同時(shí)利用高效的數(shù)據(jù)壓縮技術(shù),進(jìn)一步節(jié)省了存儲(chǔ)空間,減少企業(yè)不必要的存儲(chǔ)開支(以下圖上訊信息ADM產(chǎn)

長(zhǎng)按掃碼 閱讀全文