記得兩三年前，當(dāng)人們?cè)谡務(wù)撈鸱植际綌?shù)據(jù)庫等技術(shù)時(shí)，還經(jīng)常在用“未來”等詞語描述這一新技術(shù)的應(yīng)用前景。在剛剛過去的2020年，新一代數(shù)據(jù)庫龍頭Snowflake成功上市，成為歷史上規(guī)模最大的軟件企業(yè)IPO。我們回頭一看才發(fā)現(xiàn)，原來未來已來!
然而，分布式數(shù)據(jù)庫應(yīng)該如何在企業(yè)中正確地落地，一直是業(yè)界討論的焦點(diǎn)。在國(guó)內(nèi)，大部分讀者第一次了解到分布式數(shù)據(jù)庫時(shí)，首要的問題就是：分布式數(shù)據(jù)庫是否能替換Oracle?然而，從全球數(shù)據(jù)量發(fā)展的方向來看，其爆發(fā)性增長(zhǎng)，主要集中在基于數(shù)字化創(chuàng)新的多樣化業(yè)務(wù)場(chǎng)景。因此，單純替代傳統(tǒng)Oracle占據(jù)核心優(yōu)勢(shì)的固有領(lǐng)域，并非是數(shù)據(jù)庫未來的增長(zhǎng)方向。以Snowflake為例，其業(yè)務(wù)并沒有替換Oracle核心應(yīng)用領(lǐng)域，卻以4億美元營(yíng)收換回700億美元市值，正在撼動(dòng)Oracle在數(shù)據(jù)市場(chǎng)的龍頭地位，其背后的原因值得我們深思。
基于“替換”的思維永遠(yuǎn)無法“超越”
實(shí)際上，在替換Oracle的問題上，并沒有“能”或“不能”這樣一刀切的答案。分布式數(shù)據(jù)庫的設(shè)計(jì)初衷是解決全新的實(shí)際業(yè)務(wù)問題，在Oracle所無法滿足的場(chǎng)景中，與企業(yè)客戶一同迎接數(shù)字化轉(zhuǎn)型的機(jī)遇，而并不是為了單純替換某個(gè)原有系統(tǒng)。
傳統(tǒng)關(guān)系型數(shù)據(jù)庫在核心交易等領(lǐng)域深耕了40多年，到目前為止，大部分純交易場(chǎng)景不論從數(shù)據(jù)量還是商業(yè)模式都沒有本質(zhì)的變化，其業(yè)務(wù)的擴(kuò)展空間也十分有限。而在企業(yè)數(shù)字化轉(zhuǎn)型的過程中，數(shù)據(jù)量會(huì)隨著業(yè)務(wù)發(fā)展快速膨脹，形成全新的業(yè)務(wù)需求及數(shù)據(jù)增量，為數(shù)據(jù)庫帶來全新的市場(chǎng)機(jī)遇。
相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫，分布式數(shù)據(jù)庫在提供ACID事務(wù)一致性的能力的同時(shí)，擁有更靈活的擴(kuò)展能力，及多數(shù)據(jù)模型的處理能力。在面向海量數(shù)據(jù)彈性擴(kuò)展的新興業(yè)務(wù)需求時(shí)，做到“不使用Oracle而選擇分布式數(shù)據(jù)庫”，是我們?cè)谛袠I(yè)中應(yīng)用分布式架構(gòu)的最佳實(shí)踐。也就是說，使用分布式數(shù)據(jù)庫逐步迭代，伴隨全新的數(shù)字化業(yè)務(wù)漸漸滲透到傳統(tǒng)業(yè)務(wù)，成為新的數(shù)據(jù)核心場(chǎng)景，是分布式數(shù)據(jù)庫技術(shù)在企業(yè)中最佳的落地方案。
因此，分布式數(shù)據(jù)庫的星辰大海，絕不僅僅在于對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫的簡(jiǎn)單替換。如果只是為了使用及推廣新技術(shù)，而進(jìn)行固有架構(gòu)的替換，將會(huì)面臨極大的技術(shù)風(fēng)險(xiǎn)與挑戰(zhàn)。只有站在企業(yè)客戶的角度出發(fā)，與客戶共同挖掘數(shù)字化轉(zhuǎn)型中的全新數(shù)據(jù)價(jià)值，才能突破固有框架，建立全新的分布式技術(shù)賽道，超越傳統(tǒng)的架構(gòu)邊界。
如何選擇最佳落地場(chǎng)景
從業(yè)務(wù)場(chǎng)景的角度，自上世紀(jì)70年代末關(guān)系型數(shù)據(jù)庫誕生，Oracle、DB2等數(shù)據(jù)庫已經(jīng)經(jīng)歷了40多年的發(fā)展歷史，對(duì)于其固有的業(yè)務(wù)場(chǎng)景來說，基本已經(jīng)做到了業(yè)界極致。而面向新的數(shù)據(jù)中臺(tái)聯(lián)機(jī)湖倉、微服務(wù)數(shù)據(jù)融合管理、海量數(shù)據(jù)實(shí)時(shí)訪問、非結(jié)構(gòu)化在線處理等方面，傳統(tǒng)交易性數(shù)據(jù)庫則明顯力不從心。企業(yè)客戶選擇分布式數(shù)據(jù)庫落地場(chǎng)景時(shí)，應(yīng)該選擇適當(dāng)?shù)膽?yīng)用場(chǎng)景，以真正發(fā)揮其優(yōu)勢(shì)能力，并持續(xù)打磨技術(shù)團(tuán)隊(duì)的運(yùn)維能力，逐步推向核心。
1) 數(shù)據(jù)中臺(tái)聯(lián)機(jī)湖倉
在不少的企業(yè)IT架構(gòu)規(guī)劃中，數(shù)據(jù)中臺(tái)已經(jīng)成為整個(gè)IT戰(zhàn)略的一部分，包含了歷史數(shù)據(jù)平臺(tái)甚至非結(jié)構(gòu)化數(shù)據(jù)處理等多數(shù)據(jù)模型領(lǐng)域，幾乎覆蓋了企業(yè)中除了業(yè)務(wù)應(yīng)用系統(tǒng)之外的全部數(shù)據(jù)處理及服務(wù)能力。
在此場(chǎng)景下Oracle無法滿足擴(kuò)展能力，而Hadoop又無法支持實(shí)時(shí)并發(fā)業(yè)務(wù)。國(guó)際上也沒有直接與其對(duì)標(biāo)的技術(shù)體系，最為貼近的則是Lakehouse(湖倉一體化)。Lakehouse的行業(yè)主要廠商包括像Snowflake及Databricks等分布式數(shù)據(jù)庫廠商，其產(chǎn)品可以分為數(shù)據(jù)湖與計(jì)算引擎兩大核心模塊。2020年Gartner進(jìn)一步引入了Augmented Transactions Processing處理場(chǎng)景，強(qiáng)調(diào)事務(wù)一致性，要求數(shù)據(jù)庫在分析處理過程中同時(shí)保持低延遲，以提升實(shí)時(shí)聯(lián)機(jī)處理能力。
可以預(yù)見，支持Augmented Transactions Processing能力的聯(lián)機(jī)湖倉，將為數(shù)據(jù)中臺(tái)提升實(shí)時(shí)聯(lián)機(jī)處理能力，數(shù)據(jù)實(shí)現(xiàn)一次存儲(chǔ)多業(yè)務(wù)多數(shù)據(jù)模型同時(shí)使用，加速數(shù)據(jù)的處理效率，減少數(shù)據(jù)冗余，提供更綠色環(huán)保的數(shù)據(jù)基礎(chǔ)設(shè)施。
2) 微服務(wù)數(shù)據(jù)融合管理
微服務(wù)應(yīng)用開發(fā)架構(gòu)逐漸成為主流的今天，傳統(tǒng)一個(gè)應(yīng)用對(duì)接一個(gè)數(shù)據(jù)庫的架構(gòu)被拆散成幾十上百個(gè)微服務(wù)，每個(gè)微服務(wù)都可能需要使用獨(dú)立的數(shù)據(jù)庫實(shí)例，因此在企業(yè)內(nèi)部數(shù)據(jù)庫實(shí)例數(shù)量近年來呈井噴態(tài)勢(shì)發(fā)展。
分布式數(shù)據(jù)庫的出現(xiàn)可以很好地解決數(shù)據(jù)庫實(shí)例批量管理中，擴(kuò)展困難以及維護(hù)困難的問題。同時(shí)，基于引擎級(jí)多模技術(shù)，分布式數(shù)據(jù)庫可以基于同一份數(shù)據(jù)，支撐多種數(shù)據(jù)庫引擎的聯(lián)機(jī)交易，通過跨引擎事務(wù)一致性能力，為客戶打通微服務(wù)架構(gòu)下異構(gòu)數(shù)據(jù)源的ACID一致性。因此，分布式數(shù)據(jù)庫技術(shù)相比傳統(tǒng)Oracle等數(shù)據(jù)庫更有利于微服務(wù)化，為企業(yè)打通底層數(shù)據(jù)，降低數(shù)據(jù)的存儲(chǔ)及管理成本。助力研發(fā)團(tuán)隊(duì)進(jìn)行DevOps持續(xù)交付，提升產(chǎn)品研發(fā)效率。
3) 海量數(shù)據(jù)實(shí)時(shí)訪問
海量數(shù)據(jù)的存儲(chǔ)和計(jì)算通常由數(shù)倉(MPP數(shù)據(jù)庫)或大數(shù)據(jù)平臺(tái)(Hadoop)完成，數(shù)據(jù)量往往達(dá)到千億(甚至萬億)級(jí)別。傳統(tǒng)應(yīng)用中，由于數(shù)倉中需要預(yù)先完成數(shù)據(jù)清洗入庫，數(shù)倉及大數(shù)據(jù)平臺(tái)無法支持實(shí)時(shí)并發(fā)數(shù)據(jù)訪問，限于現(xiàn)有平臺(tái)的處理模型，因此難以進(jìn)行聯(lián)機(jī)業(yè)務(wù)的創(chuàng)新。然而，數(shù)據(jù)化轉(zhuǎn)型過程中，對(duì)客聯(lián)機(jī)交易、歷史數(shù)據(jù)服務(wù)平臺(tái)或IoT物聯(lián)網(wǎng)系統(tǒng)中，會(huì)產(chǎn)生要求聯(lián)機(jī)實(shí)時(shí)處理海量數(shù)據(jù)的解決方案。
分布式數(shù)據(jù)庫可以在這一場(chǎng)景中，協(xié)助企業(yè)客戶獲得更佳的使用體驗(yàn)。首先，分布式數(shù)據(jù)庫與Hadoop及數(shù)據(jù)倉庫一樣具有很好的彈性擴(kuò)展能力。其次，分布式數(shù)據(jù)庫可以提供與傳統(tǒng)關(guān)系型數(shù)據(jù)庫同等的ACID支持，以保障其關(guān)鍵業(yè)務(wù)的事務(wù)一致性。最重要的是，分布式數(shù)據(jù)庫可以更好地支持高并發(fā)的業(yè)務(wù)訪問，可以像使用單機(jī)數(shù)據(jù)庫一樣，在包含幾千億甚至萬億級(jí)記錄的表中實(shí)現(xiàn)毫秒級(jí)數(shù)據(jù)檢索。
4) 非結(jié)構(gòu)化數(shù)據(jù)治理
非結(jié)構(gòu)化數(shù)據(jù)包括圖片、文檔、音視頻等對(duì)象文件，以往只是單純存放于存儲(chǔ)系統(tǒng)中，提供單一的保存及調(diào)取功能。因此，除了直接操作這些文件的業(yè)務(wù)系統(tǒng)外，非結(jié)構(gòu)化數(shù)據(jù)對(duì)于企業(yè)中的其他系統(tǒng)就是一個(gè)黑匣子，無法發(fā)揮數(shù)據(jù)的潛在價(jià)值。
如今的業(yè)務(wù)系統(tǒng)往往開始大規(guī)模聯(lián)機(jī)使用這類非結(jié)構(gòu)化數(shù)據(jù)。例如，在業(yè)務(wù)中各類文件采集，交易過程頭像、指紋、聲紋監(jiān)管要求的原檔留存，各類業(yè)務(wù)的360客戶畫像系統(tǒng)，處理過程需要與非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高頻比對(duì)，并發(fā)處理及采樣修正，這些場(chǎng)景都需要非結(jié)構(gòu)化數(shù)據(jù)的聯(lián)機(jī)實(shí)時(shí)管理。單純采用NAS或網(wǎng)盤存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)，早已經(jīng)無法滿足這類實(shí)時(shí)聯(lián)機(jī)處理能力的需求。
同時(shí)，數(shù)字化轉(zhuǎn)型中非結(jié)構(gòu)化數(shù)據(jù)不再是靜態(tài)的文件。通過AI機(jī)器學(xué)習(xí)及比對(duì)分析，非結(jié)構(gòu)化數(shù)據(jù)將包含更多元化的業(yè)務(wù)屬性，為各類業(yè)務(wù)系統(tǒng)提供信息輸入。因此，需要對(duì)其進(jìn)行有效的分類治理，盤活非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)的潛在價(jià)值。
分布式數(shù)據(jù)庫可以有效提升非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理能力，結(jié)合引擎級(jí)多模能力統(tǒng)一存儲(chǔ)結(jié)構(gòu)化及對(duì)象數(shù)據(jù)，可以有效地實(shí)現(xiàn)基于標(biāo)簽特征數(shù)據(jù)的分類治理，成為企業(yè)「非結(jié)構(gòu)化數(shù)據(jù)治理」建立堅(jiān)實(shí)的底座。
分布式技術(shù)演進(jìn)趨勢(shì)
從技術(shù)角度，在各行業(yè)對(duì)海量數(shù)據(jù)、互聯(lián)網(wǎng)類應(yīng)用快速發(fā)展的需求中，彈性擴(kuò)張、多模式等功能是傳統(tǒng)Oracle數(shù)據(jù)庫所難以滿足的，也是分布式數(shù)據(jù)庫存在的最大價(jià)值與目的。在這類技術(shù)背景下，做到“不使用Oracle而選擇分布式數(shù)據(jù)庫”是最正確的答案。分布式數(shù)據(jù)庫的最佳落地與使用方式，正是從海量數(shù)據(jù)業(yè)務(wù)到核心的逐步迭代過程。先從存在海量數(shù)據(jù)彈性擴(kuò)展的新興業(yè)務(wù)需求入手，隨著業(yè)務(wù)革新不斷的深入，逐漸滲透進(jìn)傳統(tǒng)業(yè)務(wù)及應(yīng)用中。
1) 彈性：存算分離實(shí)現(xiàn)靈活擴(kuò)展
作為分布式數(shù)據(jù)庫，彈性擴(kuò)展能力是其存在的核心意義與價(jià)值。相比起傳統(tǒng)MPP數(shù)據(jù)倉庫，新型分布式數(shù)據(jù)庫可以基于存算分離的部署模型，實(shí)現(xiàn)存儲(chǔ)與計(jì)算資源獨(dú)立擴(kuò)展的能力，實(shí)現(xiàn)對(duì)應(yīng)用層面無感知的按需彈性擴(kuò)展。
2) 事務(wù)：原生分布式強(qiáng)一致性
在分布式技術(shù)逐步貼近業(yè)務(wù)核心的過程中，客戶對(duì)于ACID事務(wù)一致性的要求也持續(xù)提升。例如，在聯(lián)機(jī)交易業(yè)務(wù)中，往往要求“RR級(jí)別事務(wù)隔離”能力。在這類需求中，基于分庫分表技術(shù)的解決方案，由于數(shù)據(jù)庫本身無法提供此支持，(部分產(chǎn)品甚至不提供事務(wù)支持或通過1PC提交進(jìn)行弱化)。導(dǎo)致需要借助大量外圍應(yīng)用程序邏輯配合，才能達(dá)到最終一致性的效果，大量消耗開發(fā)人員的設(shè)計(jì)精力。而原生分布式數(shù)據(jù)庫，得益于源自內(nèi)核的分布式設(shè)計(jì)，客戶可以放心地將事務(wù)一致性邏輯交由數(shù)據(jù)庫層進(jìn)行處理，讓開發(fā)人員回歸到純粹的業(yè)務(wù)設(shè)計(jì)，為業(yè)務(wù)提供直接有效的研發(fā)產(chǎn)出，提升企業(yè)研發(fā)效率。
3) 融合：引擎級(jí)多模，打開湖倉一體新賽道
關(guān)系型數(shù)據(jù)庫經(jīng)過了40多年的發(fā)展，早已經(jīng)從最開始的純結(jié)構(gòu)化模型衍生出了支持XML、JSON、地理信息、圖等不同的能力。傳統(tǒng)數(shù)據(jù)庫由于在同一個(gè)物理設(shè)備上使用同構(gòu)引擎，多模式能力很難真正發(fā)揮到極致。而在分布式數(shù)據(jù)庫架構(gòu)中，用戶完全可以使用不同的物理設(shè)備及底層數(shù)據(jù)結(jié)構(gòu)，承載不同數(shù)據(jù)模型的計(jì)算及存儲(chǔ)引擎，真正做到原生的引擎級(jí)多模技術(shù)。從而提供跨不同數(shù)據(jù)模型乃至不同數(shù)據(jù)庫語言及引擎之間的數(shù)據(jù)共享，避免不同模型間進(jìn)行聯(lián)機(jī)處理時(shí)，由于頻繁數(shù)據(jù)拷貝，導(dǎo)致傳輸延遲及存儲(chǔ)空間浪費(fèi)?；诙嗄Ｄ芰?gòu)建同時(shí)滿足結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)湖，同時(shí)賦予跨引擎數(shù)據(jù)一致性能力，及實(shí)時(shí)數(shù)據(jù)分析能力，真正意義上讓全局?jǐn)?shù)據(jù)實(shí)時(shí)可見。開發(fā)者因此可以跨越不同數(shù)據(jù)引擎間的開發(fā)鴻溝，提升開發(fā)效率及系統(tǒng)性能，打開分布式技術(shù)的全新賽道。
總結(jié)
傳統(tǒng)關(guān)系型數(shù)據(jù)庫歷經(jīng)了40多年的發(fā)展，在其主打的核心交易領(lǐng)域幾乎走到了極致。單獨(dú)以核心交易場(chǎng)景對(duì)標(biāo)新型分布式數(shù)據(jù)庫，就好似用傳統(tǒng)的馬車標(biāo)準(zhǔn)來衡量新生的汽車技術(shù)，無法對(duì)新技術(shù)做到合理的評(píng)估。
分布式數(shù)據(jù)庫的誕生首先是為了解決傳統(tǒng)數(shù)據(jù)庫不擅長(zhǎng)的場(chǎng)景，在關(guān)系型數(shù)據(jù)庫做到極致的領(lǐng)域同樣需要很長(zhǎng)的時(shí)間才能完善。得益于高彈性、強(qiáng)事務(wù)一致、多模融合等特點(diǎn)，近年來不少企業(yè)已經(jīng)在：數(shù)據(jù)中臺(tái)聯(lián)機(jī)湖倉、微服務(wù)數(shù)據(jù)融合管理、海量數(shù)據(jù)實(shí)時(shí)訪問、非結(jié)構(gòu)化在線處理等領(lǐng)域，實(shí)現(xiàn)原生分布式數(shù)據(jù)庫規(guī)?；纳a(chǎn)落地。我們欣喜地看到，分布式數(shù)據(jù)庫的應(yīng)用領(lǐng)域幾乎每年都會(huì)有大幅度擴(kuò)展，成為支撐企業(yè)數(shù)字化改革升級(jí)中不可或缺的彈性數(shù)據(jù)基礎(chǔ)設(shè)施。
巨杉數(shù)據(jù)庫早在2014年起就發(fā)布基于多模引擎的支持，為客戶提供可同時(shí)管理多種數(shù)據(jù)結(jié)構(gòu)的分布式數(shù)據(jù)基礎(chǔ)設(shè)施。已經(jīng)協(xié)助超過100家金融銀行客戶和超過1000家企業(yè)用戶，提供分布式數(shù)據(jù)庫技術(shù)。借助自主專利的STP分布式序列時(shí)鐘協(xié)議，實(shí)現(xiàn)RR級(jí)事務(wù)隔離及跨引擎事務(wù)一致性能力，為數(shù)據(jù)中臺(tái)提供聯(lián)機(jī)湖倉生產(chǎn)落地的最佳實(shí)踐，已成功協(xié)助客戶在高達(dá)1.2萬億數(shù)據(jù)量生產(chǎn)環(huán)境下，提供安全穩(wěn)定、可靈活擴(kuò)展、高性能、高并發(fā)的數(shù)據(jù)底座。
回顧過去的10年，分布式數(shù)據(jù)庫經(jīng)歷了從行業(yè)質(zhì)疑、小規(guī)模試水、到如今在部分行業(yè)的規(guī)?；瘧?yīng)用。我們堅(jiān)信，在新的一年中我國(guó)的分布式數(shù)據(jù)庫產(chǎn)業(yè)一定會(huì)更加蓬勃發(fā)展，未來的三到五年分布式數(shù)據(jù)庫的應(yīng)用規(guī)模有望超越Oracle成為核心交易業(yè)務(wù)的重要組成部分。
未來，借助100%自主研發(fā)的原生分布式數(shù)據(jù)庫引擎，及引擎級(jí)多模特性，巨杉數(shù)據(jù)庫將秉持以客戶為中心的價(jià)值觀，與客戶及上下游合作伙伴一同，為金融、能源、運(yùn)營(yíng)商及政企客戶提供優(yōu)質(zhì)的產(chǎn)品、技術(shù)服務(wù)及生態(tài)支持，推動(dòng)全球數(shù)字化進(jìn)程。
分布式數(shù)據(jù)庫：未來已來。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
