京東數(shù)科高級(jí)DBA潘娟:Apache ShardingSphere的架構(gòu)、特性

近些年NewSQL概念盛行,國(guó)內(nèi)外各大公司對(duì)NewSQL都有著不同的解讀。本次ITPUB技術(shù)棧線上沙龍2020上,京東數(shù)科高級(jí)DBA潘娟分享了有關(guān)NewSQL理念、國(guó)內(nèi)外產(chǎn)品架構(gòu)的解讀,以及Apache ShardingSphere的架構(gòu)、特性、規(guī)劃、開(kāi)源社區(qū)。

嘉賓簡(jiǎn)介:主要負(fù)責(zé)京東數(shù)科分布式數(shù)據(jù)庫(kù)開(kāi)發(fā)、數(shù)據(jù)庫(kù)運(yùn)維自動(dòng)化平臺(tái)開(kāi)發(fā)等工作。曾負(fù)責(zé)京東數(shù)科數(shù)據(jù)庫(kù)自動(dòng)化平臺(tái)設(shè)計(jì)與開(kāi)發(fā),現(xiàn)專注于Apache ShardingSphere分布式數(shù)據(jù)庫(kù)中間件平臺(tái)的開(kāi)發(fā)。主要在分布式數(shù)據(jù)庫(kù)、開(kāi)源、分布式架構(gòu)等相關(guān)領(lǐng)域進(jìn)行探索。多次受邀參加數(shù)據(jù)庫(kù)&架構(gòu)領(lǐng)域的相關(guān)會(huì)議并進(jìn)行分享交流。

一、NewSQL的概念

NewSQL的概念,最開(kāi)始來(lái)源于國(guó)外的一份商業(yè)分析報(bào)告。它是各種新的可擴(kuò)展/高性能數(shù)據(jù)庫(kù)的簡(jiǎn)稱,這類數(shù)據(jù)庫(kù)不僅具有NoSQL海量數(shù)據(jù)的存儲(chǔ)管理能力,還保持了傳統(tǒng)數(shù)據(jù)庫(kù)支持ACID和SQL等特性。

提及SQL,很多朋友最先想到的就是MySQL數(shù)據(jù)庫(kù)和PostgreSQL數(shù)據(jù)庫(kù)。對(duì)我們來(lái)說(shuō),它其實(shí)一個(gè)單點(diǎn)、很可靠,有ACID事務(wù),也有查詢語(yǔ)言的關(guān)系型數(shù)據(jù)庫(kù)。其中,ACID事務(wù)和查詢語(yǔ)言是我們最關(guān)心的兩點(diǎn)。

伴隨互聯(lián)網(wǎng)的蓬勃發(fā)展,數(shù)據(jù)量的持續(xù)膨脹,NoSQL出現(xiàn)了。NoSQL泛指非關(guān)系型數(shù)據(jù)庫(kù),具備Scalability(擴(kuò)展性)和Resilience(彈性)。擴(kuò)展性是指可以無(wú)限的把一個(gè)單點(diǎn)變成一個(gè)集群,從而提升整個(gè)系統(tǒng)的可用性。彈性保證了在宕機(jī)集群崩潰后,數(shù)據(jù)的自動(dòng)修復(fù)且上層業(yè)務(wù)無(wú)感知。

那么就有人提出來(lái)了,我能不能既可以擁有像SQL的關(guān)系模型,擁有它的ACID事務(wù),同時(shí)還擁有像NoSQL的擴(kuò)展性、彈性伸縮,以及高可用性。于是,NewSQL應(yīng)運(yùn)而生,它最開(kāi)始的定義就叫做Scalability SQL。

在分布式的場(chǎng)景中,沒(méi)有辦法同時(shí)保證Consistency(一致性)和Availability(可用性),以及分區(qū)的容錯(cuò)性。CAP原則就是,你只能保證整個(gè)系統(tǒng)更關(guān)注于強(qiáng)一致性,或者高可用性。

綜上所述,NewSQL是為了綜合SQL和NoSQL的特性。它的存在并不是完全顛覆了CAP理論,而是需要基于這套理論,根據(jù)我們自身的實(shí)際情況,選擇一個(gè)Consistency和Availability之間的平衡點(diǎn)。

對(duì)于用戶來(lái)說(shuō),NewSQL其實(shí)就是A single logical DB,即單個(gè)邏輯數(shù)據(jù)庫(kù)。從開(kāi)發(fā)的角度,NewSQL具有New Architecture(新架構(gòu))、Transparent Sharding(透明化分片中間件)、Database as a Service(云數(shù)據(jù)庫(kù))三種形態(tài)。

二、Apache ShardingSphere的架構(gòu)

Apache ShardingSphere是一套開(kāi)源的分布式數(shù)據(jù)庫(kù)中間件解決方案組成的生態(tài)圈,它由JDBC、Proxy和Sidecar(規(guī)劃中)這3款相互獨(dú)立,卻又能夠混合部署配合使用的產(chǎn)品組成。它們均提供標(biāo)準(zhǔn)化的數(shù)據(jù)分片、分布式事務(wù)和數(shù)據(jù)庫(kù)治理功能,可適用于Java同構(gòu)、異構(gòu)語(yǔ)言、云原生等各種多樣化的應(yīng)用場(chǎng)景。

Apache ShardingSphere定位為關(guān)系型數(shù)據(jù)庫(kù)中間件,旨在充分合理地在分布式的場(chǎng)景下利用關(guān)系型數(shù)據(jù)庫(kù)的計(jì)算和存儲(chǔ)能力,而并非實(shí)現(xiàn)一個(gè)全新的關(guān)系型數(shù)據(jù)庫(kù)。Apache ShardingSphere目前已提供數(shù)十個(gè)SPI作為系統(tǒng)的擴(kuò)展點(diǎn),仍在不斷增加中。

如上圖所示,這是Apache ShardingSphere最新的部署框架。Apache ShardingSphere最開(kāi)始定位于NewSQL的中間件,后面它的盤子越來(lái)越大,逐漸超越了中間件的范疇,但又未達(dá)到新架構(gòu)的范疇,處在一個(gè)中間的狀態(tài)。

首先,中間件的數(shù)據(jù)庫(kù)集群,可能有自己的主庫(kù)或者從庫(kù),包括同步、復(fù)制、備份等都是靠MySQL或者PG數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)的。

其次,用戶真正能夠接觸三個(gè)產(chǎn)品,第一個(gè)產(chǎn)品叫ShardingSphere-JDBC,它定位為輕量級(jí)Java框架,在Java的JDBC層提供的額外服務(wù)。它具備解析SQL、分片管理、分布式事務(wù),脫敏等功能。

第二個(gè)產(chǎn)品叫ShardingSphere-Proxy,定位為透明化的數(shù)據(jù)庫(kù)代理端,提供封裝了數(shù)據(jù)庫(kù)二進(jìn)制協(xié)議的服務(wù)端版本,用于完成對(duì)異構(gòu)語(yǔ)言的支持。適用于任何兼容MySQL/PostgreSQL協(xié)議的的客戶端,可以管理數(shù)據(jù)庫(kù)集群。

123下一頁(yè)>

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )

贊助商
2020-09-10
京東數(shù)科高級(jí)DBA潘娟:Apache ShardingSphere的架構(gòu)、特性
近些年NewSQL概念盛行,國(guó)內(nèi)外各大公司對(duì)NewSQL都有著不同的解讀。

長(zhǎng)按掃碼 閱讀全文