openGauss:共建數(shù)據(jù)庫根社區(qū),打造開源數(shù)據(jù)庫核心競爭力

在剛剛結(jié)束的第十二屆數(shù)據(jù)技術(shù)嘉年華上,CCF數(shù)據(jù)庫專委會副主任、openGauss社區(qū)技術(shù)委員會主席、清華大學(xué)計(jì)算機(jī)系副主任李國良發(fā)表了《openGauss:聚焦數(shù)據(jù)庫內(nèi)核創(chuàng)新,共建開源數(shù)據(jù)庫根社區(qū)》的主旨演講。李國良提到,盡管經(jīng)過50多年的發(fā)展,數(shù)據(jù)庫發(fā)生了翻天覆地的變化,但數(shù)據(jù)庫向下充分利用硬件資源發(fā)揮算力優(yōu)勢,向上支撐各種不同應(yīng)用繁榮創(chuàng)新卻是持續(xù)不變的。

CCF數(shù)據(jù)庫專委會副主任,openGauss社區(qū)技術(shù)委員會主席,清華大學(xué)計(jì)算機(jī)系副主任、長聘教授 李國良

“從原來的單一模態(tài)到多模態(tài)發(fā)展、從原來基于人的信任機(jī)制到通過技術(shù)保證數(shù)據(jù)的安全性、從原來的集中式數(shù)據(jù)庫到分布式數(shù)據(jù)庫,數(shù)據(jù)庫產(chǎn)業(yè)正隨著技術(shù)的不斷演進(jìn)呈現(xiàn)多元融合的發(fā)展態(tài)勢。”李國良如此說道。

然而,技術(shù)的創(chuàng)新應(yīng)用不僅帶來了數(shù)據(jù)庫的繁榮發(fā)展,也使得我們不得不面臨來自大容量高性能、高可用、智能優(yōu)化、安全等方面的挑戰(zhàn)。對此,李國良提到,一直以來,openGauss圍繞核心技術(shù)的創(chuàng)新和探索、建立國產(chǎn)數(shù)據(jù)庫的根社區(qū)、以引領(lǐng)性和創(chuàng)造性推動數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展三大使命持續(xù)創(chuàng)新和突破數(shù)據(jù)庫領(lǐng)域核心技術(shù)。

圍繞“四高”構(gòu)筑企業(yè)級開源數(shù)據(jù)庫競爭力

李國良表示,自2020年6月開源以來,openGauss一直圍繞高性能、高可用、高智能、高安全突破創(chuàng)新數(shù)據(jù)庫核心技術(shù),構(gòu)筑數(shù)據(jù)庫內(nèi)核創(chuàng)新競爭力,并向開源社區(qū)持續(xù)貢獻(xiàn)核心技術(shù),致力于打造企業(yè)級開源數(shù)據(jù)庫。

例如,在高性能方面,從原位更新(in-place update 引擎)到全局的緩存管理、從計(jì)劃管理到并行查詢優(yōu)化和并行度自適應(yīng)等技術(shù)持續(xù)提升數(shù)據(jù)庫性能;在高可用方面,通過資源池化共享存儲、分布式共享內(nèi)存,進(jìn)一步提高資源利用率;在高智能方面,基于DBMind自治平臺的多指標(biāo)關(guān)聯(lián)性分析,實(shí)現(xiàn)運(yùn)維效率倍數(shù)提升;在高安全方面,通過軟硬件協(xié)作處理,實(shí)現(xiàn)數(shù)據(jù)可用不可見等。

前不久,openGauss 5.0版本已經(jīng)正式上線。該版本與之前的版本功能特性保持兼容,在內(nèi)核能力、工具鏈、兼容性方面得到了全面增強(qiáng)。不僅如此,聚焦“四高”,openGauss 5.0版本也實(shí)現(xiàn)了全面優(yōu)化和進(jìn)階。

在高性能方面,智能基數(shù)估計(jì)能夠提升統(tǒng)計(jì)信息準(zhǔn)確率;分層自適應(yīng)并行查詢技術(shù)能夠結(jié)合數(shù)據(jù)庫資源情況、實(shí)際執(zhí)行環(huán)境可用資源負(fù)載情況,最大化當(dāng)前SQL可用并行度。同時,還可以利用分層估算模型,合理利用資源,實(shí)現(xiàn)多層級并行度自適應(yīng)調(diào)整;在線SQL Patch技術(shù)無需修改業(yè)務(wù)語句,通過調(diào)用數(shù)據(jù)庫提供的接口,便可以對指定的查詢語句模板進(jìn)行hint調(diào)優(yōu),將復(fù)雜的SQL計(jì)劃調(diào)優(yōu)時間從數(shù)天降低到秒級,實(shí)現(xiàn)應(yīng)用無需變更調(diào)整。

在高可用方面,基于Paxos的多層級高可用架構(gòu),支持Logger節(jié)點(diǎn),降低部署成本;資源池化架構(gòu)實(shí)現(xiàn)存儲利用率倍增,多節(jié)點(diǎn)實(shí)時一致性數(shù)據(jù)讀取;并行邏輯解碼深度優(yōu)化,使得多活場景下復(fù)制效率倍數(shù)提升。

在高智能方面,基于庫內(nèi)原生AI引擎的分層式混合洗牌算法通過添加算子的方式,在存取塊和內(nèi)存元組兩個維度對I/O數(shù)據(jù)進(jìn)行并行洗牌,在避免了完全數(shù)據(jù)洗牌的同時保證了機(jī)器學(xué)習(xí)算法的收斂速度,大大提升了效率。

在高安全方面,基于注意力機(jī)制的異常行為檢測技術(shù),能夠精準(zhǔn)捕捉攻擊行為;基于標(biāo)簽的訪問控制,保證機(jī)密數(shù)據(jù)管控安全,防護(hù)等級更高。

openGauss開源創(chuàng)新永不停歇

openGauss自開源以來,已經(jīng)在技術(shù)、生態(tài)、商業(yè)和社區(qū)治理方面獲得了快速發(fā)展。截至目前,已有230多家企業(yè)和機(jī)構(gòu)加入社區(qū),4500多名開發(fā)者參與社區(qū)貢獻(xiàn),下載量突破160萬次,并且面向金融、政府、電信、能源、制造、交通等行業(yè)提供了500多個行業(yè)解決方案。

以某大型商業(yè)銀行的數(shù)字銀行變革實(shí)踐為例,該銀行從2019年底立項(xiàng)開始新一代分布式個人核心系統(tǒng)建設(shè),并在2020年選型openGauss作為核心數(shù)據(jù)管理系統(tǒng),經(jīng)過3年的開發(fā)與建設(shè),在2022年實(shí)現(xiàn)了原核心業(yè)務(wù)和用戶全量平滑遷移到基于openGauss個人核心系統(tǒng)的目標(biāo),使得結(jié)息總時長降低82%,國際匯款交易時間縮短50%,有效支撐了6.5億用戶、18億帳戶、4萬個網(wǎng)點(diǎn)的實(shí)時業(yè)務(wù)交易。

在李國良看來,這是全球首家大型商業(yè)銀行基于通用硬件和開源數(shù)據(jù)庫開發(fā)的個人核心交易系統(tǒng)。同時,也是新技術(shù)帶來的新價值、新服務(wù)和新增長點(diǎn)。“通過持續(xù)的行業(yè)實(shí)踐,希望不同行業(yè)的客戶能夠借助openGauss提升業(yè)務(wù)運(yùn)行效率,并通過數(shù)據(jù)庫內(nèi)核安全可信的能力,保障業(yè)務(wù)持續(xù)穩(wěn)定、安全可靠地運(yùn)行。不僅如此,openGauss還希望通過積極推進(jìn)產(chǎn)學(xué)研用,打造數(shù)據(jù)庫根社區(qū),與合作伙伴一起共同服務(wù)行業(yè)客戶。”李國良如是說。

事實(shí)上,開源開放、協(xié)同創(chuàng)新是openGauss社區(qū)生態(tài)日漸繁榮的秘訣。而基于共建、共享、共治的理念,openGauss開源社區(qū)在社區(qū)孵化、治理等方面也在逐步升級與完善。與此同時, openGauss開源社區(qū)還通過聯(lián)合企業(yè)、高校、獨(dú)立開發(fā)者等多方力量,構(gòu)建了開源數(shù)據(jù)庫根社區(qū),筑就了社區(qū)技術(shù)核心競爭力,將中國開源數(shù)據(jù)庫推上了新的高度。

在筆者看來,作為IT系統(tǒng)的核心,數(shù)據(jù)庫需要長期的戰(zhàn)略投入、軟硬件的技術(shù)積累、經(jīng)得住考驗(yàn)的產(chǎn)品、完善的技術(shù)支持以及成熟開放的生態(tài)。這些是數(shù)據(jù)庫廠商能否持續(xù)為客戶提供更好的產(chǎn)品和服務(wù)的關(guān)鍵所在,也是數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展非常重要的一環(huán)。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )