MySQL之父造訪騰訊云,為騰訊云數(shù)據(jù)庫開源點贊

近日,技術(shù)大牛 MariaDB 公司創(chuàng)始人兼 CTO Michael Widenius(又名Monty)、MariaDB 基金會主席Kaj 來到中國,針對MariaDB與騰訊云的技術(shù)合作進(jìn)行回訪。去年底,騰訊云與MariaDB基金會達(dá)成戰(zhàn)略合作,騰訊云承諾為基金會的發(fā)展提供強有力的資源支持,共建全球開源生態(tài)圈。

這次會見,騰訊云與MariaDB就未來的雙向合作達(dá)成一致。后續(xù),在不涉及騰訊云核心代碼的前提下,騰訊云將優(yōu)先提交代碼給 MariaDB 基金會, 雙方共享使用權(quán)。同時,MariaDB也將積極響應(yīng)騰訊云數(shù)據(jù)庫開發(fā)的相關(guān)需求,提上更新日程,為騰訊云升級迭代服務(wù)。

MySQL之父造訪騰訊云,為騰訊云數(shù)據(jù)庫開源點贊

  MariaDB 公司創(chuàng)始人兼 CTO Michael Widenius(左2)、MariaDB 基金會主席Kaj (左1)和騰訊云技術(shù)人員現(xiàn)場暢談技術(shù)和合作

Monty 被視為 MariaDB的“技術(shù)靈魂”,在業(yè)內(nèi)享有頗高聲望。他是 MySQL 第一行代碼的作者。在MySQL被甲骨文收購后,Monty再創(chuàng)立MariaDB公司,同時成立非贏利組織 MariaDB 基金會,成為MySQL最重要的持續(xù)開源分支之一。

MySQL之父造訪騰訊云,為騰訊云數(shù)據(jù)庫開源點贊

  MariaDB 公司創(chuàng)始人兼 CTO Michael Widenius(左2)、MariaDB 基金會主席Kaj現(xiàn)場review代碼

現(xiàn)場,騰訊云專家工程師張青林向Monty展示了騰訊云數(shù)據(jù)庫開源的最新進(jìn)展。在談到技術(shù)細(xì)節(jié)時,Monty十分興奮,立即找到代碼進(jìn)行驗證,并對結(jié)果表示肯定。Monty表示:“騰訊云數(shù)據(jù)庫內(nèi)核團(tuán)隊所做的工作正是 MariaDB 所需要的,無論是作為會員還是對于技術(shù)方面的貢獻(xiàn)。我們非常希望由 TXSQL(騰訊自研數(shù)據(jù)庫CynosDB的內(nèi)核引擎)團(tuán)隊來推進(jìn) MariaDB 的內(nèi)核完善工作。”雙方共同敲下回車鍵,將最新的開源代碼提交至GitHub。

開源不遺余力

騰訊云在開源社區(qū)影響力正在持續(xù)提升。自2017年騰訊云正式成為MariaDB基金會最高級白金會員以來,深度參與基金會的各項會議與決策,不遺余力地輸出騰訊在MariaDB數(shù)據(jù)庫上的經(jīng)驗和技術(shù),受到MariaDB社區(qū)及開發(fā)者的一致認(rèn)可。

就在上個月,曼哈頓的MariaDB用戶者大會上,騰訊云數(shù)據(jù)庫團(tuán)隊再向MariaDB官方提交四個重要Patch,包括:Binloglotate優(yōu)化、Binlog速度限制、企業(yè)級函數(shù)加密插件、Droptable優(yōu)化。這是繼去年在內(nèi)存優(yōu)化、InnoDB引擎、聚合運算等層面提交多個Patch后,騰訊云數(shù)據(jù)庫團(tuán)隊再次發(fā)力。

據(jù)張青林介紹,目前騰訊云數(shù)據(jù)庫團(tuán)隊針對MariaDB社區(qū)的主要貢獻(xiàn)體現(xiàn)在四個方面。

1、在內(nèi)存優(yōu)化層面,騰訊云MySQL內(nèi)核團(tuán)隊針對information_schema多度占用內(nèi)存進(jìn)行深度優(yōu)化。由于在涉及Information_schema相關(guān)操作時,會使用內(nèi)存來緩存結(jié)果集,當(dāng)鏈接數(shù)較多的時候會占用大量的內(nèi)存。TXSQL內(nèi)核團(tuán)隊對這一問題進(jìn)行了優(yōu)化,對于查詢結(jié)果不涉及到的字段,減少查詢語句過程中所使用的內(nèi)存,從而降低資源的使用率,這一改進(jìn)已合進(jìn)MariaDB 10.4 版本。

2、針對內(nèi)核使用過程的常見問題,MySQL內(nèi)核團(tuán)隊也進(jìn)行了深入分析與優(yōu)化,包括大表刪除問題和企業(yè)級加密功能,并將這些通用功能提交給 MariaDB 官方。

TXSQL內(nèi)核將要刪除的大表文件加入刪除文件隊列,每次只減少固定的空間,當(dāng)空間小到一定程度的時候再進(jìn)行刪除操作,從而解決了解決了大表刪除引起IO HANG,響應(yīng)不及時、性能抖動等問題。整個刪除過程對用戶完全透明,不影響任何操作。

3、為方便用戶使用加密的功能,TXSQL 有針對性的開發(fā)了一套加解密函數(shù)功能,能夠有效管控明文數(shù)據(jù)的MySQL函數(shù),通過基于OpenSSL的RSA/DH/DSA等加密算法進(jìn)行數(shù)據(jù)保護(hù)。

4、在Binlogrotate優(yōu)化方面,為解決Binlogrotate所引起的寫阻塞問題,MySQL內(nèi)核團(tuán)隊優(yōu)化寫性能。日志是任何故障排除過程中非常重要的一部分,但這些日志會隨著時間增長。在這種情況下,需要執(zhí)行日志清理以回收空間。通過在Linux中配置 logrotate 程序,以自動執(zhí)行日志文件的輪換、壓縮、刪除和用郵件發(fā)出,優(yōu)化寫性能。

張青林表示,后續(xù)騰訊云還將在TXSQL內(nèi)核研發(fā)上投入更多資源,并持續(xù)貢獻(xiàn)開源社區(qū)。

沖破 “上云”障礙

不止于MariaDB的技術(shù)開源,騰訊云在自建數(shù)據(jù)庫上的升級也為客戶帶來切實便利。

去年底,騰訊云發(fā)布了新一代自研云原生數(shù)據(jù)庫CynosDB。這是騰訊云在公司架構(gòu)調(diào)整完成后,向外界發(fā)布的首款產(chǎn)品。在架構(gòu)上,CynosDB在產(chǎn)品架構(gòu)上完全兼容開源數(shù)據(jù)庫引擎接口,是國內(nèi)首家兼容MySQL5.7和全球第一個兼容PostgreSQL10的云數(shù)據(jù)庫產(chǎn)品。

在世界范圍內(nèi),MySQL和PostgreSQL是市面上最主流的兩大數(shù)據(jù)庫產(chǎn)品。這意味著,CynosDB所具備的兼容性,可以讓企業(yè)幾乎無需更改代碼,就可以輕松實現(xiàn)“上云”。

數(shù)據(jù)庫“上云”,是大數(shù)據(jù)時代潛力巨大的市場。據(jù)Gartner預(yù)測,到2023年世界上四分之三的數(shù)據(jù)庫都會跑在云上,因此,云數(shù)據(jù)庫也被認(rèn)為是未來云競爭的重要戰(zhàn)場。

目前,騰訊云數(shù)據(jù)庫團(tuán)隊總共進(jìn)行了近60多項優(yōu)化。為了提升系統(tǒng)可用性,CynosDB以軟件優(yōu)化與新硬件結(jié)合為理念,采用了先進(jìn)的計算和存儲分離架構(gòu),實現(xiàn)了計算無節(jié)點狀態(tài),支持秒級故障切換和恢復(fù),數(shù)據(jù)備份時間縮短到60秒之內(nèi),速度提升了180倍。

值得一提的是,CynosDB的"可計算智能存儲"進(jìn)一步滿足企業(yè)的實際應(yīng)用場景,讓企業(yè)按實際使用量計費,自動擴縮容。在降低企業(yè)開支的同時,輕松應(yīng)對突發(fā)的業(yè)務(wù)規(guī)模變化。

MySQL之父造訪騰訊云,為騰訊云數(shù)據(jù)庫開源點贊

  Kaj、王義成、Monty、張青林在MariaDB用戶者大會現(xiàn)場合影

本月,在美國曼哈頓舉行的MariaDB用戶者大會上,騰訊云數(shù)據(jù)庫CynosDB以其極致領(lǐng)先的性能、獨特的技術(shù)架構(gòu)以及眾多內(nèi)核層面的創(chuàng)新特性受到包括MariaDB基金會主席Kaj、MariaDB創(chuàng)始人Monty以及眾多參會者的高度認(rèn)可。

必有回響

近年來,騰訊在開源領(lǐng)域的投入不斷加大,深度擁抱并推動全球開源生態(tài)的發(fā)展,除了MariaDB基金會的白金會員,截至目前,騰訊已經(jīng)獲得OpenStack、Linux Foundation、LF Deep Learning、MariaDB Foundation等國際知名開源組織的白金會員身份。此外,騰訊也是國內(nèi)唯一的Apache白金贊助商。

創(chuàng)新不止,騰訊云數(shù)據(jù)庫不遺余力的開源工作,將持續(xù)擴大中國開發(fā)者在開源MariaDB社區(qū)的貢獻(xiàn)度與影響力。

(注:Tencent MySQL為騰訊深度定制的MySQL,簡稱TXSQL。)

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-03-26
MySQL之父造訪騰訊云,為騰訊云數(shù)據(jù)庫開源點贊
近日,技術(shù)大牛 MariaDB 公司創(chuàng)始人兼 CTO Michael Widenius(又名Monty)、MariaDB 基金會主席Kaj 來到中國,針對Mar

長按掃碼 閱讀全文