又到了雙十一、雙十二、年終大促季，每年這個時候都是購物狂歡節(jié)，不僅促銷產(chǎn)品多、種類全、覆蓋面廣，促銷花樣也在不斷翻新，直播、砍價、優(yōu)惠券、加價購等，令人眼花繚亂。當全國人民沉浸在買買買的自嗨中無法自拔時，考驗的不僅是百萬商家的戰(zhàn)略戰(zhàn)術，更是各種技術平臺的實力比拼，尤其是底層的數(shù)據(jù)庫，將迎來流量峰值期間的高并發(fā)和快速響應挑戰(zhàn)。
高并發(fā)業(yè)務場景下快速、彈性擴縮容挑戰(zhàn)
▲微盟產(chǎn)品和服務布局
以微盟為例，公司承載的是多渠道的廣告營銷業(yè)務，提供和各個細分領域相關的垂直SaaS解決方案及服務。比如：雙11期間的秒殺、拼團和砍價，需要很多專業(yè)解決方案和功能支撐，而微盟擁有豐富的產(chǎn)品和解決方案，處于業(yè)界最領先地位，很多優(yōu)惠券、抽獎、廣告牌、激勵轉(zhuǎn)化等功能，都有專門的數(shù)字化插件。
借用微盟數(shù)據(jù)庫技術負責人 余成真 的話來說，“雖然微盟的很多SaaS業(yè)務經(jīng)常被模仿，但從未被超越。”
從大的平臺架構來看，每個業(yè)務系統(tǒng)都是獨立應用，包括獨立的后臺、技術棧、數(shù)據(jù)庫，并且對于庫和表的設計，也各不相同。
而對于“秒殺”類活動，每天收到的活動報備請求至少幾十個，遇到重要節(jié)日以及重大營銷活動時，可能會有上百個商家發(fā)起活動報備申請，無論是用戶在線數(shù)，還是業(yè)務請求量，都是TOP級別。
所以，對于數(shù)據(jù)庫的性能來說，必須滿足如下要求：
● 反應要快，并且不同應用接口響應要求不一樣。
● 針對惡意刷票行為，要進行流量防控。
● 要具備數(shù)據(jù)庫的大量讀寫能力。
大體來看，微盟數(shù)據(jù)庫團隊主要面臨4大挑戰(zhàn)：
1.高并發(fā)、低延時需求。
微盟的核心接口在平常狀態(tài)下都是毫秒級響應，數(shù)據(jù)庫的每條請求都是幾毫秒，甚至是納秒級響應時間。在活動高峰期，某些營銷插件的場景類數(shù)據(jù)庫，單實例就有超過7萬真實QPS記錄值。
2.確保穩(wěn)定性及高可用性。
穩(wěn)定性和可用性是基本要求，目前主要依賴騰訊云數(shù)據(jù)庫底層高可用能力，同時微盟自己也有一套針對應急場景的可用性工具，未來希望能更可靠、更穩(wěn)定。
3.數(shù)據(jù)安全。
如何對人員安全、數(shù)據(jù)庫安全進行治理，成為一項長期工作。需要進一步加強治理的事項，包括：數(shù)據(jù)分類分級、線上數(shù)據(jù)查詢的精細授權、數(shù)據(jù)災備的定期演練、運維操作風控等。
4.海量實例數(shù)據(jù)庫運維。
微盟數(shù)據(jù)庫類型多、數(shù)量多、業(yè)務線多，管理好這些元數(shù)據(jù)是DBA做好各項工作的先決條件。同時，只有做到精細化運維，才能規(guī)避工作中遇到的數(shù)據(jù)庫問題 、將故障及風險降至最低。
此種背景下，微盟開啟了全面的云數(shù)據(jù)庫轉(zhuǎn)型征程，從思維模式開始，讓整個架構向更彈性、更靈活的服務模式演進。
采用現(xiàn)代化架構解決數(shù)據(jù)安全、技術能力擴張問題
▲基于云數(shù)據(jù)庫的解決方案與實踐
“SaaS電商業(yè)務的本質(zhì)是，對數(shù)據(jù)庫應用性能要求較高，必須抗住各種壓力。” 余成真說道。
在數(shù)字化轉(zhuǎn)型背景下，企業(yè)業(yè)務的核心是數(shù)據(jù)，數(shù)據(jù)驅(qū)動業(yè)務，數(shù)字即服務。而承載所有數(shù)據(jù)的數(shù)據(jù)庫，既有事務ACID特性的要求，又有海量數(shù)據(jù)存儲的要求。所以，數(shù)據(jù)庫產(chǎn)品在具備聯(lián)機事務處理能力同時，數(shù)據(jù)庫的讀取性能也必須強悍，同時還要具備數(shù)據(jù)分析能力。另外，微盟業(yè)務發(fā)展速度飛快，資源需求呈指數(shù)級倍增，數(shù)據(jù)安全、數(shù)據(jù)庫類型擴展、數(shù)據(jù)庫技術能力擴展等核心問題，都需要重新考慮。
微盟持續(xù)保持高速發(fā)展，創(chuàng)新和不斷迭代是內(nèi)在基因。2020年，為了助力更多商家實現(xiàn)數(shù)字化轉(zhuǎn)型，微盟提出了“TSO全鏈路智慧增長”，從流量、SaaS工具和運營角度，構建全域數(shù)字化商業(yè)閉環(huán)。從產(chǎn)品角度看，最重要的是，全面提升信息安全保護能力，防止災害及不可抗拒因素給業(yè)務系統(tǒng)帶來的傷害。
為了配合集團業(yè)務高速發(fā)展的需求，數(shù)據(jù)庫團隊必須基于現(xiàn)代化業(yè)務架構，轉(zhuǎn)變思維模式，讓所有業(yè)務在充分享受云的彈性能力的同時，也要兼具業(yè)務的隔離性。
利用云數(shù)據(jù)庫彈性滿足高并發(fā)和快速調(diào)整需求
縱觀微盟數(shù)據(jù)庫的發(fā)展史，主要分為3個重要階段：
1. 早期IDC建設階段，包括自建黑石數(shù)據(jù)庫服務集群。
2016年，微盟的數(shù)據(jù)庫從阿里云全線遷移到騰訊黑石機房，實現(xiàn)了跨IDC的異地同步。在遷移之初，不僅要保證數(shù)據(jù)的一致性，對數(shù)據(jù)可用性的時間也有極高要求，數(shù)據(jù)庫實例要在30分鐘內(nèi)全部切換完，具體到單套實例的不可用時間要限制到秒級。而且，遷移過程中注意的細節(jié)非常多，涉及到對項目的協(xié)調(diào)及人員的動員力，在數(shù)據(jù)庫同步遷移技術上，要保證數(shù)據(jù)的絕對一致性，遷移過程中也要具備更縝密的思維。同時，還講求戰(zhàn)略戰(zhàn)術和技巧，微盟當時使用的是主從復制技術，因為經(jīng)典意味著可靠。
為了更貼合業(yè)務發(fā)展，微盟還自建了數(shù)據(jù)庫服務集群，用半年時間打造了一整套數(shù)據(jù)庫私有云解決方案，包括具備監(jiān)控、告警、備份、高可用等相關功能。不僅解決了業(yè)務問題，在技術上也有重大突破，包括借助開源工具實現(xiàn)了二次開發(fā)，期間還編寫了大量輔助運維工具，將零散的運維工作進行了工程化建模。由于數(shù)據(jù)庫硬件服務器是高效及高可用架構設計，所以數(shù)據(jù)庫集群在4年多線上真實環(huán)境應用中，沒有出現(xiàn)任何事故級故障，整體集群非常穩(wěn)定、高效。
2. 數(shù)據(jù)庫全面上云以及異地多活架構升級。
2020年，為了配合TSO業(yè)務戰(zhàn)略落地，微盟嘗試探索公有云路線。因為，相對于私有云，公有云的彈性擴展能力強，更能滿足業(yè)務高并發(fā)需求。經(jīng)過大量調(diào)研、測試、選型、驗證后，公司開始制定實施計劃，全面上云。其實，當時很多云廠商提供的異地多活方案都不是非常成熟。期間，微盟數(shù)據(jù)庫團隊和騰訊云數(shù)據(jù)庫部門保持密切溝通與互動。從最初通過線上邊緣業(yè)務進行測試，到之后發(fā)展到周期性全實例的多活故障演練，最終才實現(xiàn)了技術上的突破，創(chuàng)造了成功的多活方案，高度確保了業(yè)務的穩(wěn)定性。
3. 加碼數(shù)據(jù)安全，實現(xiàn)精細化運維。
2021年，為了確保數(shù)據(jù)庫部門擁有全線的業(yè)務支撐能力，微盟制定了很多和運維相關的規(guī)范及流程。主要包含兩個維度：一方面，運維操作人員要具有可量化的操作細節(jié);另一方面，降低風險，提升溝通效率。
集中式+分布式技術架構設計
大體來看，微盟云數(shù)據(jù)庫轉(zhuǎn)型是企業(yè)支持數(shù)字化業(yè)務的最重要里程碑，他們開創(chuàng)了新的思維模式，用一個更靈活的策略，把大業(yè)務拆小，小業(yè)務拆得更細。并且，在每一個細的模塊上，都做了數(shù)據(jù)庫級別的支撐。這意味著，整個后臺不僅擁有眾多實例，能充分利用云基礎設施的彈性，隨時按需使用，還能確保實例之間的隔離性。即便是小商戶，也能做到項目式的隔離，確保每個項目都不受影響。
在具體的數(shù)據(jù)庫設計上，微盟采用的是集中式+分布式技術架構。
● 分布式應用場景：微盟把Redis、Kafaka作為大型分布式系統(tǒng)的關鍵組件，這些組件在實時數(shù)據(jù)或流式數(shù)據(jù)架構中扮演著重要角色。
● 聯(lián)機事務處理應用：微盟采用騰訊自研的云原生數(shù)據(jù)庫TDSQL-C、騰訊云MySQL、騰訊云PostgreSQL支撐底層全業(yè)務線存儲，存儲所有業(yè)務線的元數(shù)據(jù)，并提供重要數(shù)據(jù)計算及存取能力。
● 分析型應用場景：通過TiDB/ HBase /TDSQL-H解決實時及離線分析問題。
在余成真看來，決定微盟云數(shù)據(jù)庫選型的最關鍵因素有四點，即安全、性能、穩(wěn)定和成本。
微盟是基于微信生態(tài)做的產(chǎn)品級應用，也是騰訊云華東地區(qū)頭部、重要VIP客戶，所以對騰訊云有著天然的親和力，微盟的很多基礎設施服務都在使用騰訊云提供的產(chǎn)品，比如：高防、LB、VPC網(wǎng)絡、CVM、COS、DB、EMR等等。針對騰訊云數(shù)據(jù)庫產(chǎn)品提供層面，微盟目前主要使用的是MySQL及云原生數(shù)據(jù)庫TDSQL-C，以及非關系型數(shù)據(jù)庫Redis。
更安全、更穩(wěn)定、性能更強
“數(shù)據(jù)庫全面上云后，不僅實現(xiàn)了當初規(guī)劃的目標，在數(shù)據(jù)安全性、應用的穩(wěn)定性以及性能方面，也有更卓越表現(xiàn)。” 余成真對云數(shù)據(jù)庫上線后的效果，給與了高度評價。
總結而言，數(shù)據(jù)庫上云后，獲得了如下效果：
● 全面確保數(shù)據(jù)安全。
底層基礎設施安全：由于數(shù)據(jù)庫底層運維工作主要交給騰訊云數(shù)據(jù)庫團隊來做，極大地確保了底層基礎設施的安全性。
數(shù)據(jù)安全：為了從根本上確保數(shù)據(jù)安全，微盟在數(shù)據(jù)庫權限系統(tǒng)上設置了最小粒度的授權原則。具體做法是，將權限綁定于資源對象上，人及業(yè)務組僅有權限查看所屬的數(shù)據(jù)庫資源。對這些資源的操作，會進一步細化權限，如：流程化管理，要經(jīng)過“申請、一級審批、二級審批、執(zhí)行”這樣一個流程。
權責到人：微盟還將所有DBA操作進行工單化，具體包括：查詢申請工單、SQL上線工單、數(shù)據(jù)遷移工單、數(shù)據(jù)歸檔工單等等。通過對人、對資源的權限控制，對數(shù)據(jù)的分類分級等方式，來保證數(shù)據(jù)安全。為了與國家數(shù)據(jù)安全法保持實時同步，微盟已將數(shù)據(jù)安全法進行了平臺化處理。
● 運營能力提升。
為了滿足更精細化的運維需求，微盟基于騰訊云數(shù)據(jù)庫提供的能力，做了進一步擴展，對更貼近業(yè)務場景的功能做了處理。為了全面提升數(shù)據(jù)庫運營能力，通過監(jiān)控數(shù)據(jù)、告警數(shù)據(jù)、慢日志數(shù)據(jù)等進行資源評分，為資源配置提供重要依據(jù)，也可推導業(yè)務代碼質(zhì)量，產(chǎn)品響應質(zhì)量等。簡單理解，騰訊云數(shù)據(jù)庫把底層的臟活苦活累活都干完了，微盟的數(shù)據(jù)庫團隊就無須再關心底層基礎設施問題，而是拿出更多時間，關注業(yè)務層面的問題。
● 性能增強。
對于微盟最關注的數(shù)據(jù)庫性能，也做了進一步增強，實現(xiàn)了底層內(nèi)核以及整體性能的優(yōu)化。微盟建立了數(shù)據(jù)庫性能壓測跟蹤平臺，可按照自己的標準進行快速衡量各廠商云數(shù)據(jù)庫質(zhì)量。在數(shù)據(jù)庫上云后，微盟還建立了真實業(yè)務SQL模型，能推導代碼質(zhì)量，度量接口響應指標等。
● 成本優(yōu)勢。
云數(shù)據(jù)庫上面的資源彈性擴縮容能力，以及在節(jié)約成本方面，也是傳統(tǒng)業(yè)務模式無法比擬的。騰訊云數(shù)據(jù)庫擁有資源的全生命周期管理，包括：資源申請、資源創(chuàng)建、數(shù)據(jù)庫管理、賬號類型管理、賬號權限管理、資源業(yè)務域歸屬、資源負責人管理、資源監(jiān)控備份告警管理、資源下架單、資源回收站。傳統(tǒng)IDC模式下，一旦活動來了，進行擴容以后，成本就一次性加進去了，即使縮容以后，成本還是那么多。但使用騰訊云就不一樣，可以按需使用，隨用隨付。
微盟云數(shù)據(jù)庫不僅全面擁抱了云原生，在HTAP融合發(fā)展趨勢上也在不斷探索。目前，具有業(yè)務屬性的云原生數(shù)據(jù)庫TDSQL-C，已開始逐步遷移，承擔的是高讀QPS類的業(yè)務;其中還有一小部分是TDSQL-H系列，解決了分析型應用場景的查詢問題，承擔一些AP類的業(yè)務。微盟通過騰訊云數(shù)據(jù)庫的全棧服務，滿足了AP、TP全場景需求，支撐著百萬商家的大促及秒殺等核心業(yè)務。
小結：從某種角度看，微盟數(shù)據(jù)庫上云旅程，其實是企業(yè)業(yè)務創(chuàng)新不斷發(fā)展的結果。以數(shù)據(jù)庫實例數(shù)量為例，上線之前是1000多套，現(xiàn)在使用了云上的資源以后，已經(jīng)發(fā)展到2000多套，翻了至少一倍。從資源規(guī)模上，已經(jīng)做了一定的數(shù)量級，如果全部自己搭建，其業(yè)務的難度以及工作量，都無法想象。
關于微盟：
微盟，成立于2013年，雖然發(fā)展時間不長，但已成為一家領軍企業(yè)云端商業(yè)及營銷解決方案提供商，擁有超過7500名員工，全球加盟商超過1600家，入駐商戶超過300萬家。公司旗下業(yè)務主要包括商業(yè)云(微商城、智慧零售、智慧餐飲、智慧酒店、智慧美業(yè))、營銷云(微站、智營銷、企微助手)、銷售云(銷氪)以及和精準營銷相關的豐富的媒體資源和DMP。媒體資源主要是指和騰訊、抖音、快手、頭條、知乎、小紅書等平臺的對接;而DMP，則包括精準受眾定位、分析與優(yōu)化和更靈活的格式等。微盟的企業(yè)理念是，致力于成為企業(yè)數(shù)字化轉(zhuǎn)型最佳伙伴，助力更多商家開啟數(shù)字化轉(zhuǎn)型征程。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
