近日,招商銀行成功舉辦數(shù)據(jù)倉庫Teradata平臺下電儀式,正式完成從傳統(tǒng)數(shù)據(jù)倉庫平臺向華為云數(shù)據(jù)倉庫GaussDB(DWS)的全部遷移,成功建立了國內首個大規(guī)模金融云數(shù)倉,有效支撐了“人人用數(shù)”大數(shù)據(jù)發(fā)展戰(zhàn)略落地。招商銀行在此次遷移中實現(xiàn)數(shù)據(jù)倉庫云化升級和自主可控,同時全面提升數(shù)據(jù)倉庫平臺容量和處理能力,為充分釋放數(shù)據(jù)資產價值、扎實賦能業(yè)務打下堅實的基礎,進一步夯實數(shù)字化轉型底座。
招商銀行數(shù)據(jù)倉庫平臺主要應用于批量數(shù)據(jù)加工處理、數(shù)據(jù)實驗室探索及交互式自助分析等場景。隨著招商銀行數(shù)字化轉型的快速推進,數(shù)據(jù)采集處理規(guī)模大幅增長,逐步呈現(xiàn)“人人用數(shù),人人都是數(shù)據(jù)分析師”的數(shù)據(jù)應用模式,對數(shù)據(jù)平臺容量、算力、穩(wěn)定性及可用性等提出更高要求。
傳統(tǒng)數(shù)據(jù)倉庫一體機技術方案存在著生態(tài)環(huán)境封閉、維護成本高、硬件故障維修復雜、擴容停機時間長等諸多問題,已不能滿足快速、平滑的擴容需求。在此背景下,招商銀行總行信息技術部啟動新MPP數(shù)據(jù)倉庫平臺選型,經過多輪測試和考量,最終采用華為云GaussDB(DWS)統(tǒng)一架構,并同華為云成立聯(lián)合創(chuàng)新實驗室,共同構建具有招商銀行特色的數(shù)據(jù)倉庫平臺。
招商銀行數(shù)據(jù)倉庫的數(shù)據(jù)量規(guī)模達到PB級別,單一平臺進行如此巨大規(guī)模的數(shù)據(jù)和程序遷移,在金融行業(yè)非常少見。項目組充分論證遷移方案,制定了基礎數(shù)據(jù)模型先遷,分批次遷移應用集市的總體策略。在設備到貨延遲、主機上云項目工期重疊引起源數(shù)據(jù)大量變動等挑戰(zhàn)下,項目組采取仿真環(huán)境數(shù)據(jù)驗證、優(yōu)化人力資源配置、精細化項目過程管理等措施,并研制出一整套自動化遷移驗證工具,大幅提升遷移效率,圓滿完成云數(shù)倉遷移工作。
遷移完成后,招商銀行業(yè)務用戶享受到了更輕盈的用數(shù)體驗:
查詢速度快人一步。批量數(shù)據(jù)處理完成進度整體提前2小時以上,業(yè)務用戶查詢時長縮短75%,數(shù)據(jù)倉庫服務效能顯著提升。
用數(shù)不間斷,人人都是VIP。集群擴容停機時長由12-24小時降至2-4小時,停機追批時長由1-2天降至業(yè)務零感知,平臺運維能力大幅提升,用戶隨時取數(shù)用數(shù),不再受維護和跑批的影響。
數(shù)據(jù)絲滑遷移,替換無感。在新舊數(shù)倉替換過程中的并行期,項目組通過自研工具實時數(shù)據(jù)校驗,縮短數(shù)據(jù)核對間歇,實現(xiàn)一分鐘內完成重要數(shù)據(jù)在新舊平臺中的數(shù)據(jù)核對,讓用戶對替換過程無感知。
強大的平臺性能是數(shù)字化轉型不斷深入的底氣。為此,突破封閉技術路線,引入靈活擴展架構,是新一代數(shù)據(jù)倉庫提升平臺性能的必然選擇。
依托云原生特性,擴展靈活從容。從技術選型出發(fā),華為云數(shù)據(jù)倉庫GaussDB(DWS)打破原有一體機架構封閉的技術路線,基于華為云Stack底座構建開放型技術架構,支持資源彈性管理和按需擴展。在線擴容的重分布速度由20TB/h提速至65TB/h,在線備份速度由37TB/h提速至150TB/h,縮短平臺操作時間窗口,業(yè)務快速享用平臺擴展后的更高算力。
分布式優(yōu)化技術,增強系統(tǒng)性能。充分利用多核計算資源,采用多層級、全并行的分布式架構,運用查詢重寫、計劃生成、傾斜處理等多項核心技術,全面提升集群處理性能,實現(xiàn)高并發(fā)交互式查詢秒級響應,并支撐業(yè)務上千并發(fā)聯(lián)機查詢。
分析與計算集群分離,降低負載沖突。根據(jù)業(yè)務發(fā)展需要,項目組將原計算集群拓展為零售集群和批發(fā)中后臺集群,并為業(yè)務用數(shù)建設專屬分析集群,在擴展算力的同時實現(xiàn)業(yè)務分析與計算分離。華為云數(shù)據(jù)倉庫GaussDB(DWS)為分析師提供7×24小時隨需隨用的數(shù)據(jù)服務,無需等待批量處理負載降低,延長數(shù)據(jù)服務時長。
招商銀行云數(shù)倉全面上線標志著其數(shù)據(jù)倉庫平臺能力上升到一個新臺階,同時也為金融行業(yè)數(shù)據(jù)倉庫遷移提供了實踐借鑒。
面向未來,華為云GaussDB(DWS)將繼續(xù)探索金融應用場景,全面推廣數(shù)據(jù)工具平臺,持續(xù)優(yōu)化平臺性能和體驗,為打通企業(yè)數(shù)字化轉型最后一公里提供堅實的平臺保障。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )