TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

浙商銀行的數(shù)字化轉(zhuǎn)型之路

浙商銀行是一家比較年輕的公司,是十二家全國性股份制商業(yè)銀行之一。浙商銀行成立于 2004 年,所以也是 00 后銀行。2020 年,浙商銀行在英國《銀行家》雜志全球銀行 1000 強(qiáng)榜單中排名第 97 位,目前已經(jīng)在香港和上海兩地上市。

浙商銀行很早就開始全面推進(jìn)數(shù)字化轉(zhuǎn)型,2010 年浙商銀行上線電子銀行服務(wù)、手機(jī)銀行業(yè)務(wù),2017 年上線首個區(qū)塊鏈服務(wù)平臺,同年發(fā)布了直銷銀行品牌。2018 年浙商銀行國標(biāo) A 級數(shù)據(jù)中心啟用,并在 2020 年成立易企銀金融科技子公司。

浙商銀行在數(shù)字化轉(zhuǎn)型過程中強(qiáng)調(diào)三方面重點(diǎn):第一是樹立數(shù)字化的思維與理念。在近期發(fā)布的浙商銀行“四五”規(guī)劃中,強(qiáng)調(diào)數(shù)字化能力建設(shè)為浙商銀行的內(nèi)在競爭力之一,進(jìn)一步確立金融科技的引領(lǐng)作用,指出堅(jiān)持金融科技創(chuàng)新驅(qū)動發(fā)展,全方位賦能平臺化服務(wù)戰(zhàn)略下業(yè)務(wù)模式和經(jīng)營管理的創(chuàng)新轉(zhuǎn)型。

第二是強(qiáng)化數(shù)據(jù)的積累和應(yīng)用。在數(shù)據(jù)方面,浙商銀行目前已經(jīng)積累了很多數(shù)據(jù),一方面是促進(jìn)內(nèi)外部數(shù)據(jù)整合,不斷積累和整合內(nèi)外部數(shù)據(jù),與政府、金融科技公司等外部機(jī)構(gòu)合作,引入工商、司法、海關(guān)等外部數(shù)據(jù),積極與省大數(shù)據(jù)局,省綜合金融服務(wù)平臺等對接。經(jīng)過幾年的建設(shè)浙商銀行已經(jīng)累積 PB 級的數(shù)據(jù),超萬張數(shù)據(jù)表。第二方面是持續(xù)深化數(shù)據(jù)應(yīng)用,浙商銀行建立了一套覆蓋全客戶,涵蓋全過程的風(fēng)控預(yù)警及決策模型,實(shí)現(xiàn)了風(fēng)險偵測、識別、處理、記錄和共享的全方位、立體式監(jiān)測,滿足對公、零售、同業(yè)等差異化、智能化的風(fēng)險識別和管控。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

浙商銀行的大數(shù)據(jù)風(fēng)控平臺融合了大數(shù)據(jù)、知識圖譜、云計(jì)算等金融科技,實(shí)現(xiàn)客戶準(zhǔn)入、關(guān)聯(lián)關(guān)系、貸后管理、預(yù)警管理、財(cái)務(wù)分析、移動應(yīng)用、客戶畫像等功能,建立全流程風(fēng)控防控和預(yù)警體系,打造全新授信風(fēng)險管控平臺。圖中是大數(shù)據(jù)分控平臺的主要架構(gòu),這個平臺打通了貸前授信審批和貸后管理,實(shí)現(xiàn)了預(yù)警信號全生命周期管理。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

第三是強(qiáng)化技術(shù)創(chuàng)新應(yīng)用。下圖中是浙商銀行的一款創(chuàng)新產(chǎn)品——應(yīng)收款鏈平臺。一般企業(yè)都有供應(yīng)鏈,供應(yīng)鏈里面有一些比較核心的客戶,核心客戶在供應(yīng)鏈上下游結(jié)算中應(yīng)收、應(yīng)付賬款較多。一方面,大量應(yīng)收賬款占壓資金嚴(yán)重,導(dǎo)致核心客戶流動性壓力較大,亟需盤活應(yīng)收賬款,降低負(fù)債;另一方面,核心客戶對上游供應(yīng)商的應(yīng)付賬款較多,影響上游中小微客戶資金周轉(zhuǎn)。所以,浙商銀行推出了創(chuàng)新性的應(yīng)收款鏈平臺,運(yùn)用了區(qū)塊鏈技術(shù)去中心化、不可篡改的特性,將客戶間的應(yīng)收帳款轉(zhuǎn)化為在線流轉(zhuǎn)、償付、轉(zhuǎn)讓且高效安全的數(shù)字憑證??蛻暨M(jìn)入這個平臺就可以辦理應(yīng)收賬款的簽發(fā)、承兌、保兌、償付、轉(zhuǎn)讓等各種業(yè)務(wù),有效盤活客戶的應(yīng)收賬款,降低產(chǎn)業(yè)鏈的整體財(cái)務(wù)成本。

浙商銀行以應(yīng)收款鏈服務(wù)平臺為基礎(chǔ),在創(chuàng)新系列場景應(yīng)用業(yè)務(wù)模式之上,結(jié)合行業(yè)特點(diǎn)和客戶區(qū)域痛點(diǎn)形成不同行業(yè)的綜合金融服務(wù)方案,目前已在 20 多個行業(yè)內(nèi)得到應(yīng)用。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

TiDB 在浙商銀行的應(yīng)用

浙商銀行在整體上構(gòu)建了一個開放化、易擴(kuò)展的 IT 架構(gòu)。基礎(chǔ)設(shè)施基本上云,除了 IaaS,還有私有云、托管云和專有云。技術(shù)架構(gòu)層由企業(yè)級 SOA、自研的分布式微服務(wù)、分布式數(shù)據(jù)庫、分布式大數(shù)據(jù)平臺、區(qū)塊鏈平臺以及物聯(lián)網(wǎng)平臺構(gòu)成,用來支撐浙商銀行的各類平臺化業(yè)務(wù)、傳統(tǒng)應(yīng)用和互聯(lián)網(wǎng)應(yīng)用等,實(shí)現(xiàn)產(chǎn)品服務(wù)標(biāo)準(zhǔn)化、模塊化和智能化。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

第一個 TiDB 的應(yīng)用場景是反電信欺詐業(yè)務(wù),這個系統(tǒng)的特點(diǎn)是需要保存所有客戶的交易數(shù)據(jù),目前有幾十億條,銀行需要把客戶的風(fēng)險和交易數(shù)據(jù)反饋給公安機(jī)關(guān)。傳統(tǒng)做法就是經(jīng)由大數(shù)據(jù)平臺跑批生成結(jié)果數(shù)據(jù)返回給公安部門,一條請求過來,我們需要在海量數(shù)據(jù)里面撈出想要的數(shù)據(jù)。傳統(tǒng)大數(shù)據(jù)平臺的問題是不能支持高并發(fā)索引條件查詢,一個 SQL 查詢請求到大數(shù)據(jù)平臺跑批,大概幾十秒才能返回。所以在這種情況下,這筆業(yè)務(wù)不能做到實(shí)時。大家應(yīng)該知道,同步或是異步對業(yè)務(wù)邏輯的侵入程度差別是很大的,尤其這種場景下,最核心的邏輯就是一個查詢,但是開發(fā)人員需要在中間做異步、文件發(fā)送等,整個數(shù)據(jù)鏈很長,業(yè)務(wù)邏輯的實(shí)現(xiàn)比較復(fù)雜。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

因此,我們在尋找一款理想的數(shù)據(jù)庫能夠提供快速查詢。如果用國外單機(jī)數(shù)據(jù)庫平臺建設(shè),成本比較高。浙商銀行在數(shù)據(jù)庫的選型上主要有幾方面的考慮:數(shù)據(jù)庫集群規(guī)模和單表容量無限制,大數(shù)據(jù)量規(guī)模下性能比較優(yōu)異,兼顧交易和實(shí)時分析場景,具備金融同業(yè)的應(yīng)用案例,同時擁有活躍的開源生態(tài)、豐富的工具及文檔?;诖?,浙商銀行在當(dāng)時就選擇了TiDB 分布式數(shù)據(jù)庫來落地第一個業(yè)務(wù)場景。

上線之后,TiDB 每天大概同步百萬級別的數(shù)據(jù),像反電信欺詐業(yè)務(wù)的查詢,從原來幾十秒的返回時間縮短到了毫秒級,速度非??臁N覀儼?TiDB 當(dāng)成普通的數(shù)據(jù)庫,查詢可以直接返回結(jié)果,業(yè)務(wù)邏輯開發(fā)變得非常簡單。在這個場景下,我們也驗(yàn)證了TiDB 在兩地三中心的部署和多活的高可用能力。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

第二個場景是外匯交易管理平臺,跟上面的場景類似,系統(tǒng)的數(shù)據(jù)量達(dá)到了億級,大概有三億多條。以前使用的是Oracle數(shù)據(jù)庫,這種級別的數(shù)據(jù)量需要用分區(qū)表來實(shí)現(xiàn)。做運(yùn)維的人肯定都知道,分區(qū)表維護(hù)起來非常麻煩。遷移到 TiDB 之后,直觀感受到查詢和跑批性能的提升,不用分區(qū)表了,只要建索引直接查就行,非常簡單,一套系統(tǒng)就能完成。在這個場景,我們驗(yàn)證了渠道類業(yè)務(wù)的交易和跑批在 TiDB 平臺的可行性。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

TiDB 是一款很好用的數(shù)據(jù)庫產(chǎn)品,而且還有列存,我們開始基于 TiDB 構(gòu)建了分布式 ODS 場景。以 TiDB 為中心,通過各種數(shù)據(jù)同步工具,把上游各種 OLTP 系統(tǒng)的業(yè)務(wù)數(shù)據(jù)全部同步到 TiDB。業(yè)務(wù)數(shù)據(jù)庫的種類比較多,有DB2、Oracle、MySQL等,TiDB 與這些數(shù)據(jù)庫都能連接,其分布式架構(gòu)滿足各類上游異構(gòu)交易數(shù)據(jù)庫的持續(xù)接入,沒有容量限制。在這個場景里面,我們應(yīng)用了TiCDC,把某些表的增量的變化,通過變更數(shù)據(jù)的捕獲框架,接到Flink 流計(jì)算平臺?;诹髌脚_可以做一些異步的實(shí)時的流式計(jì)算,應(yīng)用到管理駕駛艙系統(tǒng),可以實(shí)時統(tǒng)計(jì)行業(yè)交易、全行各項(xiàng)經(jīng)營的指標(biāo)情況等。另外,我們把這些計(jì)算結(jié)果同步到移動端,為手機(jī)端用戶提供實(shí)時報(bào)表查看,陸續(xù)上線了在線積分、公益游戲等應(yīng)用,逐步替換現(xiàn)有的集中式 ODS 平臺。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

接下來談?wù)?TiDB 在區(qū)塊鏈場景的應(yīng)用,區(qū)塊鏈?zhǔn)钦闵蹄y行的拳頭產(chǎn)品。區(qū)塊鏈存儲的特點(diǎn)是一個節(jié)點(diǎn)存儲了全網(wǎng)的數(shù)據(jù),每一個節(jié)點(diǎn)數(shù)據(jù)都是相同的,靠分布式共識算法自行同步。因?yàn)榇鎯α巳W(wǎng)數(shù)據(jù),隨著數(shù)據(jù)量的增大,對存儲的考驗(yàn)也越來越大。區(qū)塊鏈系統(tǒng)傳統(tǒng)使用的數(shù)據(jù)庫是 LevelDB,這是一個單機(jī) Key-Value 型數(shù)據(jù)庫,容量有上限。隨著交易量的上升,我們測試過當(dāng)區(qū)塊鏈的數(shù)據(jù)達(dá)到一個量級的時候,LevelDB 性能下降很明顯。后來我們發(fā)現(xiàn)TiKV也是Key-Value 型數(shù)據(jù)庫,在接口上可以匹配得很好。

在這個場景中,我們并沒有用到完整的 TiDB,而是使用了PD 和 TiKV,把區(qū)塊鏈業(yè)務(wù)的存儲遷到 TiKV 上。我們的區(qū)塊鏈平臺設(shè)計(jì)了存儲接口,以插件化的形式適配多種存儲,在適配過程中 TiDB 的專業(yè)服務(wù)支持人員給了我們很多幫助。存儲切換到 TiKV 之后,效果非常明顯,有效提升了區(qū)塊鏈的吞吐能力。

總體來說 TiKV 幫助區(qū)塊鏈解決兩個問題:一個是性能的問題,一個是容量的問題。當(dāng)交易量、存儲量達(dá)到一定程度的時候,LevelDB會進(jìn)行資源回收,首先讀寫的吞吐量下降,其次在執(zhí)行回收的時候,性能曲線會發(fā)生抖動。TiKV 上線之后進(jìn)行測試發(fā)現(xiàn)效果不錯,把壓力打上去達(dá)到一個很大的量級,TiKV 性能是比較平穩(wěn)的,根據(jù)目前的測試量級,沒有看到性能下降的趨勢。按照 TiKV 的架構(gòu)設(shè)計(jì),它的承載能力理論上是無限的。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

接下來分享一下浙商銀行分布式數(shù)據(jù)中臺即新數(shù)據(jù)中心建設(shè)的一些思考,下圖是目前整個分布式數(shù)據(jù)中臺的技術(shù)方案。TiDB 應(yīng)用于分布式 ODS 場景,全行各類交易庫的數(shù)據(jù)同步到 TiDB,后面有兩條路,一條是TiCDC,一條是TiSpark。TiCDC 接到分布式流處理平臺,TiSpark 接到分布式批處理平臺,后面與大數(shù)據(jù)平臺相連, 利用 TiSpark 接 Spark,數(shù)據(jù)同步到HDFS做大數(shù)據(jù)處理,把流和批的加工結(jié)果存到一個統(tǒng)一的終端存儲(OLAP 庫)。通過數(shù)據(jù)中臺的數(shù)據(jù)服務(wù)層對外屏蔽存儲的差異,如果是近實(shí)時的數(shù)據(jù)分析的交易會直接把流量打到TiFlash上,如果是需要加工后的數(shù)據(jù)就訪問OLAP 庫。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

深入合作,助推金融場景創(chuàng)新

最后回顧一下浙商銀行與 TiDB 合作的歷程,從分布式關(guān)系型數(shù)據(jù)庫開始嘗試 TiDB,逐步擴(kuò)展到數(shù)據(jù)貼源存儲和 ODS 的監(jiān)測,消除數(shù)據(jù)孤島,推進(jìn)數(shù)據(jù)共享。接著浙商銀行將 TiDB 應(yīng)用到全行的數(shù)據(jù)中臺,用實(shí)時的數(shù)據(jù)驅(qū)動業(yè)務(wù)。我們希望 TiDB 為數(shù)據(jù)服務(wù)打好堅(jiān)實(shí)的基礎(chǔ),把業(yè)務(wù)服務(wù)和數(shù)據(jù)緊密結(jié)合形成一個閉環(huán),最終落地到浙商銀行的金融創(chuàng)新場景,如關(guān)鍵交易業(yè)務(wù)、區(qū)塊鏈等。

TiDB 助力浙商銀行數(shù)字化轉(zhuǎn)型

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )