新一代分布式網貸系統(tǒng)

近年來互聯網銀行、P2P 平臺如雨后春筍般地涌現,隨著其規(guī)模不斷擴大,已經開始威脅到商業(yè)銀行傳統(tǒng)個人信貸業(yè)務的市場地位,使得商業(yè)銀行不得不采取措施應對這一新的市場競爭。金融行業(yè)早已非幾十年前的壟斷行業(yè),線下信貸市場競爭激烈已近飽和,互聯網, 信貸的興起對商業(yè)銀行而言不僅是競爭更是機遇。然而隨著互聯網個人信貸的發(fā)展,其所面臨的問題和以及暴露的風險也接踵而來。自 2017 年下半年以來,監(jiān)管部門出臺《關于規(guī)范整頓“現金貸”業(yè)務的通知》、《小額貸款公司網絡小額貸款業(yè)務風險專項整治實施方案》等監(jiān)管政策。彰顯了國家對互聯網個人信貸市場的重視,市場也變得更加規(guī)范,商業(yè)銀行在這個階段介入將是良好的機遇。

互聯網信貸市場潛力巨大,在互聯網金融的大背景下,商業(yè)銀行個人信貸業(yè)務完全可以向線上遷移,并且實現線上和線下的有效結合,這種結合將大幅提高商業(yè)銀行的信貸收益。同時現階段商業(yè)銀行互聯網個人信貸的發(fā)展有一種創(chuàng)新方式,就是金融機構和優(yōu)質平臺開展聯合貸款,通過合作共贏的方式來擴大產品規(guī)模。

一、貸款業(yè)務模式現狀

貸款類業(yè)務主要涉及兩大類業(yè)務場景:

l聯機交易場景:面向具體用戶端的單筆交易請求,對單筆交易的響應時間有較高的要求;

l批量任務場景:面向金融機構內部的批量業(yè)務處理,屬于計算密集型的工作,對處理機制及系統(tǒng)資源有較高的要求。

在商業(yè)銀行將信貸業(yè)務由線下向線上演進的過程,給 IT 系統(tǒng)建設帶來了很大的挑戰(zhàn),對數據量和實效性要求越來越高,諸如如下場景:

助貸業(yè)務的實時線上化(圖1)

聯合貸業(yè)務的實時線上化(圖2)

在以上業(yè)務場景中,各商業(yè)銀行通過與互聯網銀行或者第三方支付系統(tǒng)合作,采用業(yè)務流程全線上技術,按照約定的資金比例,基于雙方共同認可的規(guī)則審批制度,為符合特定準入標準的客戶群,提供個人信用貸款,用于其生產經營周轉,互聯網銀行或者第三方支付系統(tǒng)負責組織、發(fā)展客戶,進行客戶的貸款開立、發(fā)放、批量扣款等貸款生命周期內的業(yè)務管理,包含:

系統(tǒng)間數據交換:網上直銷 、信貸系統(tǒng)(額度扣減、釋放)、財務管理系統(tǒng)數據歸集等

系統(tǒng)內資金清算:批量代發(fā)帶扣(房貸、信用卡還款、工資代發(fā)等);

內部業(yè)務處理:結息、計提等;

對賬相關處理:一般和第三方系統(tǒng)對賬等;

數據平臺準備數據:ETL、數據倉庫、大數據平臺等;

相關報表:合規(guī)報表、監(jiān)管報送、領導駕駛艙、審計財務報表等;上述各業(yè)務環(huán)節(jié)的數據量在快速增長,要想處理的又好又快,就要涉及到分布式、緩存等新一代技術架構的建設和升級,應對業(yè)務發(fā)展對高吞吐量、自動化、健壯性、可靠性、擴展性的技術支撐能力的要求。

二、傳統(tǒng)技術架構

如何打造一個高可用、高性能、易擴展、可伸縮且安全的,且能夠支撐線上個貸業(yè)務平穩(wěn)、健康、可持續(xù)開展的應用系統(tǒng)迫在眉睫,傳統(tǒng)銀行 IT 人才的知識結構也多偏向 “IOE” 技術路線,更換技術路線對他們的知識結構也是一個挑戰(zhàn)。

貸款系統(tǒng)在建設之初就要求系統(tǒng)能夠快速準確完成大批量的數據導入、導出和業(yè)務邏輯計算,自動執(zhí)行業(yè)務邏輯處理,希望批處理任務能夠自動正確運行,最大限度減少人工干預,能夠自動完成批量任務,遇到故障能夠有完備的監(jiān)控和告警機制,應用要足夠健壯,第三方渠道過來的網貸數據經常有不規(guī)整的數據,客戶期望不會因為數據錯誤或者無效數據導致程序崩潰和批處理失敗,要求系統(tǒng)具備極強的容錯能力,同時要求系統(tǒng)足夠可靠,方便進行監(jiān)控、跟蹤和日志分析,靈活跳過、重試和重啟,最后要具備靈活擴展性,網貸業(yè)務增長迅速,業(yè)務增長帶有不可預知性,希望根據業(yè)務實際增長,動態(tài)進行彈性擴展。

經分析,發(fā)現銀行傳統(tǒng)架構有明顯的局限性,滿足不了貸款業(yè)務的互聯網化的發(fā)展實際要求。

1、應用架構

傳統(tǒng)商業(yè)銀行的架構大多為集中式,硬件資源有很多還是IBM的主機和小型機。應用多為單體應用,即煙囪式開發(fā)模式,這種模式弊端很明顯:

系統(tǒng)間集成、交互和對接成本高昂:“煙囪”系統(tǒng)連接需要不同技術團隊間的協(xié)作,有很大的協(xié)調、溝通成本。不同系統(tǒng)架構、技術各異,還會導致五花八門的對接方式,成本高。

業(yè)務變化快、靈活性差:煙囪模式下,一個業(yè)務變化可能會涉及多個系統(tǒng)重復修改,系統(tǒng)間接口重新調整。隨著各系統(tǒng)不斷積累,邏輯越來越復雜,系統(tǒng)修改和接口調整會越來越難、代價越來越大。

抑制業(yè)務創(chuàng)新:每次創(chuàng)新都面臨大量重復建設,在新開業(yè)務和創(chuàng)新項目嘗試時,不得不面臨較大的前期投入。一旦方向出錯,損失巨大。

擴展性差:集中式應用架構,由于應用端是單點,如果出現硬件故障,系統(tǒng)完全不能使用,另外,如果系統(tǒng)的負載已經達到這臺機器的上限時,很難通過快速擴展實現處理能力的提升,單純的硬件資源的提升不僅成本比較高,并且還有上限。

2、數據庫架構

銀行關鍵業(yè)務系統(tǒng)數據庫多為單機數據庫,比如 Oracle ,DB2等,也有部分非核心業(yè)務系統(tǒng)基于 MySQL 去構建,在傳統(tǒng)數據庫架構上也存在不少挑戰(zhàn):

擴展性差:集中式數據庫的數據處理能力有限,尤其是涉及超過幾千萬甚至上億的數據時,數據操作的響應時間會大幅下降,又不能通過增加機器的方式來解決。

成本高昂:隨著系統(tǒng)的演進,性能指標不斷發(fā)生變化,需要不斷采購 CPU、內存、存儲等資源滿足業(yè)務發(fā)展,越往后成本會越高,并且即使增加了物理資源也不一定可以解決問題。

運維管理復雜:不斷發(fā)展的大規(guī)模系統(tǒng)需要不斷維護、快速迭代和優(yōu)化。單機數據庫運維變得越來越復雜。無法進行快速部署、升級、擴容和維護。

數據庫國產化選型困難:缺少專業(yè)團隊、經驗外,更重要的是來自國內產品成熟度風險。傳統(tǒng)銀行個貸業(yè)務系統(tǒng)業(yè)務品種多、業(yè)務邏輯復雜,對實施廠商來說技術實力要求非常高。

三、分布式技術架構

分布式架構可以在系統(tǒng)的各個層面都具備橫向擴展的能力,當系統(tǒng)出現瓶頸的時候,都可以通過增加部署節(jié)點的方式快速解決,可以很好的解決互聯網貸款面臨的高并發(fā)、大數據量的挑戰(zhàn)。如果要用分布式的理念對銀行的聯機交易系統(tǒng)進行架構升級,需要涉及以下多個維度,以形成完整的分布式體系:

應用分布式:通過對業(yè)務功能進行拆分,使業(yè)務系統(tǒng)更加靈活,同時每部分多實例運行,大幅提升系統(tǒng)的可用性及處理能力。

數據分布式:通過對數據的分布式存儲及訪問,提升大數據量表的訪問能力,增加數據庫整體運行資源。

分布式緩存的合理使用:降低數據庫的訪問次數,提升單個服務的響應速度,間接提升系統(tǒng)整體處理能力。

分布式事務:針對不同業(yè)務場景,提供切實可落地的方案,解決跨服務、跨數據節(jié)點的事務一致性問題。

分布式調度:協(xié)調多個分布式節(jié)點協(xié)同工作,有效控制日終處理時間。

上面提到的應用分布式目前主要以微服務的方式體現,已經形成一個獨立的領域;數據層的分布式也是一個專項領域,尤其是以分布式數據庫為代表的解決方案已經成為當前的主要模式。神州信息和 PingCAP (北京平凱星辰科技發(fā)展有限公司)分別在分布式架構和分布式數據庫兩個領域屬于行業(yè)領先水平,并且有多個客戶端的成功案例。

1、應用架構

針對集中式應用架構的缺陷,神州信息自研了分布式技術平臺Sm@rtGalaxy,其是基于對銀行業(yè)務的深入理解,結合業(yè)界最新發(fā)展趨勢,形成的一套完整的面向金融行業(yè)的分布式技術體系。在該體系下,系統(tǒng)的各個層面(服務、數據、緩存及計算)都具有分布式的特點,當某層成為瓶頸時,就可以利用分布式的特性,通過增加節(jié)點的方式進行解決,為系統(tǒng)的可用性、擴展性及性能等需求提供可靠的技術保障。Sm@rtGalaxy具有如下特點:

完整的微服務體系:基于行業(yè)主流的 Spring cloud 構建完整的微服務體系,同時提供對應的開發(fā)平臺支持,實現對應的 DevOps 能力,滿足生產級的要求?；谠撐⒎阵w系,可以快速構建不同領域的微服務,快速應對市場的變化,并可以針對負載的差別做精細化的運維。

輕量級的數據分布式解決方案:在應用架構層的數據分布式存儲及訪問,提供最小代價的數據分布式能力,可對接常用的 Oracle、DB2、MySQL 數據庫,以及最新的分布式數據庫 TiDB 等。

行業(yè)領先的分布式事務處理機制:提供多種分布式事務的處理機制,應對不同的業(yè)務場景,尤其是默認的 SDT 模式對業(yè)務系統(tǒng)幾乎沒有侵入,就可以實現跨微服務和跨數據庫的分布式事務,解決了分布式事務很難落地的行業(yè)難題。

無侵入的分布式緩存訪問機制:采用注解的方式完成緩存跟數據庫的配合操作,對業(yè)務系統(tǒng)幾乎無侵入;并且對讀寫交叉及并發(fā)寫緩存可能造成的臟數據有完整的控制機制,其大幅提升金融系統(tǒng)對緩存的使用率,對整體的處理能力有進一步的提升。

開箱即用的典型業(yè)務場景支持:在上述分布式體系之上提供了一套面向金融的典型的業(yè)務場景的應用框架,包括典型的聯機交易、日間批量及日終批處理等的支撐,開發(fā)人員只需要在其上開發(fā)具體的業(yè)務邏輯就可以快速構建一套分布式特性的業(yè)務系統(tǒng)。

金融場景深度定制的分布式調度體系:采用分布式的理念讓更多的應用服務器和數據庫服務器參與到運行體系,以及對大數量表在內部進行自動分段處理,大幅降低日終批處理的執(zhí)行時間。

2、數據庫架構

TiDB 數據庫是國內廠商 PingCAP (北京平凱星辰科技發(fā)展有限公司) 自研的開源分布式關系數據庫系統(tǒng)。該數據庫是基于 Google Spanner/F1 架構的設計思想完全自主實現的最新一代的分布式關系數據庫,具備一鍵見水平伸縮、分布式事務、強一致多副本數據庫安全、云原生、高度兼容MySQL 協(xié)議和生態(tài)等政要的分布式數據庫特性,為金融類數據分布式處理提供了可靠的保障,具體特性如下:

水平彈性伸縮:在數量動態(tài)增長和業(yè)務動態(tài)回收資源時,只需要通過增加或者減少機器來實現分布式數據庫系統(tǒng)的架構,滿足業(yè)務使用需求,應用層可以不用關心容量和吞吐量等問題。

分布式事務:支持完整的 ACID 事務,應用可以把 TiDB 當成一個單機的 RDMS 來使用,并且提供金融級別的可靠性保證。

高可用數據安全:提供強一致的 Raft 算法實現多副本存儲,跨數據中心的數據安全保證,任意一個數據副本或數據中心宕機,均可快速自動的進行副本內接管,無需人工接入,確保數據服務的持續(xù)性,以及準確性。

實時數據分析:通過內置的列式數據副本,以及與 Spark 的協(xié)議兼容,在海量數據存儲下,提供同一套數據庫內按照 SQL語句級別的 OLTP 與 OLAP 數據處理,提供了快速的在線數據分析能力。

高度兼容 MySQL:協(xié)議層完全兼容單機 MySQL 數據庫,絕大多數金融場景下無需修改業(yè)務代碼,遷移成本極低,同時可無縫接入 MySQL 周邊生態(tài)工具。

四、典型合作案例

北京某城商行,也在積極的探索這種新一代分布式系統(tǒng)的建設,通過網聯、個人無卡支付、網貸等多個系統(tǒng)的建設后,基本形成了以 Sm@rtGalaxy 和 TiDB 的全行級分布式技術體系,也快速推動了行內的新業(yè)務的拓展,為數字化轉型帶來強有力的技術活力和高效化服務。

網貸系統(tǒng)架構圖(圖3)

在分布式數據庫的技術調研和選型上,該銀行調研了業(yè)內原生分布式主流產品,由于閉源、存儲共享等原因,在業(yè)務適配和兼容性上存在較大的適配兼容問題;調研了傳統(tǒng)數據庫分庫分表方案,由于在業(yè)務設計和對跨庫的分布式事務的能力要求較高;最終將技術方案定位在開源NewSQL數據庫領域,經過嚴謹的技術驗證,首次嘗試采用開源分布式數據庫系統(tǒng) TiDB 作為網貸系統(tǒng)應用在面向互聯網業(yè)務的場景的適配,并進行了基于分布式兼容性和業(yè)務模型的優(yōu)化,順利完成了網貸系統(tǒng)的建設投產,網貸系統(tǒng)綜合考慮選擇 TiDB 的主要考量如下:

與 Sm@rtGalaxy 完全兼容

與微服務應用體系適配完整

應用層與數據庫層雙重分布式事務保證選擇

開箱即用,建設成本低

開源自主可控

代碼完全開源

國內最大的生態(tài)社區(qū)

核心技術國人自研

開放平臺X86、ARM等跨平臺能力

原生分布式 SQL 數據庫

事務型數據庫

無需分庫分表,應用高度透明

豐富的應用開發(fā)語言/ORM/Driver支持

提供多種異構同遷移工具

金融級高可靠性保障

無單點設計

數據強一致性

天然的多數據中心模式

彈性擴展能力強

在線橫向擴展容量/性能線性提升

全自動化的數據重平衡和調度

目前網貸業(yè)務系統(tǒng)成功上線投產,已經實現授信客戶數近千萬,發(fā)放貸款突破千億規(guī)模,日均渠道數據處理超百萬筆,賬務交易日處理量數十萬筆,日批處理量達百萬筆,通過對基礎資源的彈性擴所容滿足業(yè)務增長需求,現有資源完全滿足其未來五到十年線上網貸業(yè)務發(fā)展需求。

該銀行新網貸業(yè)務系統(tǒng)建設,使得分布式架構在互聯網應用場景下的探索取得了良好的成效和大量的實戰(zhàn)經驗,創(chuàng)新探索出了一條建設金融級分布式應用與分布式數據庫的整體實施方案,為行內基于 AS400 的核心系統(tǒng)分布式下移提供了一條切實可行的建設路徑,目前已經在進行部分核心業(yè)務的下移工作。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。