在日前結(jié)束的“讓業(yè)務(wù)用起來·觀遠(yuǎn)數(shù)據(jù)2022智能決策峰會(huì)暨產(chǎn)品發(fā)布會(huì)”云上直播中,數(shù)禾科技CDO王冠軍分享了“金融科技場(chǎng)景下的敏捷BI實(shí)踐”。王冠軍總結(jié)了 BI 建設(shè)的訴求與動(dòng)機(jī),以及 BI 工具框架搭建的分析方法論,并分享了數(shù)禾科技攜手觀遠(yuǎn)數(shù)據(jù),建立 BIOps 打造一流 BI 團(tuán)隊(duì),實(shí)現(xiàn)數(shù)據(jù)分析民主化和數(shù)據(jù)驅(qū)動(dòng)決策的歷程。
BI 建設(shè)的訴求與動(dòng)機(jī)
數(shù)禾科技成立于 2015 年的 8 月,以大數(shù)據(jù)和技術(shù)為驅(qū)動(dòng),為金融機(jī)構(gòu)提供高效智能零售金融解決方案,服務(wù)銀行、信托、消費(fèi)金融公司、保險(xiǎn)、小貸公司等持牌金融機(jī)構(gòu)。數(shù)禾科技通過自主開發(fā)的消費(fèi)信貸產(chǎn)品,連接金融機(jī)構(gòu)與普羅大眾,賦能金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型,迎接中國(guó)消費(fèi)升級(jí)的大潮。
數(shù)禾科技 BI 建設(shè)路程與業(yè)務(wù)息息相關(guān)。對(duì)于業(yè)務(wù)而言,BI 功能有幾個(gè)關(guān)鍵詞。
?提效:幫助業(yè)務(wù)能夠更方便地獲得數(shù)據(jù),找到數(shù)據(jù)背后的業(yè)務(wù)含義,效率是第一位。
?自助:從原來的專業(yè) IT 團(tuán)隊(duì)者做交付,轉(zhuǎn)化為業(yè)務(wù)團(tuán)隊(duì)自助式完成訴求。
?交互友好:在任何時(shí)間、任何地點(diǎn)以各種方式,都能夠通過 BI 做業(yè)務(wù)洞察、業(yè)務(wù)探測(cè),例如手機(jī),Email,釘釘、企業(yè)微信、飛書等工作軟件。
?共享與協(xié)作:BI 的結(jié)果要能夠共享,讓不同的業(yè)務(wù)職能團(tuán)隊(duì)做協(xié)作,實(shí)現(xiàn)更好的協(xié)同。
?流程簡(jiǎn)化:BI 體系能夠簡(jiǎn)化多方協(xié)作的流程,以更平民化的方式獲得數(shù)據(jù)洞察的能力。
?快速洞察:快速取數(shù)以及拿到數(shù)據(jù)后,要能快速分析出業(yè)務(wù)結(jié)果。
?嵌入業(yè)務(wù)流程:將 BI 的能力和業(yè)務(wù)流程結(jié)合,邊看邊干,邊分析邊執(zhí)行。
?目標(biāo)跟隨:通過歷史數(shù)據(jù)設(shè)定 KPI 目標(biāo)、戰(zhàn)略目標(biāo)等執(zhí)行目標(biāo),通過 BI 管理目標(biāo)結(jié)果與過程,并優(yōu)化戰(zhàn)術(shù)策略以及調(diào)整戰(zhàn)術(shù)方向。
?績(jī)效改進(jìn):設(shè)定業(yè)務(wù)目標(biāo)時(shí)匹配多種方案,可以通過BI做提前預(yù)測(cè),找到更優(yōu)化的策略。
?可執(zhí)行決策:BI 最重要的工作是產(chǎn)生洞察,洞察的目的是決策,可落地的決策才是最有價(jià)值。
在大數(shù)據(jù)時(shí)代下,數(shù)禾科技對(duì)數(shù)據(jù)與技術(shù)都有了更高的要求。每個(gè)地方都可以產(chǎn)生數(shù)據(jù),產(chǎn)生數(shù)據(jù)的結(jié)構(gòu)都是不一樣的,異構(gòu)數(shù)據(jù)源的統(tǒng)一集成是重點(diǎn);其次是數(shù)據(jù)的準(zhǔn)備和處理,可以幫助高效加工數(shù)據(jù),做高質(zhì)量的洞察;數(shù)據(jù)實(shí)時(shí)性是當(dāng)前非常重要的要求,可以對(duì)后續(xù)執(zhí)行進(jìn)行靈活性調(diào)整;未來對(duì)于更高效的數(shù)據(jù)探索,在全量數(shù)據(jù)進(jìn)行快速的交互式查詢,對(duì)大數(shù)據(jù)量的可視化工作,以及一些高級(jí)分析算法,都是目前努力的方向。
王冠軍表示,“底層支撐技術(shù)需要跟 BI 去做結(jié)合,提供更高效、合規(guī)、安全的洞察服務(wù)基座。”技術(shù)的主要挑戰(zhàn)在大數(shù)據(jù)體系方面的分布式存儲(chǔ)、分布式計(jì)算流批一體以及 OLAP 在線分析處理、安全處理、數(shù)據(jù)編織等等。
除去業(yè)務(wù)的訴求和數(shù)據(jù)、技術(shù)的挑戰(zhàn), BI 工具的功能特點(diǎn)發(fā)生了重大升級(jí),王冠軍總結(jié)了以下幾點(diǎn):
?移動(dòng)優(yōu)先,移動(dòng)互聯(lián)網(wǎng)時(shí)代,BI 無論是在手機(jī)、平板電腦,還是在筆記本上,都可以快速獲得訪問能力;
?即時(shí)響應(yīng),報(bào)表的加載的時(shí)間,應(yīng)該在秒級(jí)就能把結(jié)果呈現(xiàn)出來;
?交互增強(qiáng),被動(dòng)接收新的 BI 信息、成果以及洞察結(jié)論。例如不再點(diǎn)擊鏈接,而是與機(jī)器人交互,獲知GMV等信息;
?可嵌入,把 BI 嵌入到工作流程里,邊看邊干,邊分析邊執(zhí)行,縮短洞察到?jīng)Q策到執(zhí)行環(huán)節(jié);
?敏捷自助,唯有自助才能夠?qū)崿F(xiàn)敏捷;
?增強(qiáng)分析,把 AI 機(jī)器學(xué)習(xí)的算法能夠放進(jìn) BI 里,不局限于傳統(tǒng)分析框架。
此外,安全合規(guī)、實(shí)時(shí)數(shù)據(jù)、云原生、可觀測(cè)性、7*24可訪問、BIOps等等也是數(shù)禾科技關(guān)注目標(biāo)。
將數(shù)據(jù)融入 BI ,將 BI 融入業(yè)務(wù),數(shù)禾科技構(gòu)建了自己的“數(shù)據(jù)賦能飛輪”。先從業(yè)務(wù)流程開始,承載數(shù)字化業(yè)務(wù),業(yè)務(wù)流程累積沉淀出數(shù)據(jù),采集這些數(shù)據(jù)放在大數(shù)據(jù)平臺(tái)上做洞察,基于洞察結(jié)果,制定一系列策略,并定計(jì)劃行動(dòng),最后這些行動(dòng)再落實(shí)在業(yè)務(wù)流程里。那么新的業(yè)務(wù)流程或者說這個(gè)變更過的業(yè)務(wù)流程,又開始運(yùn)轉(zhuǎn)起來,如此循環(huán)不斷產(chǎn)生了螺旋式上升的飛輪效應(yīng)。
這其中“洞察”環(huán)節(jié)的框架是重中之重。有了數(shù)據(jù),下一步是分析洞察,可以分成四大塊,分別是統(tǒng)計(jì)分析、診斷分析、預(yù)測(cè)分析、規(guī)范分析。
?統(tǒng)計(jì)分析主要解決兩個(gè)問題,第一,對(duì)于過去發(fā)生的事情,在明細(xì)層面還原業(yè)務(wù);第二,對(duì)過去數(shù)據(jù)進(jìn)行匯總統(tǒng)計(jì)產(chǎn)出報(bào)告,知曉發(fā)生了什么。
?診斷分析階段,基于報(bào)告要做診斷分析找到原因。
?預(yù)測(cè)分析開始預(yù)測(cè)未來可能發(fā)生什么,通過數(shù)據(jù)能夠給到預(yù)判,輔助業(yè)務(wù)制定策略。
?規(guī)范性分析的核心目標(biāo)是事中控制,及時(shí)制定最優(yōu)策略并快速執(zhí)行,讓數(shù)據(jù)洞察落地。第一要干預(yù),對(duì)業(yè)務(wù)問題的及時(shí)干預(yù)止損,第二就做控制,實(shí)時(shí)感知業(yè)務(wù)狀態(tài),控制在合理邊界范圍內(nèi)。
為了支撐以上分析功能,有一些傳統(tǒng)的經(jīng)典分析方法,也有一些目前比較流行的增長(zhǎng)分析手段。無論是經(jīng)典分析方法論還是先進(jìn)的增強(qiáng)分析,都需要 BI 能力支撐。比如,通過數(shù)據(jù)指標(biāo)統(tǒng)計(jì)進(jìn)行業(yè)務(wù)監(jiān)控,感知業(yè)務(wù)當(dāng)前的運(yùn)行狀態(tài),感知后進(jìn)行預(yù)警,一旦超過閾值,及時(shí)進(jìn)行歸因定位,通知相關(guān)人員。最后在新策略制定過程中,要有模擬仿真,通過歷史數(shù)據(jù)做歷史回測(cè)。在模擬仿真的歷史回測(cè)上得到是最優(yōu)解后,再去在生產(chǎn)環(huán)境里驗(yàn)證,有效節(jié)省相關(guān)成本。
BIOps 建設(shè)實(shí)踐分享
DevOps 和 Data Ops 實(shí)現(xiàn)了開發(fā)運(yùn)營(yíng)以及數(shù)據(jù)分析過程中,降本增效的作用。借鑒該理念,數(shù)禾科技總結(jié)了一些經(jīng)驗(yàn),制定出一套 BIOps 的實(shí)踐經(jīng)驗(yàn)。
BI 工作環(huán)境分成兩個(gè),沙箱/分析環(huán)境和生產(chǎn)環(huán)境。沙箱/分析環(huán)境里,提供一整套數(shù)據(jù)的訪問和透視能力。把數(shù)據(jù)集成到沙箱/分析環(huán)境后,數(shù)據(jù)分析師業(yè)務(wù)人員可以自助通過觀遠(yuǎn)數(shù)據(jù) SmartETL等工具進(jìn)行簡(jiǎn)單的數(shù)據(jù)清洗工作。之后可以應(yīng)用一些分析方法論,對(duì)各個(gè)維度的數(shù)據(jù)進(jìn)行探索,甚至做一些可視化圖表、分析看板,觀察效果以及結(jié)論。
當(dāng)這條分析方法以及洞察結(jié)論形成了相對(duì)固定的套路之后,業(yè)務(wù)人員就會(huì)把整個(gè) BI 的分析流水線上線發(fā)布到生產(chǎn)環(huán)境里去。生產(chǎn)環(huán)境里的數(shù)據(jù)源來自于大數(shù)據(jù)和數(shù)據(jù)中臺(tái),把這些數(shù)據(jù)抽取到 BI 平臺(tái)里做數(shù)據(jù)加工,生成報(bào)表,發(fā)布到訂閱用戶使用。通過類似于 DevOps 的流程,極大簡(jiǎn)化了數(shù)據(jù)分析探索,以及洞察交付的實(shí)踐。相當(dāng)于把沙箱/分析環(huán)境里,業(yè)務(wù)人員自助發(fā)現(xiàn)的業(yè)務(wù)數(shù)據(jù)規(guī)律進(jìn)行了更廣泛的共享和使用。
對(duì)于這樣一套環(huán)境,BI 管理團(tuán)隊(duì)需要維護(hù)好的整個(gè) BI 平臺(tái)。對(duì)每天跑的平臺(tái)任務(wù)的運(yùn)維,監(jiān)控資源的消耗,以及治理BI作業(yè)。平臺(tái)中的儀表板、報(bào)表,做好生命周期管理,跟蹤治理效果如何,是否實(shí)現(xiàn)了某個(gè)業(yè)務(wù)的降本增效。王冠軍表示,“所有的工作都是數(shù)據(jù)驅(qū)動(dòng),也是得益于觀遠(yuǎn)數(shù)據(jù) BI 平臺(tái),提供了很多的 BI 元數(shù)據(jù),幫助到我們制定精細(xì)化的管理策略。”
建設(shè)一流BI團(tuán)隊(duì)
打造數(shù)據(jù)文化
有了工具,有了流程,后續(xù)是讓整個(gè)公司的人員都用起來,所有人都應(yīng)該基于數(shù)據(jù)做決策。這就對(duì)企業(yè)的數(shù)字文化建設(shè)提出了要求。兩年前引入觀遠(yuǎn)數(shù)據(jù)之后,數(shù)禾科技一直在不斷打造數(shù)據(jù)文化體系,王冠軍介紹了工作開展的三點(diǎn)思路和方向。
首先做培訓(xùn)和社區(qū)。BI 能夠干什么?能夠幫助到業(yè)務(wù)解決什么問題?一系列問題的解決方案是什么?能解決日常工作中的痛點(diǎn)是什么?這些都是需要和業(yè)務(wù)同事明確的。同時(shí)也會(huì)引進(jìn)一些前沿的分析方法論,應(yīng)用在日常工作當(dāng)中,讓業(yè)務(wù)真正體會(huì)到數(shù)據(jù)和技術(shù)能夠帶來的變化。之后在各個(gè)業(yè)務(wù)團(tuán)隊(duì)里面培養(yǎng)種子用戶,形成社區(qū)效應(yīng),做定期分享,形成自下向上的體系。
其次是精益運(yùn)營(yíng)。作為 BI 管理團(tuán)隊(duì),除了 BIOps 之外,數(shù)禾科技使用了 PDCA 框架貫穿在日常工作中。每個(gè)季度把所有的業(yè)務(wù)痛點(diǎn)拎出來分類,設(shè)定相關(guān)的解決方案和改進(jìn)機(jī)制,不斷循環(huán),使得業(yè)務(wù)團(tuán)隊(duì)對(duì)BI平臺(tái)信賴度持續(xù)提升。
最后是科學(xué)管理的手段。不僅依賴于人去管理整個(gè)系統(tǒng)運(yùn)營(yíng),也需要自動(dòng)化工具來運(yùn)營(yíng)。包括自動(dòng)化的工具的研發(fā),平臺(tái)性能監(jiān)控機(jī)制,以及多種數(shù)據(jù)架構(gòu)方案。通過現(xiàn)有技術(shù)手段精益求精,讓數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)文化真真正正在數(shù)禾科技落地生根。
引入觀遠(yuǎn)數(shù)據(jù)已經(jīng)兩年,王冠軍表示,“數(shù)禾科技已經(jīng)實(shí)現(xiàn)了數(shù)據(jù)分析民主化和數(shù)據(jù)驅(qū)動(dòng)的決策。”在數(shù)禾科技,入職即開通觀遠(yuǎn)賬號(hào),目前 90% 以上的員工都在使用觀遠(yuǎn)BI。目前總共有 5000 多張報(bào)表。
從活躍度來看,數(shù)禾科技兩年多累計(jì)訪問約 360 萬次,每天訪問量在 5.8 萬次左右。數(shù)禾科技也在持續(xù)改進(jìn)整個(gè) BI 平臺(tái)體系,當(dāng)前 SLA 非常高,大于99.99%,系統(tǒng) 0 卡頓。從效率看,平均報(bào)表渲染加載時(shí)長(zhǎng) 1.5 秒,快速渲染加載率 95%。因此數(shù)禾科技用戶在觀遠(yuǎn)BI平臺(tái)上交互體驗(yàn)以及響應(yīng)都非常好,樂意使用觀遠(yuǎn)BI完成數(shù)據(jù)分析以及洞察。
數(shù)禾科技和觀遠(yuǎn)數(shù)據(jù)一起合作兩年多的時(shí)間內(nèi),把數(shù)據(jù)分析民主化這件事情真正的落地了,期待雙方的進(jìn)一步合作,共創(chuàng)更好的 BI 最佳實(shí)踐,為整個(gè)行業(yè)做出更多貢獻(xiàn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
