10月30日，袋鼠云成功舉辦了以“AI驅(qū)動，數(shù)智未來”為主題的2024年秋季發(fā)布會。大會深度探討了如何憑借 AI 實現(xiàn)新的飛躍，重塑企業(yè)的經(jīng)營管理方式，加速數(shù)智化進(jìn)程。
作為大會的重要環(huán)節(jié)之一，袋鼠云數(shù)棧產(chǎn)品經(jīng)理潮汐帶來了題為《指標(biāo)+AI+BI：構(gòu)建數(shù)據(jù)分析新范式》的精彩演講，深入剖析了當(dāng)前企業(yè)在進(jìn)行數(shù)據(jù)分析時所面臨的挑戰(zhàn)，并分享了袋鼠云數(shù)棧在此領(lǐng)域內(nèi)的最新成果和解決方案。(演講課件http://ygpos.cn/uploadfile/pic2020/2024/1105/2024110510200152G style="text-align: center;">傳統(tǒng)數(shù)據(jù)分析方案的局限性
會議伊始，潮汐首先回顧了傳統(tǒng)數(shù)據(jù)分析方案的架構(gòu)。傳統(tǒng)方案通常采用“數(shù)倉+BI”的方式，即業(yè)務(wù)方提出數(shù)據(jù)需求后，經(jīng)過數(shù)據(jù)產(chǎn)品經(jīng)理的分析和排期，由數(shù)據(jù)開發(fā)人員將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中統(tǒng)一抽取到數(shù)倉進(jìn)行分層加工。加工后的表吐出到業(yè)務(wù)庫，由BI分析師在BI工具中進(jìn)行數(shù)據(jù)接入、數(shù)據(jù)模型搭建，并基于這些模型通過組件配置和分析交互設(shè)置形成數(shù)據(jù)報表。最終，業(yè)務(wù)方可以直接通過這些報表共享或嵌入到業(yè)務(wù)系統(tǒng)中來進(jìn)行數(shù)據(jù)分析與監(jiān)控。
然而，這種模式存在幾個顯著的問題：
高成本與長周期：BI工具往往具有一定的上手門檻，對于不熟悉技術(shù)或工具的業(yè)務(wù)用戶來說，很難深入使用。復(fù)雜的分析任務(wù)嚴(yán)重依賴于數(shù)據(jù)開發(fā)人員和分析師的專業(yè)技能，導(dǎo)致需求交付時間周期長，溝通調(diào)整的成本也隨之增加。
數(shù)據(jù)一致性難以保證：傳統(tǒng)的BI工具是一個封閉且中心化的平臺，其中的數(shù)據(jù)模型定義(包括度量和維度)與其他數(shù)據(jù)應(yīng)用之間缺乏互通性。所有數(shù)據(jù)分析活動都必須在這個平臺上完成，這造成了跨應(yīng)用分析時指標(biāo)管理不統(tǒng)一、口徑不一致以及流程不規(guī)范的問題。雖然很多企業(yè)在數(shù)倉層面實現(xiàn)了統(tǒng)一的數(shù)據(jù)管理和開發(fā)，但在應(yīng)用層面仍然面臨著“煙囪式”開發(fā)的困境。
靈活性不足：基于傳統(tǒng)BI工具的數(shù)據(jù)分析很大程度上依賴于分析師在創(chuàng)建報表時預(yù)先設(shè)定好的圖表類型、交互方式及分析配置。這意味著，在不同場景下分析數(shù)據(jù)波動的原因時往往沒有辦法直觀快速地得到結(jié)論。
因此，當(dāng)前的市場環(huán)境下，企業(yè)需要一種更高效、低成本的數(shù)據(jù)分析方案。
指標(biāo)+AI，賦能數(shù)據(jù)分析
針對上述痛點，潮汐介紹了當(dāng)前較為流行且有效的解決方案：在數(shù)倉和BI中間架設(shè)配備AI能力的指標(biāo)層。
數(shù)倉處理后的數(shù)據(jù)在指標(biāo)層進(jìn)行統(tǒng)一的數(shù)據(jù)模型構(gòu)建，生成原子指標(biāo)、派生指標(biāo)、復(fù)合指標(biāo)和衍生指標(biāo)。這些指標(biāo)成為后續(xù)包括BI在內(nèi)的所有上層數(shù)據(jù)應(yīng)用的基礎(chǔ)?；谶@種架構(gòu)，數(shù)據(jù)分析不僅兼容傳統(tǒng)BI工具，還衍生出更智能靈活的方式，如指標(biāo)數(shù)據(jù)智能問答和將指標(biāo)封裝成API對業(yè)務(wù)系統(tǒng)提供即時數(shù)據(jù)分析服務(wù)(即Headless BI)。這樣的架構(gòu)總共有四個方面的優(yōu)點：
縮短開發(fā)鏈路：指標(biāo)體系消除了數(shù)據(jù)結(jié)果的二義性問題，不同業(yè)務(wù)使用同一指標(biāo)時無需重復(fù)開發(fā)或校對口徑，從而大大縮短了整體開發(fā)鏈路。
輕量級數(shù)據(jù)分析：通過指標(biāo)API，可以將數(shù)據(jù)分析結(jié)果輕松集成到任意業(yè)務(wù)系統(tǒng)中，使業(yè)務(wù)端能夠以輕量級方式實現(xiàn)個性化的數(shù)據(jù)分析。
實現(xiàn)快速決策：在AI的輔助下結(jié)合行業(yè)和企業(yè)知識庫可以對數(shù)據(jù)異常情況進(jìn)行快速精準(zhǔn)的定位，幫助業(yè)務(wù)方縮短問題排查鏈路，加速決策過程。
低門檻使用：Headless BI幾乎零門檻，適用于大多數(shù)不太復(fù)雜的分析場景，讓業(yè)務(wù)方能夠主動愿意形成業(yè)務(wù)分析與數(shù)據(jù)決策的習(xí)慣，讓數(shù)據(jù)價值更加普及。
從指標(biāo)設(shè)計到數(shù)據(jù)分析實踐全流程
從對新數(shù)據(jù)分析方案的架構(gòu)及優(yōu)勢分析中，可以看出指標(biāo)體系的搭建是其中最為關(guān)鍵的一環(huán)。袋鼠云之前接觸到的很多企業(yè)客戶其實都已經(jīng)做過指標(biāo)體系搭建的嘗試，但是實踐下來碰到很多問題，如指標(biāo)管理成本高、重復(fù)建設(shè)、流程不規(guī)范等。
針對這些問題，袋鼠云數(shù)棧提出了完整的解決方案，基于該解決方案，企業(yè)可以構(gòu)建一套從規(guī)范建立到數(shù)據(jù)分析應(yīng)用的完整流程。
01 指標(biāo)管理規(guī)范的建立
首先，在企業(yè)內(nèi)部需構(gòu)建指標(biāo)管理與加工的流程制度及組織規(guī)范，指標(biāo)管理規(guī)范主要包括指標(biāo)生命周期管理、指標(biāo)層次與分類管理、指標(biāo)定義標(biāo)準(zhǔn)化及指標(biāo)使用管理規(guī)范。
指標(biāo)全生命周期需要確保從業(yè)務(wù)方提出需求開始，到指標(biāo)下線的全過程得到有效管控，整個流程每個環(huán)節(jié)需要定義好輸入輸出物和負(fù)責(zé)人員。
接下來是指標(biāo)層次與分類管理，根據(jù)企業(yè)戰(zhàn)略目標(biāo)、組織及業(yè)務(wù)進(jìn)行自上而下的指標(biāo)分級，可以分為三個等級，指標(biāo)類型可以按加工方式和程度分為原子指標(biāo)、派生指標(biāo)、衍生指標(biāo)、復(fù)合指標(biāo)和自定義指標(biāo)，通過多種類型指標(biāo)的定義，構(gòu)建起有序的指標(biāo)體系。
然后是指標(biāo)元數(shù)據(jù)的定義，指標(biāo)元數(shù)據(jù)一般包括指標(biāo)名稱、編碼、所屬業(yè)務(wù)目錄、計算頻度、計量單位、負(fù)責(zé)人、業(yè)務(wù)口徑等信息，定義好每種元數(shù)據(jù)的填寫要求規(guī)范，發(fā)布前專人審核確保不出現(xiàn)定義內(nèi)容不準(zhǔn)確或不清晰的情況。
最后是指標(biāo)使用管理，設(shè)置公司內(nèi)指標(biāo)共享和權(quán)限管理機制，讓指標(biāo)的使用更加合規(guī)安全。
02 指標(biāo)開發(fā)
在建立規(guī)范后，我們來關(guān)注指標(biāo)的開發(fā)過程。
首先是業(yè)務(wù)分析。指標(biāo)管理方要在了解業(yè)務(wù)的基礎(chǔ)上分析需求、拆解指標(biāo)主題和分類。以零售行業(yè)為例，其數(shù)據(jù)圍繞人、貨、場展開，通過調(diào)研人員、盤點場景，可劃分員工銷售、采購庫存、采購供應(yīng)商等主題，在這些主題下再細(xì)分指標(biāo)，如員工管理主題下有員工流失率、成效率，銷售價格體系中有銷售金額、銷售利潤，由此梳理出存量指標(biāo)和指標(biāo)缺口。
指標(biāo)缺口確定后，開發(fā)人員開始工作。比如開發(fā)統(tǒng)計各城市在微信和支付寶近 7 日電商業(yè)務(wù)銷售金額的指標(biāo)時，先創(chuàng)建電商訂單數(shù)據(jù)模型，找到主表訂單表及關(guān)聯(lián)表，生成電商業(yè)務(wù)銷售明細(xì)原子指標(biāo)(計算邏輯是訂單金額求和，存于電商產(chǎn)品目錄下)，再由此生成各城市電商銷售額派生指標(biāo)(派生維度為城市和商品類型、時間維度為近 7 天、業(yè)務(wù)限定為微信和支付寶渠道)，配置好離線任務(wù)的調(diào)度周期和上游依賴，指標(biāo)數(shù)據(jù)就可定時產(chǎn)出。
03 指標(biāo)應(yīng)用
指標(biāo)完成開發(fā)及數(shù)據(jù)產(chǎn)出后就到了最關(guān)鍵的一環(huán)——指標(biāo)的應(yīng)用。袋鼠云指標(biāo)管理平臺已將 AI 深度融入指標(biāo)多方面多層次的應(yīng)用中。在介紹應(yīng)用前，先看 AI 基礎(chǔ)能力是如何搭建的。數(shù)棧有自己的AI平臺，負(fù)責(zé)所有產(chǎn)品模塊中AI能力的搭建，AI 平臺支持多種主流大模型部署，并對接行業(yè)和企業(yè)知識庫，結(jié)合指標(biāo)平臺業(yè)務(wù)庫的指標(biāo)屬性、指標(biāo)血源等元數(shù)據(jù)構(gòu)成了大模型的數(shù)據(jù)基礎(chǔ)，然后我們就可以在AI平臺上搭建應(yīng)用工作流，來定制指標(biāo)AI應(yīng)用。
目前主要實現(xiàn)的是基于自然語言的指標(biāo)搜索、自然語言轉(zhuǎn)化SQL進(jìn)行自助取數(shù)、指標(biāo)異常歸因分析以及指標(biāo)智能問答及圖表分析這4個方面。
一是智能分析?？梢栽谥笜?biāo)取數(shù)模塊中輸入自然語言，如 “查詢近 10 天用戶對各等級產(chǎn)品的支付金額和支付訂單數(shù)，支付金額≥15”，平臺調(diào) AI 接口解析轉(zhuǎn)換為取數(shù)規(guī)則，執(zhí)行后可得結(jié)果表，用戶可下載分析。在指標(biāo)看板頁面，可以按業(yè)務(wù)主題新建看板，輸入自然語言描述想看到的指標(biāo)內(nèi)容，平臺經(jīng)過分析就可以自動生成預(yù)制格式的圖表，然后在預(yù)生成的圖表上進(jìn)行微調(diào)得到一張完整的看板，從而縮短看板配置時間。
二是歸因分析?；谥笜?biāo)目標(biāo)樹或看板異常數(shù)據(jù)，可層層挖掘異常根因并制訂策略。如公司收入下滑，從指標(biāo)樹層層展開發(fā)現(xiàn)是銷售額下滑的原因，7 月數(shù)據(jù)下降明顯，進(jìn)一步下鉆得到7 月第二周到第三周波動異常，平臺結(jié)合商品類型、城市和渠道維度計算歸因值，發(fā)現(xiàn)商品類型的關(guān)聯(lián)值較大，對商品類型中的值進(jìn)行分析看到手機類銷售額下滑比較明顯，結(jié)合市場情況可知競品友商活動影響。
三是智能搜索及對話式指標(biāo)分析 ChatBI。在指標(biāo)的智能問答界面用戶可以用自然語言進(jìn)行指標(biāo)搜索，智能助理會根據(jù)你的描述給出最匹配的指標(biāo)清單以及每個指標(biāo)的基礎(chǔ)信息，點擊指標(biāo)可查看關(guān)鍵數(shù)據(jù)，對異常點進(jìn)一步分析可得到原因和關(guān)聯(lián)指標(biāo)排查方向。這種以用戶問題為導(dǎo)向，圍繞問題給出答案，并進(jìn)行關(guān)鍵因素分析和引導(dǎo)的數(shù)據(jù)分析方式，與傳統(tǒng)讓用戶在預(yù)制報表里自行尋找答案的方式相比，無疑能夠大幅縮短問題排查路徑，使問題的解決更加聚焦、高效。
某銀行指標(biāo)管理分析實踐案例
某大型銀行在購買數(shù)棧指標(biāo)平臺前，已經(jīng)進(jìn)行了指標(biāo)體系的梳理和搭建，但在實際應(yīng)用中遇到了以下幾個主要問題：
指標(biāo)定義不一致：不同業(yè)務(wù)線存在很多指標(biāo)名稱相同但定義不同的情況。例如，“一般性存款”指標(biāo)在監(jiān)管口徑中不包括財政性存款，但在人行口徑中則包括;績效考核中不包含保險公司存放款項，而人行口徑則包含。這導(dǎo)致了數(shù)據(jù)解釋和應(yīng)用上的混亂。
指標(biāo)重復(fù)構(gòu)建：多個金融業(yè)務(wù)中存在相同的指標(biāo)重復(fù)構(gòu)建，如“客戶人行征信指標(biāo)”在零售金融、公司金融和普惠金融業(yè)務(wù)中都有獨立構(gòu)建，沒有實現(xiàn)共享，導(dǎo)致資源浪費。
指標(biāo)應(yīng)用薄弱：指標(biāo)構(gòu)建后主要用于基本信息和口徑的檢索，沒有進(jìn)一步應(yīng)用于更深層次的數(shù)據(jù)分析和決策支持。
針對客戶梳理出適用于全行的新指標(biāo)體系，徹底消除指標(biāo)的多義性，實現(xiàn)指標(biāo)在全域范圍內(nèi)的合規(guī)共享，并全面加強指標(biāo)的應(yīng)用建設(shè)的需求，袋鼠云為其量身定制了一套建設(shè)方案。
首先，將底層的存貸、風(fēng)控等業(yè)務(wù)數(shù)據(jù)統(tǒng)一抽取到數(shù)棧平臺，在此基礎(chǔ)上進(jìn)行離線和實時的加工處理，從而構(gòu)建出基礎(chǔ)數(shù)倉。接著，借助 Trino 引擎開展指標(biāo)計算，經(jīng)過分類分層的精細(xì)操作，得到不同業(yè)務(wù)的原子、派生、復(fù)合等各類指標(biāo)，以這些指標(biāo)為基石，在業(yè)績考核、風(fēng)險監(jiān)管、企業(yè)存貸等指標(biāo)體系中形成可以充分共享的指標(biāo)目錄。
在這個完備的指標(biāo)體系之上，進(jìn)一步開展一系列基于指標(biāo)的深度應(yīng)用建設(shè)，包括智能取數(shù)、指標(biāo)看板的自動生成與歸因分析、智能問題的智能問答、目標(biāo)管理以及指標(biāo) API 的構(gòu)建。
經(jīng)過一年的落地實施，客戶指標(biāo)管理取得了顯著成效：
全行 80 家分行中的 5000 + 指標(biāo)得到了重新改造，個人銀行與公司銀行業(yè)務(wù)的指標(biāo)實現(xiàn)了統(tǒng)一編目和標(biāo)準(zhǔn)化管理。
依據(jù)指標(biāo)開發(fā)規(guī)范，利用指標(biāo)相似度分析對 1100 多個指標(biāo)進(jìn)行了治理，有效減少了多義性情況的發(fā)生。
同時，在嚴(yán)格的數(shù)據(jù)安全管理規(guī)范下，對公考核、普惠金融、基金理財代銷等業(yè)務(wù)的指標(biāo)共享使用十分活躍。
基于指標(biāo)的智能數(shù)據(jù)分析應(yīng)用，使得開發(fā)人員在企業(yè)信貸、投行、理財?shù)葮I(yè)務(wù)中能夠迅速完成數(shù)據(jù)的分析工作，并快速做出決策，大大提升了銀行業(yè)務(wù)的整體效能。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
