2021愛分析?數(shù)據(jù)智能平臺實(shí)踐報(bào)告—重構(gòu)數(shù)據(jù)智能時(shí)代的數(shù)據(jù)基礎(chǔ)設(shè)施

報(bào)告編委


特別鳴謝(按拼音排序)


媒體支持(按拼音排序)


報(bào)告摘要

數(shù)字化轉(zhuǎn)型背景下,企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)

數(shù)據(jù)平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型,實(shí)現(xiàn)數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用的底層基礎(chǔ)設(shè)施。通過應(yīng)用數(shù)據(jù)平臺,企業(yè)能夠?qū)崿F(xiàn)精細(xì)化運(yùn)營,從而降低運(yùn)營成本、提高運(yùn)營效率、提升創(chuàng)新能力。

近年來,企業(yè)和政府部門對數(shù)字化的價(jià)值的理解愈加深刻,也紛紛加快數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè),數(shù)據(jù)應(yīng)用的廣度和深度隨之極大地?cái)U(kuò)展,由此給數(shù)據(jù)管理與應(yīng)用帶來了一系列挑戰(zhàn)。這些挑戰(zhàn)包括:數(shù)據(jù)規(guī)模持續(xù)膨脹提升了數(shù)據(jù)資產(chǎn)管理的重要性,數(shù)據(jù)應(yīng)用場景持續(xù)擴(kuò)展要求數(shù)據(jù)平臺具備更高的敏捷性、易用性、實(shí)時(shí)性和智能化能力,對企業(yè)的數(shù)據(jù)安全合規(guī)要求也更加嚴(yán)格。

構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施:數(shù)據(jù)智能平臺

數(shù)據(jù)智能平臺是企業(yè)數(shù)字化運(yùn)營深入階段的統(tǒng)一數(shù)據(jù)能力平臺,能夠?qū)?shù)據(jù)資產(chǎn)按統(tǒng)一標(biāo)準(zhǔn)進(jìn)行管理以方便數(shù)據(jù)可用,并滿足企業(yè)對數(shù)據(jù)應(yīng)用的敏捷開發(fā)、實(shí)時(shí)響應(yīng)、簡單易用、智能分析等需求,同時(shí)具備完善的數(shù)據(jù)安全機(jī)制。

愛分析認(rèn)為,正在興起的新一代數(shù)據(jù)智能平臺需要具備云原生、AI增強(qiáng)、敏捷開發(fā)與應(yīng)用、實(shí)時(shí)數(shù)據(jù)處理與分析四大核心能力。同時(shí),在平臺架構(gòu)層面,數(shù)據(jù)智能平臺的底層基礎(chǔ)設(shè)施、存儲與計(jì)算引擎、數(shù)據(jù)集成與開發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)應(yīng)用與數(shù)據(jù)服務(wù)等模塊相比傳統(tǒng)數(shù)據(jù)平臺也提出了更具體和更復(fù)雜的要求。

數(shù)據(jù)智能平臺的建設(shè)方法論

數(shù)據(jù)智能平臺的構(gòu)建是一個(gè)需要從全局進(jìn)行規(guī)劃和建設(shè),并在后續(xù)運(yùn)行中能夠持續(xù)迭代的系統(tǒng)性工程,因此需要一套科學(xué)和完備的方法論指導(dǎo)這一過程。

數(shù)據(jù)智能平臺建設(shè)過程中的核心環(huán)節(jié)主要包括了頂層戰(zhàn)略規(guī)劃、應(yīng)用場景規(guī)劃、基礎(chǔ)架構(gòu)設(shè)計(jì)、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計(jì)、組織與人員規(guī)劃。在頂層規(guī)劃層面,數(shù)據(jù)智能平臺的建設(shè)需要考慮組織的整體目標(biāo),合理規(guī)劃建設(shè)路徑,并給予相應(yīng)的資源支持。在應(yīng)用場景規(guī)劃層面,組織要首先評估自身的業(yè)務(wù)需求,明確場景實(shí)現(xiàn)的優(yōu)先級,同時(shí)調(diào)研和參考外部案例。在基礎(chǔ)架構(gòu)設(shè)計(jì)層面,數(shù)據(jù)智能平臺需要考慮引入云原生架構(gòu)、應(yīng)用多數(shù)據(jù)處理引擎,并對數(shù)據(jù)資產(chǎn)和數(shù)據(jù)應(yīng)用做統(tǒng)一管理。此外,組織還需根據(jù)業(yè)務(wù)架構(gòu)對數(shù)據(jù)架構(gòu)進(jìn)行設(shè)計(jì),對數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范,方便業(yè)務(wù)人員使用數(shù)據(jù)。在做組織和人員規(guī)劃時(shí),需要對組織的業(yè)務(wù)線復(fù)雜度做評估,在集中式和去中心化建設(shè)中選其一。

重點(diǎn)行業(yè)的數(shù)據(jù)智能平臺典型實(shí)踐案例

數(shù)據(jù)智能平臺在實(shí)際落地過程中,仍然需要根據(jù)行業(yè)特點(diǎn)和企業(yè)組織的具體業(yè)務(wù)需求、現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施等情況對平臺的架構(gòu)和功能做針對性的設(shè)計(jì)和規(guī)劃。

為了給需要建設(shè)數(shù)據(jù)智能平臺的企業(yè)組織提供一定的經(jīng)驗(yàn)參考,愛分析對金融、政府與公共服務(wù)、消費(fèi)品與零售、工業(yè)與能源等重點(diǎn)行業(yè)的行業(yè)特點(diǎn),不同行業(yè)對建設(shè)數(shù)據(jù)智能平臺的需求差異做了分析。同時(shí),愛分析深入調(diào)研了上述行業(yè)中一批國內(nèi)領(lǐng)先企業(yè)或組織的數(shù)據(jù)智能平臺實(shí)踐案例,對他們在數(shù)據(jù)智能平臺建設(shè)過程中面臨的需求與挑戰(zhàn),具體的解決方案,平臺落地后的效果,以及相應(yīng)的建設(shè)經(jīng)驗(yàn)做了詳細(xì)的研究,并將案例內(nèi)容呈現(xiàn)在本報(bào)告中。

目錄

1. 數(shù)字化轉(zhuǎn)型背景下,企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)

2. 構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施:數(shù)據(jù)智能平臺

3. 數(shù)據(jù)智能平臺的建設(shè)方法論

4. 重點(diǎn)行業(yè)的數(shù)據(jù)智能平臺典型實(shí)踐案例

關(guān)于愛分析

研究咨詢服務(wù)

法律聲明

1. 數(shù)字化轉(zhuǎn)型背景下,企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)

1.1 數(shù)據(jù)平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施

數(shù)據(jù)平臺是企業(yè)進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用,從而實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施。通常,數(shù)據(jù)平臺包含數(shù)據(jù)采集與接入、數(shù)據(jù)存儲與計(jì)算、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)服務(wù)等功能。

圖 1: 典型數(shù)據(jù)平臺架構(gòu)

從業(yè)務(wù)的角度,數(shù)據(jù)平臺支撐了企業(yè)數(shù)字化轉(zhuǎn)型的各項(xiàng)需求,企業(yè)因此能夠?qū)崿F(xiàn)精細(xì)化運(yùn)營,從而降低運(yùn)營成本、提高運(yùn)營效率、提升創(chuàng)新能力。具體而言,通過數(shù)據(jù)平臺的應(yīng)用,企業(yè)可以在業(yè)務(wù)中實(shí)現(xiàn)數(shù)據(jù)驅(qū)動,從而達(dá)成以下目標(biāo):

1)準(zhǔn)確洞察用戶畫像和用戶需求

2)及時(shí)感知市場趨勢

3)降低管理和生產(chǎn)成本

4)設(shè)計(jì)和生產(chǎn)出更符合用戶需求的產(chǎn)品

5)更快地推出和迭代產(chǎn)品

1.2 企業(yè)數(shù)據(jù)管理與應(yīng)用正面臨一系列挑戰(zhàn)

近年來,面對市場環(huán)境的快速變化,以及政府對發(fā)展數(shù)字經(jīng)濟(jì)的促進(jìn)舉措,企業(yè)對數(shù)字化的價(jià)值的理解愈加深刻。在各行業(yè)企業(yè)或政府部門紛紛加快數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)的同時(shí),數(shù)據(jù)在企業(yè)經(jīng)營管理中的應(yīng)用廣度和深度也隨之極大地?cái)U(kuò)展,由此帶來數(shù)據(jù)管理與應(yīng)用的一系列問題和挑戰(zhàn)。

1.2.1 數(shù)據(jù)規(guī)模持續(xù)膨脹,數(shù)據(jù)資產(chǎn)管理重要性提升

隨著企業(yè)業(yè)務(wù)的快速發(fā)展以及全面的數(shù)字化,企業(yè)內(nèi)部業(yè)務(wù)和數(shù)據(jù)系統(tǒng)會變得眾多,當(dāng)這些數(shù)據(jù)匯聚之后,需要處理的各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模也因此急劇膨脹。這給企業(yè)的數(shù)據(jù)應(yīng)用和數(shù)據(jù)資產(chǎn)管理帶來了以下問題:

1)不確定數(shù)據(jù)價(jià)值。企業(yè)用戶往往不能確定系統(tǒng)中有哪些數(shù)據(jù),也不知道自己的業(yè)務(wù)問題可以使用哪些數(shù)據(jù)來解決。

2)不能共享數(shù)據(jù)。企業(yè)缺少統(tǒng)一的數(shù)據(jù)管理標(biāo)準(zhǔn),導(dǎo)致各業(yè)務(wù)部門之間難以對數(shù)據(jù)進(jìn)行匯聚、共享和使用,從而無法發(fā)揮大數(shù)據(jù)的協(xié)同價(jià)值。

3)難以獲取所需數(shù)據(jù)。用戶獲取所需數(shù)據(jù)的過程太長和復(fù)雜,且缺乏有效的數(shù)據(jù)開發(fā)工具,導(dǎo)致用戶獲取和使用數(shù)據(jù)存在困難。

1.2.2 數(shù)據(jù)應(yīng)用場景持續(xù)擴(kuò)展,敏捷性、易用性、實(shí)時(shí)性、智能化要求提升

為了充分發(fā)揮數(shù)據(jù)的價(jià)值,數(shù)據(jù)驅(qū)動的決策和業(yè)務(wù)應(yīng)用正逐漸滲透進(jìn)企業(yè)的各個(gè)部門和各個(gè)業(yè)務(wù)線。面對數(shù)據(jù)應(yīng)用場景的持續(xù)擴(kuò)展,企業(yè)對其底層數(shù)據(jù)平臺也提出更高的技術(shù)和能力要求,包括了敏捷性、易用性、實(shí)時(shí)性、智能化四個(gè)方面的要求,具體如下:

敏捷性。企業(yè)存在大量數(shù)據(jù)分析,尤其是創(chuàng)新性的數(shù)據(jù)分析和應(yīng)用需求。但傳統(tǒng)豎井式建設(shè)的信息系統(tǒng)修改困難、集成混亂;企業(yè)缺乏自有的技術(shù)開發(fā)能力,無法快速響應(yīng)業(yè)務(wù)需求。

易用性。數(shù)據(jù)平臺逐漸由賦能數(shù)據(jù)部門轉(zhuǎn)向全面賦能業(yè)務(wù)部門,而使用傳統(tǒng)數(shù)據(jù)平臺需要的編程和數(shù)據(jù)分析能力是大部分業(yè)務(wù)人員所不具備的,因此需要新一代的數(shù)據(jù)平臺具備低門檻的自助分析能力,適應(yīng)不同能力的數(shù)據(jù)或業(yè)務(wù)人員。

實(shí)時(shí)性。企業(yè)在生產(chǎn)和運(yùn)營中存在越來越多的實(shí)時(shí)決策場景,如何快速查找、分析和獲得數(shù)據(jù)洞察是當(dāng)前數(shù)據(jù)平臺面臨的一大挑戰(zhàn),需要從平臺的架構(gòu)設(shè)計(jì)、計(jì)算和存儲引擎,以及業(yè)務(wù)流程優(yōu)化上滿足數(shù)據(jù)分析的實(shí)時(shí)性需求。

智能化。在數(shù)據(jù)應(yīng)用越來越多的背景下,企業(yè)相關(guān)的人力配備已不能滿足需求,因此需要平臺具備智能化的能力,一方面在數(shù)據(jù)分析環(huán)節(jié)引入自動化能力,減少人工操作,降低人力成本。另一方面,通過平臺的智能預(yù)測能力,提高業(yè)務(wù)決策效率和能力。

1.2.3 數(shù)據(jù)安全合規(guī)要求趨嚴(yán)

數(shù)字化時(shí)代,數(shù)據(jù)安全風(fēng)險(xiǎn)已經(jīng)滲透在數(shù)據(jù)應(yīng)用中的各個(gè)層面,例如數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)共享等,因此企業(yè)數(shù)據(jù)泄漏造成的損失和風(fēng)險(xiǎn)的可能在加大。

與此同時(shí),大眾對數(shù)據(jù)隱私的關(guān)注,加上監(jiān)管對數(shù)據(jù)安全要求的趨嚴(yán),都促使企業(yè)在搭建新一代的數(shù)據(jù)平臺時(shí),需要在各個(gè)層級上都建立完善的安全機(jī)制防范數(shù)據(jù)泄漏的風(fēng)險(xiǎn)。

表1:數(shù)據(jù)安全重點(diǎn)法律法規(guī)


2. 構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施:數(shù)據(jù)智能平臺

2.1 數(shù)據(jù)智能平臺的定義

要定義新一代的數(shù)據(jù)基礎(chǔ)設(shè)施,我們首先需要闡明在之前的發(fā)展階段中,不同階段的數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)生的原因、應(yīng)用場景和面對新階段的需求時(shí)的局限性。

數(shù)據(jù)基礎(chǔ)設(shè)施經(jīng)過數(shù)十年的發(fā)展,已經(jīng)依次經(jīng)歷了三個(gè)階段:數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺。在數(shù)據(jù)庫階段,企業(yè)對數(shù)據(jù)的使用需求主要是面向管理層從宏觀層面對公司的經(jīng)營狀況做描述性分析,處理的數(shù)據(jù)為有限的結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)倉庫階段,企業(yè)對數(shù)據(jù)的使用需求從面向管理層拓寬到面向業(yè)務(wù)人員,主要滿足一些業(yè)務(wù)監(jiān)測和洞察類的數(shù)據(jù)查詢和分析需求,處理的數(shù)據(jù)依然以結(jié)構(gòu)化數(shù)據(jù)為主。在大數(shù)據(jù)平臺階段,企業(yè)需要處理大規(guī)模、多源異構(gòu)的數(shù)據(jù),對業(yè)務(wù)的監(jiān)測和洞察也更多地偏向診斷性和預(yù)測性分析。

而到了2019年之后數(shù)字化轉(zhuǎn)型的新階段中,企業(yè)對數(shù)據(jù)應(yīng)用的范圍從之前的管理層和部分業(yè)務(wù)人員擴(kuò)展到了跨部門、跨企業(yè)的數(shù)據(jù)共享,需要進(jìn)行大量面向業(yè)務(wù),實(shí)時(shí)和智能決策的探索式、自助式分析,并且需要處理超大規(guī)模的多源異構(gòu)和實(shí)時(shí)數(shù)據(jù)。如第一章節(jié)所述,這些變化對數(shù)據(jù)管理和應(yīng)用帶來了一系列挑戰(zhàn)和需求,傳統(tǒng)的數(shù)據(jù)平臺已經(jīng)無法滿足,新一代的數(shù)據(jù)基礎(chǔ)設(shè)施即是要解決這些問題。

圖 2: 數(shù)據(jù)基礎(chǔ)設(shè)施的演進(jìn)歷程

因此,愛分析認(rèn)為,新一代的數(shù)據(jù)基礎(chǔ)設(shè)施,數(shù)據(jù)智能平臺,可以被定義為企業(yè)數(shù)字化運(yùn)營深入階段的統(tǒng)一數(shù)據(jù)能力平臺,能夠?qū)?shù)據(jù)資產(chǎn)按統(tǒng)一標(biāo)準(zhǔn)進(jìn)行管理以方便數(shù)據(jù)可用,并滿足企業(yè)對數(shù)據(jù)應(yīng)用的敏捷開發(fā)、實(shí)時(shí)響應(yīng)、簡單易用、智能分析等需求,同時(shí)具備完善的數(shù)據(jù)安全機(jī)制。

2.2 數(shù)據(jù)智能平臺的核心能力

基于對數(shù)字化轉(zhuǎn)型深入階段,企業(yè)在數(shù)據(jù)管理和應(yīng)用中需要面對和解決的問題的理解,以及對一些行業(yè)領(lǐng)先企業(yè)在搭建數(shù)據(jù)智能平臺中的實(shí)踐案例的調(diào)研和經(jīng)驗(yàn)總結(jié),愛分析認(rèn)為,正在興起的新一代數(shù)據(jù)智能平臺需要具備云原生、AI增強(qiáng)、敏捷開發(fā)與應(yīng)用、實(shí)時(shí)數(shù)據(jù)處理與分析四大核心能力。

圖 3: 數(shù)據(jù)智能平臺的四大核心能力

2.2.1 云原生

云原生是指在應(yīng)用的設(shè)計(jì)階段就為了云的運(yùn)行環(huán)境而設(shè)計(jì),包含微服務(wù)、容器化、DevOps、持續(xù)交付等特征。云原生架構(gòu)能夠?yàn)閿?shù)據(jù)平臺帶來以下主要能力優(yōu)勢:

1) 云原生架構(gòu)下大數(shù)據(jù)組件都是以容器化的形式來部署,企業(yè)因此能夠快速的開發(fā)、測試、迭代和上線大數(shù)據(jù)應(yīng)用,并且方便了數(shù)據(jù)的共享和復(fù)用。

2) 快速集成新的開發(fā)工具。企業(yè)經(jīng)常需要在數(shù)據(jù)平臺中嘗試新的功能組件,由于主流的開源軟件基本都提供了容器化部署,因此能夠快速集成到云原生架構(gòu)的數(shù)據(jù)平臺中。

3) 降低系統(tǒng)復(fù)雜性和運(yùn)維成本。在云原生架構(gòu)的數(shù)據(jù)平臺中,Kubernetes、Mesos等工具能夠?qū)崿F(xiàn)統(tǒng)一的資源管理和調(diào)度,這極大提高了系統(tǒng)復(fù)雜性,提高了運(yùn)行效率,并且在數(shù)據(jù)平臺中部署和運(yùn)行分布式系統(tǒng)也更加便捷。

4) 輕松實(shí)現(xiàn)存算分離和彈性伸縮,降低使用成本。云原生架構(gòu)能夠輕松實(shí)現(xiàn)計(jì)算和存儲資源的分離,企業(yè)因此可以按照需求分別使用存儲和計(jì)算資源,這降低了使用成本,也簡化了多云和混合云部署。

2.2.2 AI增強(qiáng)

AI增強(qiáng)是指利用機(jī)器學(xué)習(xí)和人工智能技術(shù)使數(shù)據(jù)清洗與準(zhǔn)備、數(shù)據(jù)分析與可視化、機(jī)器學(xué)習(xí)等分析過程中實(shí)現(xiàn)部分環(huán)節(jié)的自動化,從而節(jié)省大量的人力成本。AI增強(qiáng)的自動化能力主要體現(xiàn)在數(shù)據(jù)智能平臺運(yùn)營過程中的以下環(huán)節(jié):

1) 數(shù)據(jù)清洗與準(zhǔn)備:自動匹配,聯(lián)接,分析,標(biāo)記和注釋數(shù)據(jù);推薦用于連接、豐富、清洗數(shù)據(jù)的最佳方法;自動執(zhí)行重復(fù)的轉(zhuǎn)換和集成;自動識別數(shù)據(jù)沿襲和元數(shù)據(jù)。

2) 數(shù)據(jù)分析與可視化:自動查找和描述數(shù)據(jù)中的相關(guān)性、異常、聚類、關(guān)鍵驅(qū)動因素和預(yù)測等;自動生成圖表或報(bào)表;可視化或?qū)υ捊缑妫∟LQ&NLG)查找和分析數(shù)據(jù)。

3) 機(jī)器學(xué)習(xí):自動特征工程;自動模型選擇和參數(shù)調(diào)整;自動模型部署和監(jiān)控。

2.2.3 敏捷開發(fā)與應(yīng)用

數(shù)字化的核心目標(biāo)之一是要能夠支撐企業(yè)的商業(yè)創(chuàng)新,尤其是當(dāng)數(shù)據(jù)和數(shù)據(jù)應(yīng)用的規(guī)模和復(fù)雜性越來越大的時(shí)候,企業(yè)要去嘗試各種新的數(shù)據(jù)應(yīng)用,就需要數(shù)據(jù)平臺具備相應(yīng)的敏捷響應(yīng)能力。數(shù)據(jù)智能平臺的敏捷性主要包括了工具集成的敏捷性、數(shù)據(jù)開發(fā)的敏捷性、數(shù)據(jù)分析和應(yīng)用的敏捷性。

1) 工具集成的敏捷性。當(dāng)企業(yè)需要嘗試新的數(shù)據(jù)應(yīng)用時(shí),經(jīng)常需要用到一些新的分析框架,如前文提到,云原生架構(gòu)能夠?yàn)槠髽I(yè)提供快速接入和部署新的工具或組件的敏捷化能力。

2) 數(shù)據(jù)開發(fā)的敏捷性。數(shù)據(jù)開發(fā)的目的是使用各種工具,包括數(shù)據(jù)建模、數(shù)據(jù)探索、數(shù)據(jù)查詢、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等,來完成數(shù)據(jù)分析。要實(shí)現(xiàn)敏捷的數(shù)據(jù)開發(fā),通常需要企業(yè)構(gòu)建一站式的數(shù)據(jù)集成和開發(fā)平臺,提供大數(shù)據(jù)的匯聚、加工、服務(wù)、資產(chǎn)管理等全流程能力,并降低其使用門檻。

3) 數(shù)據(jù)分析和應(yīng)用的敏捷性。實(shí)現(xiàn)數(shù)據(jù)分析和應(yīng)用的敏捷性數(shù)據(jù)平臺在底層數(shù)據(jù)管理和數(shù)據(jù)分析工具上有相應(yīng)的功能設(shè)計(jì),比如,通過建立標(biāo)簽體系方便用戶將數(shù)據(jù)快速應(yīng)用于業(yè)務(wù),通過提供可視化的分析工具靈活地滿足用戶的分析需求,通過AI增強(qiáng)能力自動識別有價(jià)值的數(shù)據(jù)并推送給用戶等。

2.2.4 實(shí)時(shí)數(shù)據(jù)處理與分析

為了應(yīng)對企業(yè)越來愈多的實(shí)時(shí)性數(shù)據(jù)分析需求,數(shù)據(jù)平臺需要在以下層面具備實(shí)時(shí)性的數(shù)據(jù)處理能力:

1) 實(shí)時(shí)的數(shù)據(jù)接入和數(shù)據(jù)采集。應(yīng)用Kafka、RocketMQ等工具實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集。同時(shí),對于核心業(yè)務(wù)系統(tǒng)數(shù)據(jù),進(jìn)行被動采集;對于用戶訪問行為習(xí)慣等數(shù)據(jù),則會進(jìn)行主動采集。

2) 實(shí)時(shí)的數(shù)據(jù)計(jì)算與查詢。基于Flink等實(shí)時(shí)計(jì)算引擎,以及指標(biāo)計(jì)算、規(guī)則計(jì)算、模型計(jì)算等多種計(jì)算處理能力,構(gòu)建數(shù)據(jù)平臺的實(shí)時(shí)計(jì)算和查詢能力。

3) 實(shí)時(shí)的數(shù)據(jù)分發(fā)。通過Kafka實(shí)現(xiàn)靈活的數(shù)據(jù)分發(fā),以承載不同用戶的實(shí)時(shí)業(yè)務(wù)。

4) 流批一體。由于企業(yè)在業(yè)務(wù)分析中使用的數(shù)據(jù)范圍越來愈多地橫跨歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù),需要數(shù)據(jù)平臺具備流批一體的能力,用一套邏輯描述流與批業(yè)務(wù),用一個(gè)引擎也能處理實(shí)時(shí)和離線數(shù)據(jù)。

2.3 新一代數(shù)據(jù)智能平臺的架構(gòu)

結(jié)合前文所述的當(dāng)前企業(yè)在數(shù)據(jù)管理和應(yīng)用中面臨的挑戰(zhàn),以及對一些領(lǐng)先企業(yè)搭建的數(shù)據(jù)智能平臺的架構(gòu)進(jìn)行歸納總結(jié),愛分析畫出了如下圖所示的數(shù)據(jù)智能平臺的典型架構(gòu)。

圖 4: 數(shù)據(jù)智能平臺典型架構(gòu)

可以看到,新一代的數(shù)據(jù)智能平臺的架構(gòu)至少在五個(gè)層面具有區(qū)別于傳統(tǒng)數(shù)據(jù)平臺架構(gòu)的特征。

表2:數(shù)據(jù)智能平臺與傳統(tǒng)數(shù)據(jù)平臺的主要區(qū)別

3. 數(shù)據(jù)智能平臺的建設(shè)方法論

類似傳統(tǒng)數(shù)據(jù)平臺的構(gòu)建,數(shù)據(jù)智能平臺的構(gòu)建是一個(gè)需要從全局進(jìn)行規(guī)劃和建設(shè),并在后續(xù)運(yùn)行中能夠持續(xù)迭代的系統(tǒng)性工程,因此需要一套科學(xué)和完備的方法論指導(dǎo)這一過程。

愛分析通過對多家領(lǐng)先企業(yè)的數(shù)據(jù)智能平臺實(shí)踐案例進(jìn)行調(diào)研,總結(jié)了數(shù)據(jù)智能平臺建設(shè)過程中比較共性的最佳實(shí)踐方法論,涉及的核心環(huán)節(jié)主要包括頂層戰(zhàn)略規(guī)劃、應(yīng)用場景規(guī)劃、基礎(chǔ)架構(gòu)設(shè)計(jì)、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計(jì)、組織與人員規(guī)劃等方面。他們構(gòu)成的數(shù)據(jù)智能平臺建設(shè)的主要流程,以及具體包含的內(nèi)容如下圖:

圖 5: 數(shù)據(jù)智能平臺建設(shè)的關(guān)鍵環(huán)節(jié)

3.1 頂層戰(zhàn)略規(guī)劃

數(shù)據(jù)智能平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的新一代數(shù)據(jù)基礎(chǔ)設(shè)施,是企業(yè)各部門各業(yè)務(wù)線共同的數(shù)據(jù)平臺和數(shù)據(jù)服務(wù)體系,因此,數(shù)據(jù)智能平臺的建設(shè)的核心目的是服務(wù)于企業(yè)的整體戰(zhàn)略目標(biāo)和業(yè)務(wù)目標(biāo)。

同時(shí),數(shù)據(jù)智能平臺的建設(shè)不僅僅涉及技術(shù)架構(gòu),還會涉及企業(yè)的業(yè)務(wù)模式和組織架構(gòu),因此企業(yè)應(yīng)當(dāng)以頂層戰(zhàn)略為起點(diǎn),根據(jù)業(yè)務(wù)目標(biāo)規(guī)劃數(shù)據(jù)智能平臺的的建設(shè)藍(lán)圖與路徑。

此外,傳統(tǒng)企業(yè)的部門墻問題明顯,要實(shí)現(xiàn)各部門間的溝通協(xié)作,共建數(shù)據(jù)智能平臺,需要企業(yè)決策層在組織架構(gòu)和資源方面給予統(tǒng)一的調(diào)配和支持。

3.2 應(yīng)用場景規(guī)劃

數(shù)據(jù)智能平臺的價(jià)值最終需要通過業(yè)務(wù)場景中的數(shù)據(jù)應(yīng)用來體現(xiàn),因此,平臺建設(shè)必須應(yīng)用場景規(guī)劃先行,數(shù)據(jù)智能平臺應(yīng)用場景規(guī)劃需要考慮以下關(guān)鍵因素:

評估企業(yè)業(yè)務(wù)需求和數(shù)據(jù)現(xiàn)狀。從具體的業(yè)務(wù)需求場景厘清相關(guān)的業(yè)務(wù)線、相關(guān)崗位和業(yè)務(wù)流程,梳理其中的業(yè)務(wù)需求。同時(shí),對企業(yè)的數(shù)據(jù)資產(chǎn)進(jìn)行評估,厘清企業(yè)有哪些數(shù)據(jù)、需要補(bǔ)充哪些數(shù)據(jù)等。

明確場景實(shí)現(xiàn)優(yōu)先級。企業(yè)需要基于企業(yè)戰(zhàn)略與業(yè)務(wù)目標(biāo),可實(shí)現(xiàn)的業(yè)務(wù)價(jià)值、數(shù)據(jù)應(yīng)用的實(shí)現(xiàn)成本、數(shù)據(jù)應(yīng)用的可行性等方面進(jìn)行評估,確定哪些優(yōu)先級和緊急度比較高的場景可以應(yīng)用數(shù)據(jù)平臺解決業(yè)務(wù)問題。

調(diào)研和參考外部案例。企業(yè)在建設(shè)數(shù)據(jù)平臺前應(yīng)當(dāng)盡可能多地進(jìn)行相關(guān)調(diào)研,并參考同行實(shí)踐案例,總結(jié)相關(guān)經(jīng)驗(yàn)。同時(shí),可以借助有成熟經(jīng)驗(yàn)的數(shù)據(jù)平臺建設(shè)廠商幫助企業(yè)解決相關(guān)問題。

3.3 基礎(chǔ)架構(gòu)設(shè)計(jì)

好的基礎(chǔ)架構(gòu)設(shè)計(jì)能夠讓項(xiàng)目快速落地,并支持在現(xiàn)有系統(tǒng)上快速開發(fā)新功能、引入新數(shù)據(jù),而一旦選擇某個(gè)技術(shù)架構(gòu)并開始實(shí)施,后面出現(xiàn)問題再來修改的成本很高。構(gòu)建新一代的數(shù)據(jù)智能平臺需要在基礎(chǔ)架構(gòu)設(shè)計(jì)上考慮一下要點(diǎn):

1) 引入云原生架構(gòu),以便快速開發(fā)、測試、上線和迭代數(shù)據(jù)應(yīng)用,同時(shí)滿足在工具集成、系統(tǒng)運(yùn)維、以及存儲和計(jì)算資源上的各種敏捷性要求。

2) 應(yīng)用多種數(shù)據(jù)處理引擎應(yīng)對多樣化的數(shù)據(jù)分析場景需求,重點(diǎn)是為平臺構(gòu)建智能化和實(shí)時(shí)化的數(shù)據(jù)處理能力。

3)對數(shù)據(jù)和數(shù)據(jù)應(yīng)用資產(chǎn)進(jìn)行統(tǒng)一的管理,避免數(shù)據(jù)資產(chǎn)不明確、使用復(fù)雜、效益低下等問題,方便數(shù)據(jù)資產(chǎn)的使用、共享和復(fù)用。

3.4 數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計(jì)

為了保證用戶能夠在數(shù)據(jù)平臺中快速找到自己所需的數(shù)據(jù),企業(yè)需要對數(shù)據(jù)架構(gòu),即數(shù)據(jù)的組織方式,以及數(shù)據(jù)規(guī)范,即數(shù)據(jù)平臺中輸入和輸出的數(shù)據(jù)符合規(guī)范,進(jìn)行合理地設(shè)計(jì)。

1) 企業(yè)需要根據(jù)業(yè)務(wù)目標(biāo)及業(yè)務(wù)流程設(shè)計(jì)平臺的數(shù)據(jù)架構(gòu),包括平臺提供的明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)、數(shù)據(jù)分析結(jié)果、數(shù)據(jù)服務(wù)等。

2) 對數(shù)據(jù)平臺的輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范,如在所有業(yè)務(wù)系統(tǒng)中使用統(tǒng)一的全局ID,用原子指標(biāo)、統(tǒng)計(jì)顆粒度、業(yè)務(wù)限定等維度來派生指標(biāo)名稱,構(gòu)建指標(biāo)體系。

3.5 組織與人員規(guī)劃

數(shù)據(jù)智能平臺的能力與業(yè)務(wù)高度相關(guān),因?yàn)槠脚_的搭建需要IT部門、數(shù)據(jù)部門、以及各業(yè)務(wù)部門溝通協(xié)調(diào),對人員進(jìn)行統(tǒng)籌安排。根據(jù)企業(yè)數(shù)據(jù)能力現(xiàn)狀,在集中式和去中心化兩種人員模式中選其一。

1) 集中式模式:組建一個(gè)專門的數(shù)據(jù)智能平臺團(tuán)隊(duì),由該團(tuán)隊(duì)負(fù)責(zé)所有數(shù)據(jù)能力的規(guī)劃和開發(fā)。該模式好處在于數(shù)據(jù)能力的規(guī)劃和實(shí)現(xiàn)比較直接,能夠快速落地,難點(diǎn)在于需要團(tuán)隊(duì)理解業(yè)務(wù)。該模式適合公司業(yè)務(wù)體系相對簡單,且軟件在企業(yè)內(nèi)部只是輔助工具的傳統(tǒng)型企業(yè)。

2) 去中心化模式:由傳統(tǒng)的數(shù)據(jù)平臺團(tuán)隊(duì)搭建底層的平臺,各業(yè)務(wù)部門在平臺上開發(fā)和使用所需的數(shù)據(jù)應(yīng)用。該模式好處在于業(yè)務(wù)部門對業(yè)務(wù)最理解,能夠開發(fā)出最滿足業(yè)務(wù)需求的數(shù)據(jù)應(yīng)用,且后續(xù)迭代也更方便,難點(diǎn)在于需要處理好部門分工和協(xié)調(diào)的問題。該模式適合業(yè)務(wù)線龐雜,業(yè)務(wù)定制化需求較多的大型企業(yè)。

圖 6: 數(shù)據(jù)智能平臺建設(shè)推進(jìn)方式

4. 重點(diǎn)行業(yè)的數(shù)據(jù)智能平臺典型實(shí)踐案例

盡管我們已經(jīng)對數(shù)據(jù)智能平臺做了較明確的定義,并對數(shù)據(jù)智能平臺需要具備的核心能力、架構(gòu)、建設(shè)方法論等問題做了歸納總結(jié),但在數(shù)據(jù)智能平臺在實(shí)際落地過程中,仍然需要根據(jù)行業(yè)特點(diǎn)和企業(yè)組織的具體業(yè)務(wù)需求、現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施等情況對平臺的架構(gòu)和功能做針對性的設(shè)計(jì)和規(guī)劃。

為了給需要建設(shè)數(shù)據(jù)智能平臺的企業(yè)組織提供一定的經(jīng)驗(yàn)參考,愛分析對金融、政府與公共服務(wù)、消費(fèi)品與零售、工業(yè)與能源等重點(diǎn)行業(yè)的行業(yè)特點(diǎn),不同行業(yè)對建設(shè)數(shù)據(jù)智能平臺的需求差異做了分析,并深入調(diào)研了這些行業(yè)中一批國內(nèi)領(lǐng)先企業(yè)或組織的數(shù)據(jù)智能平臺實(shí)踐案例,對他們在數(shù)據(jù)智能平臺建設(shè)過程中面臨的需求與挑戰(zhàn),具體的解決方案,平臺落地后的效果,以及相應(yīng)的建設(shè)經(jīng)驗(yàn)做了詳細(xì)的研究,并將案例內(nèi)容呈現(xiàn)在本報(bào)告中。

4.1 金融

在互聯(lián)網(wǎng)趨勢加之疫情影響下,消費(fèi)者陣地逐漸向線上化轉(zhuǎn)移,同時(shí)隨著金融監(jiān)管政策持續(xù)加碼,對金融行業(yè)而言,進(jìn)行營銷運(yùn)營、風(fēng)控合規(guī)等全流程的數(shù)字化轉(zhuǎn)型勢在必行。首先,線下渠道難以滿足金融機(jī)構(gòu)業(yè)務(wù)需求,構(gòu)建全渠道營銷體系成為金融機(jī)構(gòu)的關(guān)注重點(diǎn);其次,金融產(chǎn)品豐富性增強(qiáng),客戶粘性減弱,良好的用戶體驗(yàn)逐漸成為金融機(jī)構(gòu)的核心競爭力;此外,隨著不良資產(chǎn)的暴露、監(jiān)管的不斷收緊,防范各類欺詐風(fēng)險(xiǎn),是金融機(jī)構(gòu)的關(guān)鍵目標(biāo)。因此,引入各類數(shù)據(jù),依托強(qiáng)大的數(shù)據(jù)處理與分析能力,深度洞察客戶,從而為精準(zhǔn)營銷、精細(xì)化運(yùn)營和風(fēng)控等做支撐,是金融行業(yè)的共同訴求。

現(xiàn)階段,多數(shù)金融機(jī)構(gòu)已完成了部門級數(shù)據(jù)庫、數(shù)據(jù)平臺建設(shè),但多基于“豎井式”架構(gòu)獨(dú)立建設(shè)或由業(yè)務(wù)部門主導(dǎo)開發(fā),各部門、各業(yè)務(wù)場景間數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)不互通,無法形成跨部門數(shù)據(jù)復(fù)用及全行級數(shù)據(jù)洞察。此外,數(shù)據(jù)價(jià)值挖掘深度不足,未結(jié)合業(yè)務(wù)理解,構(gòu)建數(shù)據(jù)模型、形成客戶畫像,無法真正落地于營銷與風(fēng)控場景,也是現(xiàn)階段金融機(jī)構(gòu)存在的問題。

因此,金融機(jī)構(gòu)在構(gòu)建數(shù)據(jù)智能平臺時(shí),應(yīng)統(tǒng)一整合多渠道、跨業(yè)務(wù)數(shù)據(jù),打破數(shù)據(jù)孤島,建立數(shù)據(jù)規(guī)范,結(jié)合業(yè)務(wù)進(jìn)行數(shù)據(jù)建模與數(shù)據(jù)關(guān)系抽取,構(gòu)建數(shù)據(jù)標(biāo)簽體系,生成客戶畫像及關(guān)系圖譜,從而為精準(zhǔn)營銷、智能反欺詐賦能。


案例1 : 知識圖譜平臺助力建設(shè)銀行防范金融風(fēng)險(xiǎn)
中國建設(shè)銀行(以下簡稱建行)是一家擁有60多年的歷史的老牌國有銀行,總資產(chǎn)規(guī)模排名全球第二。作為國內(nèi)最大的個(gè)人貸款和第二大信用卡發(fā)行行,信貸業(yè)務(wù)是建行業(yè)務(wù)體系中的核心,而風(fēng)險(xiǎn)預(yù)警則是為信貸業(yè)務(wù)保駕護(hù)航的重要環(huán)節(jié)。近年來,隨著建設(shè)銀行信貸、信用卡等業(yè)務(wù)的快速發(fā)展,行內(nèi)面臨著越來越復(fù)雜的風(fēng)控難題。一方面,行內(nèi)數(shù)據(jù)量隨之增大,個(gè)人之間、企業(yè)之間,以及個(gè)人與企業(yè)之間的關(guān)聯(lián)關(guān)系變得更加復(fù)雜,另一方面,不法分子的各種反風(fēng)控、反偵查手段層出不窮,因此傳統(tǒng)的風(fēng)險(xiǎn)預(yù)警模式已經(jīng)不足以識別很多金融風(fēng)險(xiǎn)。經(jīng)過考察評估后,建設(shè)銀行決定引入知識圖譜平臺來應(yīng)對不斷提高的風(fēng)控難度,其知識圖譜平臺的建設(shè)主要分為兩個(gè)階段,各個(gè)階段都有著不同的需求和挑戰(zhàn)。在第一階段,建設(shè)銀行主要是希望通過應(yīng)用知識圖譜實(shí)現(xiàn)對銀行內(nèi)金融風(fēng)險(xiǎn)以及一些關(guān)聯(lián)關(guān)系的更快和更深層次的查詢挖掘。在2017年底左右,市場出現(xiàn)了一些新型的假個(gè)貸,這類假個(gè)貸的特點(diǎn)是資金鏈路深,層級復(fù)雜,如果用傳統(tǒng)的基于規(guī)則和SQL查詢的方式識別這些風(fēng)險(xiǎn),一是計(jì)算量大,很多復(fù)雜關(guān)系無法被識別,二是根據(jù)數(shù)據(jù)金額做SQL的模糊匹配其結(jié)果也往往不準(zhǔn)確。在第二階段,建設(shè)銀行在已經(jīng)在幾個(gè)項(xiàng)目上成功應(yīng)用知識圖譜的基礎(chǔ)上,需要在行內(nèi)構(gòu)建統(tǒng)一的知識圖譜平臺,提供統(tǒng)一的對復(fù)雜金融風(fēng)險(xiǎn)、關(guān)聯(lián)關(guān)系的查詢和分析能力。在此階段,建設(shè)銀行面臨的挑戰(zhàn)主要有兩個(gè):1) 建設(shè)銀行的知識圖譜平臺建設(shè)開始是需求驅(qū)動,缺乏頂層設(shè)計(jì),產(chǎn)生的問題是開始沒有對需要使用到的關(guān)聯(lián)關(guān)系做統(tǒng)一規(guī)劃,沒有設(shè)計(jì)出一個(gè)合理的底層的圖數(shù)倉模型,對于知識圖譜在哪些場景中去應(yīng)用也缺乏統(tǒng)一規(guī)劃和相應(yīng)支撐。2) 由于缺乏外部可參考的經(jīng)驗(yàn),建設(shè)銀行對于如何做關(guān)系抽取,即哪些數(shù)據(jù)之間應(yīng)該構(gòu)建關(guān)聯(lián)關(guān)系,哪些業(yè)務(wù)可以用到關(guān)聯(lián)關(guān)系,以及某個(gè)關(guān)系構(gòu)建之后,超過多少數(shù)據(jù)量需要分表等問題缺乏認(rèn)識。結(jié)合頂層規(guī)劃與外部經(jīng)驗(yàn)參考應(yīng)對知識圖譜平臺建設(shè)的挑戰(zhàn)在知識圖譜平臺的搭建過程中,建設(shè)銀行選擇海致星圖作為合作伙伴,與海致星圖共同探索和建設(shè)知識圖譜平臺。海致星圖是一家專業(yè)的企業(yè)級知識圖譜產(chǎn)品和服務(wù)提供商,自研了Atlas知識圖譜平臺、Atlas圖數(shù)據(jù)庫等產(chǎn)品,服務(wù)于金融、能源互聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等行業(yè)的企業(yè)。建設(shè)銀行的知識圖譜平臺建設(shè)主要在平臺架構(gòu)設(shè)計(jì)、關(guān)系抽取、應(yīng)用場景規(guī)劃三個(gè)方面解決了前期存在的種種挑戰(zhàn)。在平臺的架構(gòu)設(shè)計(jì)方面,知識圖譜平臺在建設(shè)銀行的數(shù)據(jù)中臺里的定位是為底層的原始數(shù)據(jù)做基礎(chǔ)準(zhǔn)備。在底層源數(shù)據(jù)之上,知識圖譜平臺會對數(shù)據(jù)做數(shù)據(jù)建模,抽取數(shù)據(jù)中的關(guān)系;然后將產(chǎn)生的完整的知識圖譜網(wǎng)絡(luò)存儲在圖數(shù)倉中;在之上是圖分析和圖應(yīng)用平臺,包括了圖管理、圖挖掘、各類圖分析算法,以及多種知識圖譜應(yīng)用。這其中,海致星圖提供的相關(guān)產(chǎn)品支持了建設(shè)銀行知識圖譜平臺多層次的關(guān)系分析、靈活的二次開發(fā)、自動化關(guān)系展現(xiàn)等能力。圖 7: 建設(shè)銀行知識圖譜平臺架構(gòu)圖在關(guān)系抽取方面,海致星圖為建設(shè)銀行提供了深入的指導(dǎo)。具體而言,海致星圖對建設(shè)銀行應(yīng)該構(gòu)建哪些數(shù)據(jù)關(guān)系,如何構(gòu)建這些數(shù)據(jù)關(guān)系,并對這些數(shù)據(jù)關(guān)系構(gòu)建之后會出現(xiàn)哪些效果和問題,以及如何解決可能遇到的問題等提供了大量從實(shí)踐中總結(jié)出的經(jīng)驗(yàn)建議。在應(yīng)用場景規(guī)劃建設(shè)方面,建設(shè)銀行主要規(guī)劃建設(shè)了五類應(yīng)用場景。1)反欺詐:識別資金中介,攔截可疑交易;2)風(fēng)險(xiǎn)傳導(dǎo):對公客戶出現(xiàn)不良或逾期時(shí),預(yù)警提示風(fēng)險(xiǎn)可能傳導(dǎo)到的干系方;3)資產(chǎn)保全和處理:處置不良資產(chǎn)時(shí),查看不同債權(quán)方以及資產(chǎn)之間的關(guān)系;4)監(jiān)管:給報(bào)送監(jiān)管機(jī)構(gòu)的數(shù)據(jù)做內(nèi)部的勾稽關(guān)系檢查;5)優(yōu)化經(jīng)營費(fèi)用:識別套現(xiàn)黨、羊毛黨。知識圖譜平臺落地的價(jià)值與效果通過構(gòu)建知識圖譜平臺,建設(shè)銀行在風(fēng)控和關(guān)聯(lián)關(guān)系挖掘上實(shí)現(xiàn)了以下三點(diǎn)價(jià)值和效果:1) 風(fēng)險(xiǎn)識別更精準(zhǔn)。知識圖譜可以對資金鏈路下探多層,且可以呈現(xiàn)圖上各個(gè)實(shí)體之間的關(guān)系,建設(shè)銀行因此能夠比用傳統(tǒng)方法更精準(zhǔn)地識別金融風(fēng)險(xiǎn),甚至識別出很多傳統(tǒng)方法無法識別的風(fēng)險(xiǎn)。2) 視圖更直觀。知識圖譜識別出可疑交易、異常關(guān)系后,客戶經(jīng)理、貸中貸后人員可以在一張圖上看清關(guān)系流向,便于快速和清晰地發(fā)現(xiàn)異常。3) 自動化的展現(xiàn)。知識圖譜平臺能夠?qū)鹑陲L(fēng)險(xiǎn)做自動化的識別和展現(xiàn),因此減少了客戶經(jīng)理人工操作的時(shí)間,提高了風(fēng)控效率。建設(shè)銀行知識圖譜平臺建設(shè)經(jīng)驗(yàn)總結(jié)1) 知識圖譜平臺建設(shè)應(yīng)該由需求驅(qū)動,并從頂層進(jìn)行規(guī)劃和建設(shè)。在開始階段要做好充分評估,設(shè)計(jì)出一個(gè)合理的底層圖數(shù)倉模型,避免在后期因?yàn)閿?shù)據(jù)模型考慮不完善要做大量調(diào)整而產(chǎn)生很高的成本。2) 在數(shù)據(jù)模型、知識圖譜的構(gòu)建上要充分借鑒外部專家的經(jīng)驗(yàn)。知識圖譜的構(gòu)建與業(yè)務(wù)高度相關(guān),對于哪些業(yè)務(wù)數(shù)據(jù)之間應(yīng)該構(gòu)建關(guān)系,如何構(gòu)建,數(shù)據(jù)關(guān)系會產(chǎn)生哪些業(yè)務(wù)價(jià)值等問題,甲方通常沒有經(jīng)驗(yàn)和認(rèn)知,這就需要廣泛地借鑒外部專家的經(jīng)驗(yàn)。3) 平臺運(yùn)營過程中要定期地做效果評價(jià)和回顧。有些數(shù)據(jù)關(guān)系在構(gòu)建之后可能很長時(shí)間內(nèi)都很少用到,因此在知識圖譜構(gòu)建之后需要對其做進(jìn)一步的分析和評估,識別出沒有意義的數(shù)據(jù)關(guān)系,有針對性地節(jié)約運(yùn)算資源。
案例2 : 構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺,滿足城商行聯(lián)盟實(shí)時(shí)業(yè)務(wù)需求
山東省城市商業(yè)銀行合作聯(lián)盟有限公司(以下簡稱“聯(lián)盟”)是經(jīng)原中國銀監(jiān)會批準(zhǔn)成立,國內(nèi)目前唯一持有金融牌照的中小銀行金融科技服務(wù)公司。自成立以來,聯(lián)盟以提升成員行信息科技支撐水平和風(fēng)險(xiǎn)治理水平為重點(diǎn),為67家成員行提供核心業(yè)務(wù)系統(tǒng)的搭建以及數(shù)據(jù)化的服務(wù)。隨著成員行業(yè)務(wù)量的增長與業(yè)務(wù)場景的豐富,聯(lián)盟實(shí)時(shí)數(shù)據(jù)處理能力不足的問題愈發(fā)顯著。一方面,聯(lián)盟承載了眾多成員行核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù),數(shù)據(jù)加工壓力大,數(shù)據(jù)處理與分發(fā)能力薄弱;另一方面,成員行對實(shí)時(shí)交易數(shù)據(jù)的查詢,以及實(shí)時(shí)數(shù)據(jù)應(yīng)用的需求愈發(fā)旺盛。因此,構(gòu)建統(tǒng)一的實(shí)時(shí)數(shù)據(jù)整合和分析平臺,實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理與分發(fā)、實(shí)時(shí)交易計(jì)算與查詢能力,成為了聯(lián)盟的重要訴求。在實(shí)時(shí)數(shù)據(jù)平臺搭建過程中,聯(lián)盟在以下四個(gè)層面遇到了挑戰(zhàn):1) 在項(xiàng)目規(guī)劃階段,如何設(shè)計(jì)合理的實(shí)時(shí)數(shù)據(jù)平臺的架構(gòu)。搭建實(shí)時(shí)數(shù)據(jù)平臺,需要對聯(lián)盟及成員行現(xiàn)有及未來一段時(shí)間內(nèi)的業(yè)務(wù)需求做梳理,同時(shí)考慮聯(lián)盟的IT現(xiàn)狀,整合數(shù)據(jù)平臺現(xiàn)有能力。2) 如何構(gòu)建實(shí)時(shí)數(shù)據(jù)處理能力。由于聯(lián)盟承載了多個(gè)城商行的在線查詢?nèi)蝿?wù),且需為成員行實(shí)時(shí)營銷、風(fēng)險(xiǎn)等實(shí)時(shí)業(yè)務(wù)的提供數(shù)據(jù)能力支持,因此需要為數(shù)據(jù)平臺構(gòu)建涵蓋數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、數(shù)據(jù)分發(fā)全流程的實(shí)時(shí)數(shù)據(jù)處理能力。同時(shí),需要對實(shí)時(shí)指標(biāo)和批量指標(biāo)的協(xié)同調(diào)用做規(guī)劃。3) 需要解決數(shù)據(jù)計(jì)算邏輯復(fù)雜的問題。聯(lián)盟提供的財(cái)務(wù)報(bào)表查詢,CEP指標(biāo)計(jì)算等服務(wù),其數(shù)據(jù)計(jì)算邏輯復(fù)雜度高,需要相應(yīng)的引擎支持。4) 需要平臺具備易用性和開放性。為了充分滿足業(yè)務(wù)人員的使用需求,需要在數(shù)據(jù)建模、數(shù)據(jù)處理等多環(huán)節(jié)中,提供簡單易用,并更為開放,滿足靈活開發(fā)需求的服務(wù)。基于對現(xiàn)有IT架構(gòu)和業(yè)務(wù)需求的深度梳理,構(gòu)建實(shí)時(shí)數(shù)據(jù)整合和分析平臺在實(shí)時(shí)數(shù)據(jù)平臺搭建中,聯(lián)盟選擇與九章云極DataCanvas展開合作。九章云極DataCanvas成立于2013年,專注于自動化數(shù)據(jù)科學(xué)平臺的持續(xù)開發(fā)與建設(shè),提供自動化機(jī)器學(xué)習(xí)分析和實(shí)時(shí)計(jì)算能力,為政府及企業(yè)智能化升級和轉(zhuǎn)型提供全面配套服務(wù)。在該項(xiàng)目中,聯(lián)盟的IT團(tuán)隊(duì)與九章云極DataCanvas共同合作,對聯(lián)盟及成員行的IT架構(gòu)與業(yè)務(wù)流程進(jìn)行了全面梳理,為聯(lián)盟構(gòu)建了統(tǒng)一的實(shí)時(shí)數(shù)據(jù)平臺。首先,項(xiàng)目組基于對聯(lián)盟IT現(xiàn)狀和業(yè)務(wù)需求的調(diào)研,對實(shí)時(shí)數(shù)據(jù)平臺的架構(gòu)做了統(tǒng)一規(guī)劃,主要涉及了數(shù)據(jù)接入、數(shù)據(jù)計(jì)算、指標(biāo)管理和數(shù)據(jù)應(yīng)用等環(huán)節(jié)。圖 8: 山東省城商行聯(lián)盟實(shí)時(shí)數(shù)據(jù)平臺架構(gòu)其次,聯(lián)盟的數(shù)據(jù)平臺從數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、數(shù)據(jù)分發(fā)三個(gè)層面構(gòu)建了實(shí)時(shí)數(shù)據(jù)的處理能力。在數(shù)據(jù)采集方面,除了使用Kafka消息隊(duì)列傳輸數(shù)據(jù),平臺還對不同類型數(shù)據(jù)采取了不同采集方式,比如,對于大部分核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)采用被動采集的方式,以降低業(yè)務(wù)系統(tǒng)高峰期的計(jì)算壓力,對于APP的用戶訪問行為等數(shù)據(jù),以及核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫,則采用主動采集的方式;在數(shù)據(jù)計(jì)算方面,平臺采用基于流計(jì)算框架,并結(jié)合分布式緩存為平臺提供高性能的實(shí)時(shí)計(jì)算能力。此外,平臺對于實(shí)時(shí)指標(biāo)和批量指標(biāo)做了梳理和管理,實(shí)現(xiàn)了流批一體化的數(shù)據(jù)加工能力;在數(shù)據(jù)分發(fā)方面,平臺對成員行客戶的在線數(shù)據(jù)查詢需求以插件任務(wù)的形式做業(yè)務(wù)承載,對于成員行的實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)需求,則提供了接口輸出或數(shù)據(jù)庫寫入等靈活的數(shù)據(jù)分發(fā)模式。針對復(fù)雜指標(biāo)處理能力不足的問題,平臺提供了指標(biāo)引擎、規(guī)則引擎、決策引擎三大實(shí)時(shí)計(jì)算引擎。通過指標(biāo)引擎可以做指標(biāo)查詢、指標(biāo)分級管理,便于業(yè)務(wù)人員直接操作指標(biāo)、加工邏輯定義等;規(guī)則引擎與指標(biāo)配合,能夠利用規(guī)則邏輯,進(jìn)行規(guī)則加工,以實(shí)現(xiàn)風(fēng)控等業(yè)務(wù)場景的落地;決策引擎則加入了機(jī)器學(xué)習(xí)模型,助力聯(lián)盟及成員行實(shí)現(xiàn)了智能決策。為了構(gòu)建更加易用和開放的數(shù)據(jù)平臺。平臺一方面預(yù)置了大量的數(shù)據(jù)加工處理的算子,可以通過調(diào)用算子實(shí)現(xiàn)界面化配置的流程開發(fā);另一方面,平臺構(gòu)建了“白盒”算子庫,允許用戶對算子進(jìn)行優(yōu)化和自定義,滿足更加靈活多樣的業(yè)務(wù)需求。實(shí)時(shí)數(shù)據(jù)平臺滿足聯(lián)盟數(shù)據(jù)及業(yè)務(wù)實(shí)時(shí)性要求通過構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺,聯(lián)盟在實(shí)時(shí)數(shù)據(jù)處理能力和業(yè)務(wù)上實(shí)現(xiàn)了以下價(jià)值和效果:第一,構(gòu)建了實(shí)時(shí)數(shù)據(jù)的處理與分發(fā)能力。在接入聯(lián)盟成員行的核心數(shù)據(jù)過程中,實(shí)現(xiàn)了交易的隔離和各個(gè)成員行數(shù)據(jù)權(quán)限隔離,提升數(shù)據(jù)分發(fā)安全性;數(shù)據(jù)分發(fā)流程化構(gòu)建,實(shí)現(xiàn)了可視化的接入、分發(fā)、處理和運(yùn)營監(jiān)控,滿足了數(shù)據(jù)處理與分發(fā)的實(shí)時(shí)性要求。第二,完善了聯(lián)盟實(shí)時(shí)交易計(jì)算及查詢服務(wù)。2020年在手機(jī)銀行業(yè)務(wù)基礎(chǔ)上,聯(lián)盟滿足了匯總數(shù)據(jù)查詢、明細(xì)查詢、生產(chǎn)條件的篩選查詢等實(shí)時(shí)交易的計(jì)算和與查詢,實(shí)現(xiàn)了如收支分析、查找交易月度賬單、模糊查詢、標(biāo)簽修改、計(jì)入與不計(jì)入修改等個(gè)性化功能服務(wù)。第三,完成了“T+0”實(shí)時(shí)五大報(bào)表的建設(shè)。平臺將成員行五級機(jī)構(gòu)、三級科目、30倍裂變數(shù)據(jù)處理的報(bào)表查詢響應(yīng)時(shí)長,從5分鐘提升至“T+0”,完成了五大會計(jì)報(bào)表的實(shí)時(shí)計(jì)算和展現(xiàn)。聯(lián)盟實(shí)時(shí)數(shù)據(jù)平臺建設(shè)的成功經(jīng)驗(yàn)1) 項(xiàng)目建設(shè)前期需對甲方的IT現(xiàn)狀、業(yè)務(wù)需求等做梳理,規(guī)劃合理的平臺架構(gòu),將實(shí)時(shí)數(shù)據(jù)處理能力整合進(jìn)現(xiàn)有平臺。同時(shí)要保證平臺架構(gòu)的成熟和開放,以應(yīng)對未來發(fā)展需要。2) 實(shí)時(shí)數(shù)據(jù)平臺建設(shè)需要聚焦技術(shù)目標(biāo),合理規(guī)劃落地路徑。項(xiàng)目方需要合理規(guī)劃未來一兩年內(nèi)的業(yè)務(wù)需求,分階段提出實(shí)時(shí)數(shù)據(jù)平臺的建設(shè)目標(biāo),并構(gòu)建相應(yīng)能力。如聯(lián)盟項(xiàng)目初期著重建設(shè)數(shù)據(jù)處理能力、解決實(shí)時(shí)財(cái)務(wù)報(bào)表問題。建設(shè)過程后期則重點(diǎn)解決實(shí)時(shí)數(shù)據(jù)和批量數(shù)據(jù)的整合,數(shù)據(jù)指標(biāo)管理、數(shù)據(jù)分發(fā)等方面的問題。


4.2 政府與公共服務(wù)

為了實(shí)現(xiàn)由管理型政府向服務(wù)型社會的轉(zhuǎn)變,政府和公共服務(wù)領(lǐng)域正在全面擁抱數(shù)字化轉(zhuǎn)型,運(yùn)用數(shù)據(jù)技術(shù)對施政理念、流程、方式和工具進(jìn)行全方位和系統(tǒng)性的變革,推動實(shí)現(xiàn)政府治理體系和治理能力的現(xiàn)代化,從而提高管理效率,提升服務(wù)水平和能力。

政府與公共服務(wù)領(lǐng)域數(shù)字化的難點(diǎn)在于其會涉及到警務(wù)、交通、城管、應(yīng)急、環(huán)保、市場監(jiān)管等多個(gè)部門和單位,一方面數(shù)據(jù)孤立,共享和調(diào)用困難,另一方面,龐大的數(shù)據(jù)存儲和計(jì)算需求用傳統(tǒng)方式難以滿足。同時(shí),各部門和單位數(shù)據(jù)應(yīng)用的場景千差萬別,缺少易用的數(shù)據(jù)開發(fā)和數(shù)據(jù)分析工具支持。此外,大量繁雜工作對人員依賴較大,辦事效率低下,缺乏智能化手段。

針對以上挑戰(zhàn),政府與公共服務(wù)相關(guān)部門在構(gòu)建數(shù)據(jù)智能平臺時(shí)需要打通各部門和單位的數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)共享,并且在智慧城市、智慧交通等領(lǐng)域,平臺需要考慮采用云原生架構(gòu),充分利用云計(jì)算在存儲和計(jì)算資源上的彈性優(yōu)勢。同時(shí),平臺需要提供完善的數(shù)據(jù)分析方法論和數(shù)據(jù)分析工具,構(gòu)建基于主題應(yīng)用的分析能力,并在一些應(yīng)用場景提供AI能力,實(shí)現(xiàn)服務(wù)的智能化。


案例3 : 實(shí)現(xiàn)數(shù)據(jù)拉通和統(tǒng)一匯聚,廣東省應(yīng)急管理廳構(gòu)建數(shù)據(jù)治理能力體系
從2018年開始,隨著應(yīng)急管理部的成立,作為國家組織結(jié)構(gòu)改革的一部分,各個(gè)地方也相繼成立應(yīng)急管理部門。廣東省整合了包括安監(jiān)、消防以及地震等部門,于2018年10月正式成立廣東省應(yīng)急管理廳(以下稱“應(yīng)急管理廳”)。應(yīng)急管理廳隨后展開了應(yīng)急管理信息化發(fā)展規(guī)劃,推出了智慧大應(yīng)急項(xiàng)目。項(xiàng)目的整體目標(biāo)是為應(yīng)急管理廳提供系統(tǒng)業(yè)務(wù)的運(yùn)營服務(wù),包括數(shù)據(jù)支撐、應(yīng)用支撐以及數(shù)據(jù)服務(wù)等。在這一背景下,應(yīng)急管理廳與百分點(diǎn)展開了合作,由百分點(diǎn)提供數(shù)據(jù)支撐服務(wù)。百分點(diǎn)成立于2009年,擁有全棧的大數(shù)據(jù)和人工智能技術(shù)產(chǎn)品,包括大數(shù)據(jù)操作系統(tǒng)(BD-OS)和標(biāo)簽管理系統(tǒng)等基礎(chǔ)引擎產(chǎn)品,以及智能審校系統(tǒng)等應(yīng)用產(chǎn)品,涉及數(shù)字城市、應(yīng)急管理、公共安全、生態(tài)環(huán)境、媒體出版、零售快消等多個(gè)領(lǐng)域。應(yīng)急管理廳成立之初,應(yīng)急管理信息化建設(shè)主要面臨以下三方面的問題和挑戰(zhàn):1)系統(tǒng)眾多,開發(fā)難。應(yīng)急管理廳由原安監(jiān),以及消防、地震、森林、防火辦以及減災(zāi)中心等部門轉(zhuǎn)隸而成。這些不同的部門存在各自系統(tǒng),并且彼此相互孤立,數(shù)據(jù)整合開發(fā)難度大。此外,應(yīng)急管理廳缺乏省政府其他部門數(shù)據(jù),包括省和地方公安、水利、氣象、林業(yè)、交通和自然資源等部門,需要進(jìn)行數(shù)據(jù)協(xié)同和數(shù)據(jù)拉通。不過,出于對數(shù)據(jù)泄露、安全隱患、隱私保護(hù)等擔(dān)憂,部分部門不敢或者不愿進(jìn)行數(shù)據(jù)共享。2)資源類型多,標(biāo)準(zhǔn)規(guī)范薄弱。應(yīng)急管理廳成立之前,應(yīng)急管理信息化的標(biāo)準(zhǔn)規(guī)范基礎(chǔ)較薄弱,在感知采集、數(shù)據(jù)編目和數(shù)據(jù)共享、應(yīng)用開發(fā)、信息安全等領(lǐng)域,缺少全省統(tǒng)一的技術(shù)標(biāo)準(zhǔn)、建設(shè)指南和管理規(guī)范。應(yīng)急管理信息化建設(shè)涉及地震救災(zāi)、地質(zhì)災(zāi)害、森林火災(zāi)、草原火災(zāi)和火災(zāi)事故等應(yīng)急管理對象,數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,導(dǎo)致系統(tǒng)對接、數(shù)據(jù)共享困難。3)數(shù)據(jù)應(yīng)用難度大。由于不同系統(tǒng)數(shù)據(jù)無法共享或者數(shù)據(jù)缺失、數(shù)據(jù)資源中包含大量如文本、遙感影像和音視頻等非結(jié)構(gòu)化數(shù)據(jù),處理難度大、應(yīng)用不足,無法充分挖掘數(shù)據(jù)的價(jià)值。系統(tǒng)打通和數(shù)據(jù)匯聚,構(gòu)建應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺基于以上問題和挑戰(zhàn),百分點(diǎn)幫助應(yīng)急管理廳構(gòu)建了應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺,如下圖所示:圖 9: 廣東省應(yīng)急管理廳數(shù)據(jù)治理體系及流程通過該平臺實(shí)現(xiàn)了應(yīng)急數(shù)據(jù)接入、處理、存儲、應(yīng)用等全生命周期的治理,建設(shè)政務(wù)管理和監(jiān)督管理數(shù)據(jù)資源池,實(shí)現(xiàn)對不同部委和單位相關(guān)應(yīng)急數(shù)據(jù)全方位獲取、全網(wǎng)絡(luò)匯聚和全維度整合。在此基礎(chǔ)上,對外提供數(shù)據(jù)共享交換、數(shù)據(jù)應(yīng)用等服務(wù),支撐應(yīng)急管理部數(shù)據(jù)上報(bào)工作。百分點(diǎn)提供的應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺的能力體現(xiàn)在以下三個(gè)方面。1)針對系統(tǒng)眾多、開發(fā)難的問題,百分點(diǎn)通過數(shù)據(jù)治理系統(tǒng)和數(shù)據(jù)共享交換系統(tǒng),將各級相關(guān)部門和單位的數(shù)據(jù)進(jìn)行匯聚融合,形成統(tǒng)一的數(shù)據(jù)資源池。2)百分點(diǎn)以標(biāo)準(zhǔn)先行的原則,解決了應(yīng)急管理標(biāo)準(zhǔn)規(guī)范薄弱的問題。百分點(diǎn)制定并完善相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)采集規(guī)范,設(shè)計(jì)了數(shù)據(jù)質(zhì)量的檢核規(guī)則,并沉淀到數(shù)據(jù)治理系統(tǒng)中,形成了貫穿數(shù)據(jù)接入、數(shù)據(jù)處理到數(shù)據(jù)服務(wù)的常態(tài)化治理和監(jiān)測機(jī)制,推動數(shù)據(jù)標(biāo)準(zhǔn)的貫標(biāo)及數(shù)據(jù)采集規(guī)范的落實(shí)。3)在數(shù)據(jù)應(yīng)用方面,百分點(diǎn)的大數(shù)據(jù)平臺通過資源目錄和資產(chǎn)視圖等方式,實(shí)現(xiàn)數(shù)據(jù)的共享。百分點(diǎn)還針對應(yīng)急管理廳的業(yè)務(wù)應(yīng)用,梳理了相應(yīng)的主題庫和業(yè)務(wù)專題庫,如安全生產(chǎn)、防汛防臺和智慧應(yīng)急等,通過對數(shù)據(jù)進(jìn)行歸類,為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐服務(wù)。咨詢和技術(shù)能力相結(jié)合,助力應(yīng)急管理廳提升數(shù)據(jù)治理能力效果層面,應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺的應(yīng)用價(jià)值體現(xiàn)在以下三個(gè)方面。數(shù)據(jù)匯聚層面,基于數(shù)據(jù)資源池的搭建,實(shí)現(xiàn)廣東省各地市政務(wù)服務(wù)和監(jiān)督管理數(shù)據(jù)的匯聚,并監(jiān)控、優(yōu)化數(shù)據(jù)流轉(zhuǎn)與業(yè)務(wù)鏈路。其中,針對政務(wù)服務(wù)類數(shù)據(jù),完成政務(wù)辦件、電子證照等20多類數(shù)據(jù)采集;針對監(jiān)督管理類數(shù)據(jù),完成執(zhí)法檢查、隱患排查、雙隨機(jī)等20多類數(shù)據(jù)采集。數(shù)據(jù)資源標(biāo)準(zhǔn)層面,結(jié)合應(yīng)急管理數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)歸集規(guī)范,基于相關(guān)應(yīng)急業(yè)務(wù)域,完成數(shù)據(jù)倉庫建設(shè),建立數(shù)據(jù)資源目錄,形成數(shù)據(jù)共享能力。數(shù)據(jù)服務(wù)層面,基于應(yīng)急數(shù)據(jù)倉庫,向應(yīng)急管理部共享上報(bào)“互聯(lián)網(wǎng)+政務(wù)”和“互聯(lián)網(wǎng)+監(jiān)管”數(shù)據(jù),推動應(yīng)急體系下各方資源整合,加速完成應(yīng)急管理數(shù)據(jù)匯聚和數(shù)據(jù)共享工作。總體來看,百分點(diǎn)能夠解決應(yīng)急管理廳的問題,是由于其不僅能夠具備技術(shù)和產(chǎn)品能力,還能夠針對具體業(yè)務(wù)提供落地和實(shí)操性強(qiáng)的咨詢服務(wù)。技術(shù)方面,百分點(diǎn)的大數(shù)據(jù)平臺能夠?qū)崿F(xiàn)實(shí)時(shí)數(shù)據(jù)接入,如對于監(jiān)測預(yù)警相關(guān)的數(shù)據(jù),能夠?qū)崿F(xiàn)秒級的數(shù)據(jù)處理和數(shù)據(jù)上報(bào),并保持平臺的穩(wěn)定性。此外,百分點(diǎn)的大數(shù)據(jù)平臺具備自然語言處理以及知識圖譜構(gòu)建的能力,實(shí)現(xiàn)了對于文本和音視頻等非結(jié)構(gòu)化數(shù)據(jù)的處理和分析。咨詢方面,百分點(diǎn)長期服務(wù)政府客戶的過程中,積累了大量業(yè)務(wù)知識,形成了一套完善的數(shù)據(jù)治理方法論。以完整的數(shù)據(jù)治理方法論作為支撐,百分點(diǎn)在數(shù)據(jù)匯聚、數(shù)據(jù)處理以及數(shù)據(jù)服務(wù)等環(huán)節(jié)中,能夠基于一套完整的工序有條不紊地推進(jìn)數(shù)據(jù)治理工作。此外,百分點(diǎn)前瞻性的數(shù)據(jù)治理方法論設(shè)計(jì)使得應(yīng)急管理廳通過此次項(xiàng)目能夠達(dá)到持續(xù)的數(shù)據(jù)治理效果。以數(shù)據(jù)標(biāo)準(zhǔn)為例,百分點(diǎn)形成的標(biāo)準(zhǔn)體系不是基于現(xiàn)狀打造,而是緊跟根據(jù)國家政策和國家標(biāo)準(zhǔn)體系,一般能夠適用未來三至五年;與此同時(shí),其標(biāo)準(zhǔn)體系還包含一系列的擴(kuò)展性業(yè)務(wù)規(guī)則,保證了充分的靈活性。
案例4 : 某市搭建數(shù)據(jù)中臺數(shù)據(jù)大腦,提升數(shù)據(jù)治理和大數(shù)據(jù)分析應(yīng)用能力
某市推出了城市超級大腦項(xiàng)目。該項(xiàng)目的主要目標(biāo)是建設(shè)市數(shù)據(jù)大腦,基于數(shù)據(jù)大腦提升數(shù)據(jù)治理能力和大數(shù)據(jù)分析能力,搭建起數(shù)據(jù)應(yīng)用體系。具體來看,該市的數(shù)據(jù)大腦平臺遵循“五個(gè)一”(一個(gè)定位、一個(gè)平臺、一個(gè)終端、一批項(xiàng)目、一大產(chǎn)業(yè))總要求,按照“12345”的總體思路推進(jìn)工作。即:建設(shè)一個(gè)大腦,提升兩種能力,聚焦三大領(lǐng)域,突出四個(gè)重點(diǎn),實(shí)現(xiàn)五大愿景。具體如下圖所示:圖 10: 某市數(shù)據(jù)大腦平臺建設(shè)思路在這一背景下,該市與明略科技和騰訊云合作,打造了基于自身的數(shù)據(jù)大腦數(shù)據(jù)中臺。明略科技是一家企業(yè)級認(rèn)知智能服務(wù)平臺提供商,致力于通過大數(shù)據(jù)分析挖掘和認(rèn)知智能技術(shù),推動知識和管理復(fù)雜度高的大型企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型。明略科技的數(shù)據(jù)中臺以云原生和數(shù)據(jù)資產(chǎn)圖譜平臺兩大支撐能力為支撐,以多維數(shù)據(jù)的感知和匯聚能力、基于知識圖譜的數(shù)據(jù)融通打通能力、基于智能數(shù)據(jù)引擎的數(shù)據(jù)自服務(wù)能力,賦能客戶的中臺建設(shè),實(shí)現(xiàn)客戶數(shù)據(jù)的資產(chǎn)化、智能化和服務(wù)化。軟件產(chǎn)品和咨詢結(jié)合,助力該市搭建數(shù)據(jù)中臺數(shù)據(jù)大腦明略科技為該市提供了一整套解決方案,包括軟件產(chǎn)品和咨詢服務(wù),后者包括數(shù)據(jù)治理咨詢和數(shù)據(jù)分析咨詢服務(wù)。首先,軟件產(chǎn)品方面,明略科技提供的數(shù)據(jù)中臺產(chǎn)品主要包括數(shù)據(jù)匯聚平臺、數(shù)據(jù)標(biāo)準(zhǔn)化平臺、元數(shù)據(jù)管理平臺、開發(fā)調(diào)度平臺、用戶管理平臺及數(shù)據(jù)質(zhì)量管理平臺。以這些軟件產(chǎn)品為支撐,該市搭建的數(shù)據(jù)中臺能夠?qū)崿F(xiàn)數(shù)據(jù)全生命周期管理。同時(shí),在數(shù)據(jù)應(yīng)用和分析方面,明略科技提供了知識圖譜產(chǎn)品,實(shí)現(xiàn)大數(shù)據(jù)分析能力和模型智能構(gòu)建能力的在線開放共享。其次,在咨詢服務(wù)方面,明略科技提供了數(shù)據(jù)治理和數(shù)據(jù)分析咨詢服務(wù)。數(shù)據(jù)治理咨詢包括五大方面:第一,幫助該市數(shù)據(jù)資源管理局建立數(shù)據(jù)治理的組織保障、工作機(jī)制流程,形成數(shù)據(jù)戰(zhàn)略制定、數(shù)據(jù)架構(gòu)規(guī)劃的能力;第二,幫助該市數(shù)據(jù)資源管理局制定數(shù)據(jù)管理和治理、數(shù)據(jù)開發(fā)運(yùn)維、數(shù)據(jù)運(yùn)營等方面的管理標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)及數(shù)據(jù)標(biāo)準(zhǔn),解決流程化管理、信息化管理的問題;第三,構(gòu)建市級數(shù)倉中心,特別是標(biāo)準(zhǔn)庫、基礎(chǔ)庫的核心建設(shè)工作,建設(shè)符合該市的數(shù)據(jù)管理需求的統(tǒng)一管理的數(shù)倉中心;第四,構(gòu)建數(shù)據(jù)運(yùn)營中心,能夠以業(yè)務(wù)元數(shù)據(jù)管控的方式,從業(yè)務(wù)視角和管理視角,規(guī)范性開展數(shù)據(jù)運(yùn)營,促進(jìn)數(shù)據(jù)價(jià)值的發(fā)揮;第五,保障數(shù)據(jù)中臺的平穩(wěn)有效運(yùn)行,該市各委辦局,上下級單位間的數(shù)據(jù)資源能夠有效對接,并在運(yùn)行過程建立發(fā)現(xiàn)問題的機(jī)制,并持續(xù)改進(jìn)。明略科技提供的數(shù)據(jù)分析咨詢服務(wù)包括兩方面。第一,制定該市政務(wù)數(shù)據(jù)分析方法論和政務(wù)數(shù)據(jù)分析流程,指導(dǎo)各部門進(jìn)行政務(wù)數(shù)據(jù)分析;第二,基于主題應(yīng)用和專題分析,構(gòu)建分析模型和輸出分析報(bào)告,給市領(lǐng)導(dǎo)及主管部門提供決策支持?;诿髀钥萍己万v訊云為該市搭建的數(shù)據(jù)中臺,該市的數(shù)字城市項(xiàng)目取得了階段性成效,體現(xiàn)在資源目錄、數(shù)據(jù)共享和數(shù)據(jù)分析方面。資源目錄方面,2020年,上線的統(tǒng)一數(shù)據(jù)中臺服務(wù)了55家委辦局,共有1800類數(shù)據(jù)資源上線;在數(shù)據(jù)歸集方面,歸集數(shù)據(jù)資源總量150億條,生成數(shù)據(jù)接口800個(gè)。數(shù)據(jù)共享方面,接口累計(jì)調(diào)用130億次;庫表交換累計(jì)40億條,為35家委辦局提供服務(wù),例如不動產(chǎn)轉(zhuǎn)移登記與水電氣聯(lián)動過戶、市住建局的住建行業(yè)從業(yè)人員社保繳費(fèi)情況核查、政務(wù)一體化建設(shè)、城市APP建設(shè)等,有效推進(jìn)“一件事一次辦”,實(shí)現(xiàn)更多政務(wù)服務(wù)和便民服務(wù)讓市民享受一次辦結(jié)的便利,進(jìn)一步優(yōu)化營商環(huán)境,推動政府職能轉(zhuǎn)變。數(shù)據(jù)分析方面,共實(shí)現(xiàn)了11份分析應(yīng)用主題,包括境外疫情輸入分析,海外每日疫情發(fā)展情況,手機(jī)信令復(fù)工復(fù)產(chǎn)數(shù)據(jù)分析,新型智慧城市助力軟件業(yè)再出發(fā)課題,養(yǎng)老金核查分析,失業(yè)金核查分析,工傷救助核查分析,醫(yī)保核查分析,城市道路交通影響分析,養(yǎng)老金發(fā)放情況分析與預(yù)測,社會保險(xiǎn)參保人數(shù)和基金繳納情況分析。
案例5 : 搭建統(tǒng)一大數(shù)據(jù)智慧平臺,滬杭甬高速提升智慧化運(yùn)營水平
近年來,中國高速公路路網(wǎng)趨于飽和,基礎(chǔ)建設(shè)需求正逐年降低,而管理需求卻逐年增強(qiáng)。如何利用智能技術(shù)、數(shù)字技術(shù)建設(shè)智慧高速,盤活資產(chǎn)、提高管理效能和服務(wù)質(zhì)量,降低運(yùn)維成本及安全風(fēng)險(xiǎn),成為高速公路運(yùn)營機(jī)構(gòu)和交通參與者的迫切需求。浙江滬杭甬高速公路股份有限公司投資經(jīng)營及管理省內(nèi)外18條高速公路,總里程1566公里。其中,滬杭甬高速公路于1998年底全線建成通車,是浙江開建的第一條高速公路,途經(jīng)嘉興、杭州、紹興、寧波四個(gè)地市,全長248公里。滬杭甬高速也展開了自身的智慧交通建設(shè),其面臨以下突出難點(diǎn):高速公路的數(shù)據(jù)很難與其他行業(yè)形成交互,信息孤島問題嚴(yán)重;高速公路應(yīng)急指揮調(diào)度系統(tǒng)缺乏信息化的管理手段,應(yīng)急處置能力有待提升;高速公路的智能化水平,尚不能滿足運(yùn)營服務(wù)和道路駕乘人員的使用需要,公眾出行服務(wù)水平不高。在這一背景下,滬杭甬高速與同盾科技展開合作,希望通過搭建統(tǒng)一的大數(shù)據(jù)智慧平臺,提升道路交通的智慧化運(yùn)營和管理水平。同盾科技以人工智能、云計(jì)算、大數(shù)據(jù)三大核心技術(shù)體系為基礎(chǔ),基于對數(shù)據(jù)的探索洞察和深刻理解,能夠?qū)⑸疃葘W(xué)習(xí)、聯(lián)邦學(xué)習(xí)等領(lǐng)先技術(shù)與智慧高速建設(shè)的業(yè)務(wù)場景相結(jié)合,為金融、保險(xiǎn)、互聯(lián)網(wǎng)、政務(wù)、零售、物流等行業(yè)提供智能分析與決策服務(wù)。以星河-大數(shù)據(jù)平臺為支撐,同盾科技為滬杭甬高速運(yùn)營商搭建了智慧高速云控平臺。2019年,“滬杭甬高速智慧化提升改造項(xiàng)目”正式啟動,歷經(jīng)一年的研究和實(shí)施,滬杭甬高速公路智慧化提升改造一期工程現(xiàn)已完成建設(shè),到2020年底項(xiàng)目一期基本建成通車。基于云原生架構(gòu),通過智能決策中臺,構(gòu)建智慧高速場景 從架構(gòu)上看,智慧高速云控平臺是一個(gè)包含底層、中層到上層的全面服務(wù)平臺。圖 11: 滬杭甬高速智慧高速云控平臺架構(gòu)如上圖所示,智慧高速云控平臺底部是云原生平臺,“云”作為數(shù)據(jù)、應(yīng)用的硬件支撐。同盾科技云原生團(tuán)隊(duì)為高速公路智慧化建設(shè)提供公有云服務(wù)、私有云計(jì)算平臺。為收費(fèi)站提供邊緣計(jì)算服務(wù)器+虛擬化/超融合解決方案,滿足自由流收費(fèi)需求。基于云原生的架構(gòu),可實(shí)現(xiàn)資源可一鍵擴(kuò)縮容,故障可自愈(云化后業(yè)務(wù)未中斷),滿足對計(jì)算和存儲資源的動態(tài)需求。智慧高速云控平臺中間層是智能決策中臺。同盾科技通過部署大數(shù)據(jù)底層,包括可視化數(shù)據(jù)開發(fā)平臺、離線計(jì)算、流計(jì)算、機(jī)器學(xué)習(xí),搜索引擎、對象存儲、云關(guān)系型數(shù)據(jù),滿足滬杭甬大數(shù)據(jù)處理、分析、挖掘、管理和應(yīng)用等需求。在這一基礎(chǔ)上,把數(shù)據(jù)背后的路特征、車特征、人特征歸納總結(jié)出來,為路的運(yùn)營、車的運(yùn)輸、人的通行提升效能。智慧高速云控平臺最上層是應(yīng)用場景層。智慧高速云控平臺集成運(yùn)行監(jiān)測、應(yīng)急指揮、養(yǎng)護(hù)管理、收費(fèi)管理、重點(diǎn)車輛跟蹤、營運(yùn)分析等各項(xiàng)功能,提供智慧高速、智慧隧道、智慧橋梁、智慧樞紐、智慧服務(wù)區(qū)等場景應(yīng)用,構(gòu)建數(shù)字駕駛艙。總體來看,智慧高速云控平臺能夠?qū)Σ煌瑏碓吹臄?shù)據(jù)進(jìn)行統(tǒng)一接入,并基于統(tǒng)一平臺進(jìn)行整合和分析。其中,一個(gè)重要的數(shù)據(jù)源是“慧眼”系統(tǒng),也即在高速路段布設(shè)的各類感知設(shè)備,包括攝像頭、雷達(dá)等。據(jù)浙江滬杭甬高速公路股份有限公司信息中心副主任陳建新介紹,在杭甬高速柯橋至紹興路段上,每隔250米布設(shè)了一套毫米波雷達(dá)和視頻數(shù)據(jù)設(shè)備,而在滬杭甬其他路段,每隔1公里架設(shè)了一臺攝像機(jī)。“這些‘慧眼’非常靈敏,不分晝夜地感知車流、車速以及一切異常,并源源不斷地發(fā)送信息給后臺大腦?!敝腔鄹咚僭瓶仄脚_能夠?qū)④洝⒂布娜诤线B接,通過整合不同來源數(shù)據(jù),實(shí)現(xiàn)對運(yùn)營商、高速交警、互聯(lián)網(wǎng)企業(yè)、交通管理部門、電子監(jiān)控系統(tǒng)等信息的整合與分析,從而實(shí)現(xiàn)對交通的精準(zhǔn)分析、整體研判和協(xié)同指揮。收獲數(shù)據(jù)洞察的過程大致經(jīng)歷以下過程:圖 12: 滬杭甬高速智慧高速云控平臺數(shù)據(jù)洞察過程智慧高速云控平臺,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動運(yùn)營基于智慧高速云控平臺,滬杭甬高速實(shí)現(xiàn)了實(shí)時(shí)監(jiān)測、客戶服務(wù)、收費(fèi)管理等方面的應(yīng)用場景支撐。實(shí)現(xiàn)監(jiān)測方面,智慧高速云控平臺能夠利用大數(shù)據(jù)實(shí)時(shí)分析技術(shù)和高效人工智能算法,自動發(fā)現(xiàn)交通異常事件(如擁堵、事故、違法駕駛行為等),融合移動互聯(lián)網(wǎng)上報(bào)事件實(shí)現(xiàn)全天候事件自動監(jiān)測及應(yīng)急疏導(dǎo)和一體化施救??蛻舴?wù)方面,平臺打通公眾和高速公路管理者之間的雙向信息交互,實(shí)現(xiàn)了多渠道(情報(bào)板、高德/百度地圖、短信、APP等)精準(zhǔn)化交通信息便捷發(fā)布,優(yōu)化路網(wǎng)的交通組織和誘導(dǎo),提升了公眾出行體驗(yàn)。道路管控方面,平臺能夠基于高速公路各類感知設(shè)備的實(shí)時(shí)交通信息分析全路網(wǎng)交通態(tài)勢,實(shí)現(xiàn)未來交通趨勢的準(zhǔn)確預(yù)測。實(shí)時(shí)精確核算海量車輛通行記錄和應(yīng)收費(fèi)率,使每輛車的每筆費(fèi)用都應(yīng)征不漏。具體來看,智慧高速云控平臺上線后,滬杭甬高速達(dá)到的項(xiàng)目收益體現(xiàn)在以下方面:首先,實(shí)現(xiàn)全網(wǎng)交通態(tài)勢預(yù)測準(zhǔn)確率90%以上。根據(jù)數(shù)據(jù)實(shí)時(shí)分析,行程時(shí)間相比智能導(dǎo)航提升5%-10%;試驗(yàn)路段事故30秒內(nèi)發(fā)現(xiàn),并通過智慧高速APP、智能車載終端、情報(bào)板等方式告知客戶。其次,項(xiàng)目實(shí)現(xiàn)了人、車、路網(wǎng)及周邊環(huán)境智能協(xié)同運(yùn)轉(zhuǎn),運(yùn)行路段的通行能力提升20%、道路擁堵時(shí)間降低10%、道路行車事故下降10%,道路運(yùn)營環(huán)境更趨安全,交通秩序明顯改善。道路設(shè)施醒目化也減少了夜間行車事故,提升了車速,夜間事故數(shù)量相比之前平均下降12.9%,夜間平均車速相比之前提升9.51%。最后,客戶可在滬杭甬全線享受公里級氣象推送服務(wù),內(nèi)容包括惡劣天氣、安全駕駛和服務(wù)區(qū)躲避建議等提醒信息。


4.3 消費(fèi)品與零售

在互聯(lián)網(wǎng)大潮以及疫情常態(tài)化的沖擊下,消費(fèi)品與零售行業(yè)的企業(yè)面臨前所未有的機(jī)遇和挑戰(zhàn)。一方面,線下門店銷售遇冷,線上渠道發(fā)揮了巨大價(jià)值,線上已經(jīng)成為了費(fèi)品與零售企業(yè)的重要的渠道。另一方面,市場環(huán)境和消費(fèi)者的需求也在不斷發(fā)生變化。因此,打通線上與線下數(shù)據(jù),精確地洞察市場和消費(fèi)者,快速推出符合市場需求的個(gè)性化產(chǎn)品并觸達(dá)消費(fèi)者,同時(shí)用數(shù)據(jù)驅(qū)動更高效地供應(yīng)鏈、銷售、客戶的管理,為企業(yè)經(jīng)營降本增效,成為了消費(fèi)品與零售企業(yè)搭建數(shù)據(jù)平臺的核心訴求。

很多連鎖化經(jīng)營的消費(fèi)品和零售企業(yè)在過去的信息化建設(shè)過程中,沉淀了多套業(yè)務(wù)和數(shù)據(jù)系統(tǒng),如CRM、ERP、SCM,以及分散在多個(gè)業(yè)務(wù)部門或業(yè)務(wù)線的數(shù)據(jù)庫、數(shù)據(jù)倉庫等。這給企業(yè)帶來的問題是企業(yè)內(nèi)部的數(shù)據(jù)體系重復(fù)建設(shè),數(shù)據(jù)資產(chǎn)割裂,各種線上線下數(shù)據(jù)無法聯(lián)動,不能為企業(yè)數(shù)字化運(yùn)營服務(wù)。

因此,消費(fèi)品與零售行業(yè)的企業(yè)建設(shè)數(shù)據(jù)智能平臺最重要的工作是匯聚和治理分散在各個(gè)業(yè)務(wù)和數(shù)據(jù)系統(tǒng)的數(shù)據(jù),建立數(shù)據(jù)規(guī)范,按照業(yè)務(wù)需求規(guī)劃統(tǒng)一的數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)服務(wù)和標(biāo)簽體系的數(shù)據(jù)能力,形成對企業(yè)各個(gè)業(yè)務(wù)線的經(jīng)營管理狀態(tài)的準(zhǔn)確洞察。


案例6 : 數(shù)據(jù)中臺賦能百麗國際集團(tuán),應(yīng)對數(shù)字化轉(zhuǎn)型挑戰(zhàn)
百麗國際(以下簡稱百麗)成立于1992年,是一家大型時(shí)尚及運(yùn)動產(chǎn)業(yè)集團(tuán),業(yè)務(wù)涵蓋鞋類、運(yùn)動和服飾三大業(yè)務(wù),旗下?lián)碛蠦ELLE、STACCATO、TATA等十多個(gè)鞋履品牌,以及initial、MOUSSY、SLY等服飾品牌,也是十余個(gè)全球領(lǐng)先運(yùn)動品牌的在華關(guān)鍵零售伙伴。在29年的發(fā)展史中,百麗一直重視用數(shù)據(jù)賦能業(yè)務(wù),從早期對財(cái)務(wù)系統(tǒng)、數(shù)據(jù)報(bào)表、數(shù)據(jù)查詢的應(yīng)用,到2012年左右開始組建IT團(tuán)隊(duì),自建數(shù)倉、BI以及各類業(yè)務(wù)系統(tǒng),以滿足百麗鞋類業(yè)務(wù)20多個(gè)品牌,8個(gè)大區(qū)各異的業(yè)務(wù)需求。經(jīng)過多年的IT建設(shè),百麗已經(jīng)打通了各品牌線上和線下的數(shù)據(jù)。為了給各業(yè)務(wù)線提供統(tǒng)一和更精細(xì)化的數(shù)據(jù)服務(wù),建立一體化的數(shù)據(jù)權(quán)限體系,以及為未來智能化應(yīng)用打好基礎(chǔ),百麗需要搭建面向整個(gè)集團(tuán)的數(shù)據(jù)中臺體系。在開始搭建數(shù)據(jù)中臺之前,百麗已經(jīng)通過內(nèi)部的統(tǒng)一數(shù)倉項(xiàng)目將多套數(shù)倉、大數(shù)據(jù)平臺做了合并,通過數(shù)據(jù)字典項(xiàng)目將基于BI的分散在70多個(gè)子系統(tǒng)的1300多個(gè)KPI、700個(gè)維度做了梳理和統(tǒng)一。然而,百麗數(shù)據(jù)中臺的搭建仍然面臨以下挑戰(zhàn):1) 在之前多個(gè)數(shù)倉并行的階段,百麗有兩套數(shù)據(jù)采集系統(tǒng),一套提供實(shí)時(shí)數(shù)據(jù)采集功能,一套提供批量數(shù)據(jù)采集功能,因此數(shù)據(jù)采集工具或組件相對獨(dú)立和割裂,在管理上沒有統(tǒng)一。2) 數(shù)據(jù)中臺有直接面向用戶的功能型和流程型模塊,也有面向數(shù)據(jù)開發(fā)部門的數(shù)據(jù)型模塊,而傳統(tǒng)的Excel表格很難滿足不同部門在數(shù)據(jù)管理和協(xié)調(diào)上的需求,因此需要對數(shù)據(jù)字典進(jìn)行平臺化的管理,同時(shí)平臺需要具備對指標(biāo)進(jìn)行新增或動態(tài)調(diào)整的功能,并能讓前端用戶了解指標(biāo)的定義和計(jì)算方法。3) 在開發(fā)數(shù)據(jù)應(yīng)用的過程中,缺乏統(tǒng)一和標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù),因此開發(fā)效率不高,且無法查看服務(wù)管理的全局信息,無法做統(tǒng)一的權(quán)限管理。4) 數(shù)據(jù)資產(chǎn)管理體系龐大,用傳統(tǒng)的方式管理數(shù)據(jù)質(zhì)量對人員依賴非常高,且投入巨大。標(biāo)準(zhǔn)產(chǎn)品與定制項(xiàng)目相結(jié)合,構(gòu)建龐大且復(fù)雜的中臺體系在數(shù)據(jù)中臺搭建中,百麗選擇了滴普科技作為合作伙伴。滴普科技是一家全場景數(shù)據(jù)智能服務(wù)商,有著深厚的技術(shù)和平臺建設(shè)經(jīng)驗(yàn)積累,其在商業(yè)與金融科技、智慧政務(wù)、智能精益制造等核心場景中,為100余家知名大中型企業(yè)提供了標(biāo)桿性的數(shù)字化轉(zhuǎn)型服務(wù)。對于百麗這樣體量龐大且業(yè)務(wù)較傳統(tǒng)的企業(yè),數(shù)據(jù)中臺的搭建需要企業(yè)內(nèi)部團(tuán)隊(duì)與外部技術(shù)服務(wù)商發(fā)揮各自優(yōu)勢合作共建。在該項(xiàng)目中,百麗的IT團(tuán)隊(duì)基于對公司業(yè)務(wù)的了解,對業(yè)務(wù)邏輯、業(yè)務(wù)管理和業(yè)務(wù)流程做了系統(tǒng)和全面的梳理。滴普科技則通過標(biāo)準(zhǔn)化的產(chǎn)品和定制服務(wù)提供技術(shù)解決方案。在標(biāo)準(zhǔn)化產(chǎn)品方面,滴普科技通過數(shù)據(jù)集成工具DCT,為百麗提供多種數(shù)據(jù)源的匯聚整合,且能做到低成本和高可用;通過數(shù)據(jù)資產(chǎn)智能開發(fā)套件DaaS,為百麗提供高效的數(shù)據(jù)匯聚、加工、服務(wù)、資產(chǎn)管理功能。針對百麗的一些個(gè)性化需求,如傳統(tǒng)企業(yè)前端系統(tǒng)和業(yè)務(wù)流程具有特定的業(yè)務(wù)規(guī)范,需要對半年甚至一年以上的歷史數(shù)據(jù)進(jìn)行處理,但標(biāo)準(zhǔn)廠商的技術(shù)組件難以在已經(jīng)成型的IT和數(shù)據(jù)架構(gòu)體系中調(diào)用;因而需要打造“一人一賬戶”的權(quán)限中臺,構(gòu)建更偏業(yè)務(wù)的數(shù)據(jù)字典,并在平臺部署后運(yùn)行測試,保障公司復(fù)雜的業(yè)務(wù)系統(tǒng)可用。滴普科技的實(shí)施和交付團(tuán)隊(duì)都為百麗提供了相應(yīng)的定制化解決方案。圖 13: 百麗的數(shù)據(jù)中臺架構(gòu)圖數(shù)據(jù)中臺賦能百麗數(shù)據(jù)服務(wù)體系通過構(gòu)建數(shù)據(jù)中臺,百麗期望通過構(gòu)建面向未來的技術(shù)和應(yīng)用架構(gòu)以及數(shù)據(jù)管理體系,實(shí)現(xiàn)數(shù)據(jù)匯聚集成、業(yè)務(wù)數(shù)據(jù)字典管理、數(shù)據(jù)資產(chǎn)管治及數(shù)據(jù)服務(wù)能力。首先是實(shí)現(xiàn)多數(shù)據(jù)源的匯聚整合,并實(shí)現(xiàn)對數(shù)據(jù)字典的平臺化管理,給業(yè)務(wù)人員使用數(shù)據(jù),了解數(shù)據(jù)指標(biāo)的意義,為業(yè)務(wù)部門間的溝通協(xié)作提供了很大的便利。在數(shù)據(jù)質(zhì)量管理方面,數(shù)據(jù)中臺簡化了數(shù)據(jù)開發(fā)要求,并在數(shù)據(jù)稽查、質(zhì)量度量, 以及覆蓋數(shù)據(jù)產(chǎn)品的全鏈路監(jiān)控,實(shí)現(xiàn)高質(zhì)量數(shù)據(jù)保障。同時(shí),建立統(tǒng)一化的數(shù)據(jù)服務(wù)平臺,為數(shù)據(jù)用戶提供統(tǒng)一口徑和標(biāo)準(zhǔn)的數(shù)據(jù)查詢和獲取能力,高效地支持好業(yè)務(wù)前臺決策、業(yè)務(wù)創(chuàng)新等場景需求。百麗數(shù)據(jù)中臺的成功經(jīng)驗(yàn)1) 在搭建數(shù)據(jù)中臺之前制定清晰的目標(biāo)。百麗在啟動數(shù)據(jù)中臺項(xiàng)目之前對平臺的功能以及技術(shù)細(xì)節(jié)做了非常明確的規(guī)劃,因此后續(xù)可以基于這些目標(biāo)做清晰的階段劃分、人員組織安排。2) 結(jié)合內(nèi)外部團(tuán)隊(duì)優(yōu)勢,共創(chuàng)共建。在該項(xiàng)目中百麗對公司內(nèi)部業(yè)務(wù)和數(shù)字化現(xiàn)狀很了解,滴普科技則具備技術(shù)上的優(yōu)勢,雙方團(tuán)隊(duì)經(jīng)過不斷的溝通和合作,發(fā)揮各自優(yōu)勢,才能推動數(shù)據(jù)中臺落地。3) 公司自上而下對數(shù)字化有很高認(rèn)知并全員參與建設(shè)。百麗的管理層和業(yè)務(wù)部門的人員對數(shù)字化的認(rèn)知程度很高,公司內(nèi)部非常重視數(shù)據(jù)中臺項(xiàng)目,所有關(guān)鍵人員都會自發(fā)參與,資源也會往該項(xiàng)目傾斜,全員的參與和投入,使得項(xiàng)目推動很順利。4) 業(yè)務(wù)邏輯要依靠公司內(nèi)部而不是咨詢公司梳理。數(shù)據(jù)的有效應(yīng)用需要以公司業(yè)務(wù)和管理標(biāo)準(zhǔn)為前提,很多公司通過外部咨詢機(jī)構(gòu)做業(yè)務(wù)和管理標(biāo)準(zhǔn)的統(tǒng)一,往往不能得到公司管理層的認(rèn)可。百麗則是由公司內(nèi)部IT和業(yè)務(wù)部門梳理和統(tǒng)一了業(yè)務(wù)管理標(biāo)準(zhǔn),從而有效支撐了數(shù)據(jù)應(yīng)用。


4.4 工業(yè)與能源

工業(yè)與能源這類傳統(tǒng)行業(yè)的企業(yè)在經(jīng)營管理中一直存在一些固有頑疾,如業(yè)務(wù)流程復(fù)雜、生產(chǎn)工藝依賴人工經(jīng)驗(yàn)、管理水平落后、決策效率低下等問題。通過搭建數(shù)據(jù)平臺,實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型,工業(yè)與能源行業(yè)的企業(yè)可以在生產(chǎn)制造、供應(yīng)鏈管理、組織管理、經(jīng)營決策,甚至交易、金融等環(huán)節(jié)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動,從而降低生產(chǎn)成本、提高決策效率、控制經(jīng)營風(fēng)險(xiǎn)等。

通常,工業(yè)與能源行業(yè)的企業(yè)數(shù)據(jù)呈現(xiàn)出多樣、實(shí)時(shí)和海量的特點(diǎn)。然而這類企業(yè)過去的信息化建設(shè)通常分步進(jìn)行,因此其業(yè)務(wù)系統(tǒng)數(shù)據(jù)分散,且傳統(tǒng)數(shù)倉無法支持業(yè)務(wù)實(shí)時(shí)性的需求;同時(shí),由于產(chǎn)品類型繁多,產(chǎn)品數(shù)據(jù)ID不統(tǒng)一,數(shù)據(jù)質(zhì)量差,企業(yè)無法了解渠道、市場等方面更具體的情況,也難以對業(yè)務(wù)問題進(jìn)行深入分析和跟蹤改善。

因此,工業(yè)與能源行業(yè)的企業(yè)在構(gòu)建數(shù)據(jù)智能平臺時(shí),需要首先用一套統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)治理,拉通底層數(shù)據(jù)。其次,需要針對生產(chǎn)、設(shè)備、庫存、銷售等全流程的數(shù)據(jù),提供可視化看板,讓管理人員能實(shí)時(shí)、準(zhǔn)確地了解現(xiàn)場情況,快速準(zhǔn)確地做出決策。


案例7 : 發(fā)力數(shù)據(jù)中臺,明日控股構(gòu)建精準(zhǔn)、實(shí)時(shí)、敏捷的數(shù)據(jù)能力
浙江明日控股集團(tuán)(簡稱“明日控股”)是國內(nèi)領(lǐng)先的塑化原料供應(yīng)鏈管理服務(wù)商,業(yè)務(wù)范圍涵蓋塑料原料、液體化工、精細(xì)化工產(chǎn)品的貿(mào)易,以及相應(yīng)的供應(yīng)鏈金融、物流、信息、技術(shù)等產(chǎn)業(yè)鏈增值服務(wù)。多年來,明日控股一直重視信息化、數(shù)字化能力的建設(shè),且已經(jīng)搭建了多個(gè)業(yè)務(wù)系統(tǒng),以及數(shù)倉、BI等數(shù)據(jù)基礎(chǔ)設(shè)施,形成了一定規(guī)模的數(shù)據(jù)沉淀。但隨著業(yè)務(wù)的快速發(fā)展,公司內(nèi)部的系統(tǒng)越來越多,流程越來越復(fù)雜,原有數(shù)據(jù)系統(tǒng)已經(jīng)難以適應(yīng)其業(yè)務(wù)需求。對于現(xiàn)階段的明日控股而言,其核心業(yè)務(wù)需求在于通過數(shù)據(jù)全面掌握公司現(xiàn)貨端各個(gè)商品的實(shí)時(shí)狀態(tài),期貨端的類型、頭寸等數(shù)據(jù),從而為公司在現(xiàn)貨和期貨市場進(jìn)行各種操作提供決策支持。這就對底層數(shù)據(jù)平臺的數(shù)據(jù)的準(zhǔn)確性、實(shí)時(shí)性以及敏捷響應(yīng)能力提出了更高要求,具體如下:1) 數(shù)據(jù)的準(zhǔn)確性。明日控股之前的數(shù)據(jù)分散在各個(gè)業(yè)務(wù)系統(tǒng)中,業(yè)務(wù)場景多,業(yè)務(wù)鏈條長,導(dǎo)致公司總體業(yè)務(wù)邏輯和數(shù)據(jù)類型非常復(fù)雜。與此同時(shí),數(shù)據(jù)口徑不統(tǒng)一,缺少完整的數(shù)據(jù)規(guī)劃體系和數(shù)據(jù)管理規(guī)范,導(dǎo)致數(shù)據(jù)準(zhǔn)確性難以評估。2) 數(shù)據(jù)的實(shí)時(shí)性。明日控股原有數(shù)據(jù)系統(tǒng)只能做到事后數(shù)據(jù)及報(bào)表查看,無法實(shí)現(xiàn)現(xiàn)貨端商品動態(tài)情況及期貨端期貨類型、頭寸等數(shù)據(jù)的實(shí)時(shí)查詢。這一方面是由于其數(shù)據(jù)平臺缺乏實(shí)時(shí)的數(shù)據(jù)處理能力,另一方面是由于原有平臺在復(fù)雜的計(jì)算場景中性能表現(xiàn)不足。3) 敏捷響應(yīng)能力。明日控股業(yè)務(wù)部門和覆蓋的終端用戶很多,而原有報(bào)表系統(tǒng)的SQL語句都是封裝固定的,缺乏可復(fù)用性,當(dāng)業(yè)務(wù)用戶提出新的報(bào)表或數(shù)據(jù)應(yīng)用需求時(shí),數(shù)據(jù)部門需要重新進(jìn)行開發(fā),響應(yīng)速度很慢,且耗費(fèi)大量人力成本。基于數(shù)據(jù)全鏈路,明日控股構(gòu)建數(shù)據(jù)中臺基于對奇點(diǎn)云產(chǎn)品和項(xiàng)目交付能力、落地經(jīng)驗(yàn)的認(rèn)可,明日控股選擇與奇點(diǎn)云進(jìn)行合作,共同構(gòu)建數(shù)據(jù)中臺,以解決上述數(shù)據(jù)應(yīng)用中的問題。奇點(diǎn)云是業(yè)內(nèi)領(lǐng)先的獨(dú)立第三方數(shù)據(jù)中臺服務(wù)商,其自主研發(fā)的AI驅(qū)動的數(shù)據(jù)中臺,能夠幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)采集自動化、數(shù)據(jù)治理智能化、數(shù)據(jù)資產(chǎn)私有化、數(shù)據(jù)應(yīng)用敏捷化,完成數(shù)據(jù)生命周期管理。截至目前,奇點(diǎn)云已服務(wù)過600+家政企客戶。針對數(shù)據(jù)類型復(fù)雜、數(shù)據(jù)口徑不統(tǒng)一的問題,雙方共同組建的項(xiàng)目組對明日控股的業(yè)務(wù)流程與數(shù)據(jù)現(xiàn)狀進(jìn)行了梳理,奇點(diǎn)云據(jù)此提出了一系列數(shù)據(jù)治理的思路和方法論,并指導(dǎo)了項(xiàng)目組對每一節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行逐一排查,針對每一問題形成相應(yīng)解決方案,最終將數(shù)據(jù)全部清洗干凈;與此同時(shí),為了統(tǒng)一數(shù)據(jù)規(guī)范,雙方的架構(gòu)師對數(shù)據(jù)規(guī)范、對接方式、上游系統(tǒng)是否建主備庫、網(wǎng)絡(luò)規(guī)劃、賬號體系等都做了統(tǒng)一約定。在此基礎(chǔ)上,基于對組織、人員、商品、詞典等數(shù)據(jù)的梳理,明日控股匯總各個(gè)異構(gòu)數(shù)據(jù)源數(shù)據(jù)并將類型進(jìn)行了統(tǒng)一,完成了主數(shù)據(jù)系統(tǒng)建設(shè)。針對數(shù)據(jù)使用實(shí)時(shí)性的問題,數(shù)據(jù)中臺使用了Kafka、Flink等數(shù)據(jù)處理引擎,將數(shù)據(jù)解析后存放到Kafka消息隊(duì)列,再通過流計(jì)算引擎Flink的處理,把計(jì)算結(jié)果存在數(shù)據(jù)庫中,并對外提供API或數(shù)據(jù)查詢服務(wù)。同時(shí),數(shù)據(jù)中臺采用了流批一體化的架構(gòu),對于部分不需要參與實(shí)時(shí)計(jì)算的數(shù)據(jù),以離線計(jì)算的方式進(jìn)行預(yù)先計(jì)算和預(yù)存,避免了實(shí)時(shí)計(jì)算中如果對大量歷史單據(jù)數(shù)據(jù)計(jì)算,消耗內(nèi)存和服務(wù)器節(jié)點(diǎn)過多的問題,從而提高了實(shí)時(shí)計(jì)算的性能。為提高數(shù)據(jù)使用的敏捷響應(yīng)能力,明日控股構(gòu)建了數(shù)據(jù)指標(biāo)體系,依托指標(biāo)的強(qiáng)解耦性,實(shí)現(xiàn)了不同用戶對報(bào)表和數(shù)據(jù)應(yīng)用的個(gè)性化需求,提升了數(shù)據(jù)需求響應(yīng)速度。此外,在奇點(diǎn)云的幫助下,明日控股從業(yè)務(wù)價(jià)值高、數(shù)據(jù)基礎(chǔ)高的場景出發(fā),建立起了完善的數(shù)據(jù)分析體系,包括了10多個(gè)業(yè)務(wù)域,總共數(shù)百個(gè)分析場景,讓數(shù)據(jù)查看更直觀和便捷。圖 14: 明日控股數(shù)據(jù)中臺架構(gòu)明日控股數(shù)據(jù)中臺的價(jià)值與效果數(shù)據(jù)中臺落地后,在數(shù)據(jù)和業(yè)務(wù)層面上,明日控股實(shí)現(xiàn)了多種價(jià)值與效果:第一,實(shí)現(xiàn)了整體數(shù)據(jù)資產(chǎn)的在線化。建立了在線的報(bào)表說明及指標(biāo)字典,完成了包括159個(gè)原子指標(biāo)、29張報(bào)表、2個(gè)看板和1個(gè)大屏的開發(fā),并且能夠明確每張報(bào)表、每個(gè)字段的意義和作用,便于用戶按圖索驥,快速找到所需的數(shù)據(jù)資產(chǎn)。第二,實(shí)現(xiàn)了現(xiàn)貨端和期貨端各種數(shù)據(jù)的實(shí)時(shí)查詢與展現(xiàn)。實(shí)時(shí)的數(shù)據(jù)查詢和展現(xiàn)能力,一方面為業(yè)務(wù)發(fā)展帶來了重要的價(jià)值,如進(jìn)銷存領(lǐng)域的數(shù)據(jù)準(zhǔn)確率達(dá)到100%,數(shù)據(jù)實(shí)時(shí)性從5分鐘提升到了10秒內(nèi),成為了支撐公司業(yè)務(wù)發(fā)展的必不可少的基礎(chǔ)能力,另一方面,改變了過去需要多部門向高層管理人員人工上報(bào)數(shù)據(jù)的現(xiàn)狀,大大降低了人力成本,同時(shí)更好地支撐了管理層的決策效率。第三,實(shí)現(xiàn)了數(shù)據(jù)可復(fù)用,提升了用戶對數(shù)據(jù)使用需求的響應(yīng)速度。通過建立底層的指標(biāo)體系,當(dāng)用戶提出報(bào)表或者數(shù)據(jù)應(yīng)用的需求時(shí),可以根據(jù)需要的自主選擇相應(yīng)的數(shù)據(jù)指標(biāo),從而實(shí)現(xiàn)業(yè)務(wù)需求的快速響應(yīng)。明日控股數(shù)據(jù)中臺的建設(shè)經(jīng)驗(yàn)第一,對于業(yè)務(wù)場景復(fù)雜的企業(yè)而言,建數(shù)據(jù)中臺需要盡量選擇項(xiàng)目經(jīng)驗(yàn)豐富的廠商。首先,項(xiàng)目經(jīng)驗(yàn)豐富的廠商具備系統(tǒng)性的方法論支撐,能夠有效指導(dǎo)企業(yè)數(shù)據(jù)平臺的建設(shè);其次,項(xiàng)目經(jīng)驗(yàn)豐富的廠商能夠清晰理解企業(yè)在各個(gè)場景中的業(yè)務(wù)需求,能夠?qū)ㄔO(shè)過程中的風(fēng)險(xiǎn)有預(yù)判,避免踩坑。第二,數(shù)據(jù)中臺建設(shè)需深入業(yè)務(wù),甲方與廠商進(jìn)行共創(chuàng)。該項(xiàng)目中,明日控股與奇點(diǎn)云深度梳理業(yè)務(wù)流程,把握需求與痛點(diǎn),結(jié)合數(shù)智化能力,構(gòu)建了最佳解決方案并實(shí)現(xiàn)了落地,以數(shù)據(jù)驅(qū)動業(yè)務(wù)增長和創(chuàng)新。
案例8 :構(gòu)建文檔管理體系,助力晶盛機(jī)電釋放數(shù)字資產(chǎn)價(jià)值
浙江晶盛機(jī)電股份有限公司(下稱“晶盛機(jī)電”)創(chuàng)建于2006年12月,是國內(nèi)領(lǐng)先的半導(dǎo)體材料裝備和LED襯底材料制造企業(yè),業(yè)務(wù)范圍涵蓋半導(dǎo)體、光伏裝備業(yè),發(fā)展LED襯底材料、工廠智能化服務(wù)解決方案等。數(shù)字資產(chǎn)管理是企業(yè)數(shù)字化運(yùn)營的重要保障支撐,數(shù)字資產(chǎn)生命周期管理包括存儲管理、查找使用、共享協(xié)作等。而文檔管理作為數(shù)字資產(chǎn)管理的重要部分,也是晶盛機(jī)電數(shù)字化運(yùn)營的重要底座。隨著數(shù)字化進(jìn)程的推進(jìn)和業(yè)務(wù)量的增長,晶盛機(jī)電原有的文檔管理模式已經(jīng)無法滿足其整體的業(yè)務(wù)協(xié)作和管理需求,因此建立以數(shù)字資產(chǎn)為中心的文檔管理體系,是晶盛機(jī)電的重要目標(biāo)。為了替代原有文件管理模式、構(gòu)建全新文檔管理體系,晶盛機(jī)電面臨著以下三方面挑戰(zhàn):第一,存儲管理方面,晶盛機(jī)電缺乏統(tǒng)一的以數(shù)字資產(chǎn)為中心的文檔管理平臺。原有各部門數(shù)據(jù)存放于部門級NAS中,相互獨(dú)立且文件體系結(jié)構(gòu)混亂,數(shù)據(jù)丟失風(fēng)險(xiǎn)大且丟失難以找回;且原有體系下權(quán)限不明晰,缺少異常行為監(jiān)控,無法滿足晶盛機(jī)電文檔外發(fā)安全可控和文檔長期保存的需求。第二,查找使用方面,原有體系混亂,系統(tǒng)內(nèi)容搜索和預(yù)覽過程繁瑣不便,且缺乏針對不同業(yè)務(wù)部門的有序流程優(yōu)化,不利于各部門進(jìn)行文檔數(shù)據(jù)的查閱及搜索,檢索效率低、成本高;第三,共享協(xié)作方面,缺乏內(nèi)外部信息協(xié)作共享能力。一方面,數(shù)據(jù)規(guī)范是數(shù)據(jù)應(yīng)用的前提,規(guī)范的文檔管理體系是文檔應(yīng)用與共享的支撐,而晶盛機(jī)電各部門缺乏整體的有序、規(guī)范的文檔管理體系,文檔離散、雜亂、標(biāo)準(zhǔn)不一,不利于內(nèi)部各部門間以及內(nèi)外部的文檔共享協(xié)作。另一方面,缺乏統(tǒng)一的內(nèi)外部信息協(xié)作共享工具,多通過NAS共享或通過郵件、微信發(fā)送文件。此外,為了構(gòu)建完善的文檔、內(nèi)容和知識體系,以充分實(shí)現(xiàn)內(nèi)容利用與價(jià)值挖掘,并借助知識體系為戰(zhàn)略做支撐。晶盛機(jī)電還需要進(jìn)一步解決以下問題:比如,原有文檔管理模式下,文檔內(nèi)容價(jià)值挖掘不足,無法充分沉淀、利用文檔內(nèi)容;未形成可復(fù)用的業(yè)務(wù)知識體系,不能從業(yè)務(wù)中抽取具有商業(yè)價(jià)值的信息,為公司發(fā)展戰(zhàn)略和數(shù)字化轉(zhuǎn)型做指導(dǎo)與支撐。基于非結(jié)構(gòu)數(shù)據(jù)中臺,晶盛機(jī)電搭建集中文檔管理體系針對上述需求與挑戰(zhàn),在綜合考慮各供應(yīng)商的技術(shù)能力、解決方案與實(shí)施落地經(jīng)驗(yàn)后,晶盛機(jī)電選擇與愛數(shù)展開合作。愛數(shù)成立于2006年,是大數(shù)據(jù)基礎(chǔ)設(shè)施提供商,提供結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、機(jī)器數(shù)據(jù)、知識圖譜數(shù)據(jù)等全域數(shù)據(jù)能力,為政府、公共事業(yè)及企業(yè)的數(shù)字化轉(zhuǎn)型賦能,幫助各行各業(yè)的客戶釋放數(shù)據(jù)價(jià)值,實(shí)現(xiàn)即時(shí)、隨時(shí)、實(shí)時(shí)的數(shù)據(jù)服務(wù)。在深入調(diào)研了晶盛機(jī)電各業(yè)務(wù)部門實(shí)際需求、梳理了業(yè)務(wù)流程后,愛數(shù)為晶盛機(jī)電建立了完整的項(xiàng)目體系建設(shè)規(guī)劃,包括一期文檔管理體系建設(shè)、二期內(nèi)容管理體系建設(shè)及三期知識創(chuàng)新體系建設(shè)。作為內(nèi)容管理體系與知識創(chuàng)新體系的基礎(chǔ),晶盛機(jī)電首先進(jìn)行了文檔管理體系的搭建。基于完整的文檔管理體系藍(lán)圖,晶盛機(jī)電構(gòu)建了集成權(quán)限管理、共享協(xié)作、查找檢索、審計(jì)管理及運(yùn)營管理等功能的、基于非結(jié)構(gòu)化數(shù)據(jù)中臺的集中文檔管理體系。圖 15: 晶盛機(jī)電文檔管理體系架構(gòu)晶盛機(jī)電以權(quán)限管理體系為支撐,搭建了基于非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一文檔管理平臺,以同時(shí)滿足文檔的安全性和存儲管理要求。數(shù)據(jù)遷移方面,晶盛機(jī)電引導(dǎo)、協(xié)助各部門用戶將個(gè)人電腦中及NAS平臺中的文件按部門存入平臺,并集成業(yè)務(wù)系統(tǒng)中的附件,保障了文件遷移的完整性。安全管控方面,搭建部門文件結(jié)構(gòu)時(shí),根據(jù)實(shí)際需求合理分配權(quán)限;建立了基于共享策略的安全管控,管理員在控制臺通過統(tǒng)一的共享策略,控制所有終端的文檔共享行為,對異常行為進(jìn)行監(jiān)控,以確保文檔訪問方式和訪問范圍的安全性;建立文檔多副本、文檔多版本、回收站等機(jī)制,助力晶盛機(jī)電實(shí)現(xiàn)數(shù)據(jù)安全可控。晶盛機(jī)電文檔管理平臺搭載了全終端一致的內(nèi)容搜索功能,以提升查找使用體驗(yàn)。愛數(shù)AnyShare Family V7基于海量索引和元數(shù)據(jù),結(jié)合人工智能技術(shù),能夠支持快速搜索、全文搜索、高級搜索等多種搜索模式,具備精準(zhǔn)搜索、模糊搜索、歷史記錄搜索和相似結(jié)果折疊等多重亮點(diǎn)。晶盛機(jī)電文檔管理體系具備高效便捷的內(nèi)容協(xié)作能力,以實(shí)現(xiàn)共享協(xié)作。首先,基于深度調(diào)研,晶盛機(jī)電以數(shù)字資產(chǎn)、成果文檔為中心,為各部門搭建有序的文件結(jié)構(gòu),以提升全局文檔和知識管理的規(guī)范性。其次,晶盛機(jī)電還構(gòu)建了完整的運(yùn)營管理體系和審計(jì)管理體系,規(guī)范了業(yè)務(wù)流程和數(shù)字資產(chǎn),為文檔共享協(xié)作做支撐。另外,晶盛機(jī)電使用了愛數(shù)提供了豐富的Office在線協(xié)作、PDF內(nèi)容管理、圖片和音視頻在線預(yù)覽、表單在線收集等應(yīng)用組件,支持多人在線編輯、在線收集、在線標(biāo)注等應(yīng)用場景;員工可通過SharedLink功能生成文檔鏈接給到內(nèi)部員工及外部供應(yīng)商查看,提高了共享協(xié)作效率。未來,在完成文檔管理體系建設(shè)的基礎(chǔ)上,晶盛機(jī)電將就內(nèi)容管理體系及知識創(chuàng)新體系,與愛數(shù)展開更為深入的合作。愛數(shù)將助力晶盛機(jī)電構(gòu)建內(nèi)容管理體系,充分利用文檔內(nèi)容、挖掘文檔價(jià)值,實(shí)現(xiàn)全面的內(nèi)容管理;打造知識創(chuàng)新體系,落地知識工程,運(yùn)用知識圖譜等工具實(shí)現(xiàn)非結(jié)構(gòu)數(shù)據(jù)商業(yè)智能功能,賦能業(yè)務(wù)數(shù)字化轉(zhuǎn)型。文檔管理體系提高文件查找與交互效率,賦能數(shù)字化轉(zhuǎn)型文檔管理體系的完整搭建,充分釋放文檔數(shù)據(jù)價(jià)值,為晶盛機(jī)電業(yè)務(wù)數(shù)字化轉(zhuǎn)型提供了支撐。具體而言,實(shí)現(xiàn)了以下效果:第一,保障了安全可控。文檔多副本、回收站雙重保險(xiǎn),加之文檔多版本管控,確保文檔丟失、誤刪或修改后可追溯、可找回;權(quán)限顆粒度管理,加之水印、外發(fā)審批、IP限制等功能,保障了文檔安全。項(xiàng)目建設(shè)完畢后,晶盛機(jī)電文檔誤操作丟失率下降了90%;第二,實(shí)現(xiàn)了文檔快速查找。基于有效的目錄結(jié)構(gòu)梳理搭建以及歷史文件的統(tǒng)一歸檔,愛數(shù)為晶盛機(jī)電提供了多維度的全文檢索能力?;陉P(guān)鍵字的搜索功能速度比NAS網(wǎng)盤提高了3倍,文件查找效率整體提升50%以上;第三,提高了文件交互效率。提升了文檔和知識管理的規(guī)范性,極大便利了各部門文檔發(fā)布與文檔審核,提升了各部門業(yè)務(wù)效率;實(shí)現(xiàn)了高效共享,極大提升了文件內(nèi)外部共享與協(xié)作辦公效率,文件交互效率提高了50%以上。


(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )