當(dāng)初吃土建起來(lái)的“中臺(tái)”,現(xiàn)在為啥不香了?

“數(shù)字化時(shí)代,所有行業(yè)都值得重新做一遍?!鄙钜詾槿弧?/p>

數(shù)智化洶涌而來(lái),前驅(qū)者已初嘗甜頭:據(jù)《福布斯》披露,《財(cái)富》500強(qiáng)公司數(shù)據(jù)可訪問(wèn)性增加10%,便可帶來(lái)6,500萬(wàn)美元的額外凈收入——“依靠智能算法及敏捷數(shù)據(jù)準(zhǔn)備在數(shù)據(jù)海洋中提煉‘石油’,讓決策更科學(xué)”已成為眾多企業(yè)的共識(shí)。

但數(shù)據(jù)如水,唯有流動(dòng)和使用起來(lái),方能釋放出巨大價(jià)值,否則就容易形成無(wú)數(shù)個(gè)數(shù)據(jù)沼澤,令企業(yè)深陷其中。

過(guò)去十余年里,各大廠商紛紛入局,新概念層出不窮,從大數(shù)據(jù)系統(tǒng)、數(shù)據(jù)湖,到數(shù)據(jù)中臺(tái),再到近年來(lái)熱度極高的湖倉(cāng)一體、智能湖倉(cāng),無(wú)不是希望幫助企業(yè)/組織實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動(dòng)”,最大化釋放數(shù)據(jù)的價(jià)值,滿足“用上數(shù)據(jù)和用好數(shù)據(jù)”的核心需求。

在近六年間,數(shù)據(jù)中臺(tái)的成效尤為矚目。但從去年起,業(yè)界突然掀起一股“拆中臺(tái)”熱,成也蕭何敗也蕭何,很多當(dāng)初追隨“中臺(tái)戰(zhàn)略”的企業(yè)陷入迷茫:“大中臺(tái)、小前臺(tái)”,這難道從一開(kāi)始就是個(gè)錯(cuò)誤嗎?

近日,國(guó)內(nèi)數(shù)據(jù)智能新銳廠商Aloudata CTO周泉接受了大數(shù)據(jù)在線的采訪,暢談了數(shù)據(jù)中臺(tái)和數(shù)據(jù)管理的未來(lái)。他曾擔(dān)任螞蟻集團(tuán)數(shù)據(jù)平臺(tái)全域架構(gòu)師,并帶領(lǐng)團(tuán)隊(duì)建立起了螞蟻集團(tuán)智能數(shù)據(jù)治理體系,構(gòu)建起新一代金融級(jí)智能數(shù)據(jù)平臺(tái)。

當(dāng)初的行業(yè)標(biāo)配,爆火過(guò)后還剩什么

2015年,業(yè)界首次提出“大中臺(tái)、小前臺(tái)”戰(zhàn)略,是想打造統(tǒng)一技術(shù)架構(gòu)、產(chǎn)品支撐體系、數(shù)據(jù)共享平臺(tái)、安全體系等等,把整個(gè)組織“橫”過(guò)來(lái),支撐上面多種多樣的業(yè)務(wù)形態(tài)。

推行6年多以后,中臺(tái)似乎已經(jīng)成為行業(yè)標(biāo)配,稍有規(guī)模的公司都建設(shè)了自己的中臺(tái)。數(shù)據(jù)中臺(tái)前幾年也的確有力地支撐了業(yè)務(wù)的發(fā)展,成效可謂有目共睹。

但在過(guò)去兩年間,數(shù)據(jù)中臺(tái)卻由大廠熱捧的對(duì)象開(kāi)始變得備受質(zhì)疑,遭遇了過(guò)山車般的待遇。一些數(shù)據(jù)中臺(tái)建設(shè)案例也表明,數(shù)據(jù)中臺(tái)投入資源大、啟動(dòng)成本高,雖然保障了數(shù)據(jù)供給的一致性和質(zhì)量,但其遲緩的業(yè)務(wù)需求響應(yīng)速度,讓業(yè)務(wù)一線飽受數(shù)據(jù)饑渴之苦。

電商的數(shù)據(jù)中臺(tái)架構(gòu)圖

“數(shù)據(jù)中臺(tái)方法的本質(zhì)思想是通過(guò)對(duì)數(shù)據(jù)進(jìn)行集中式建設(shè)、集中式管理和集中式服務(wù),以提供單一事實(shí)來(lái)源的數(shù)據(jù)(single source of truth)。這就決定了數(shù)據(jù)中臺(tái)只有在數(shù)據(jù)需求較為固定、用數(shù)人群比較集中、決策頻率相對(duì)較低的情況下才是有效的。”周泉繼續(xù)解釋道,“然而,在企業(yè)寄希望于通過(guò)‘?dāng)?shù)據(jù)驅(qū)動(dòng)創(chuàng)新’探索第二增長(zhǎng)曲線的今天,伴隨企業(yè)數(shù)據(jù)需求日趨復(fù)雜、用數(shù)人群占比越來(lái)越大,決策頻率越來(lái)越高,業(yè)務(wù)對(duì)用數(shù)的敏捷性和靈活性要求越來(lái)越高,數(shù)據(jù)中臺(tái)這種集中的數(shù)據(jù)管理方式無(wú)法實(shí)現(xiàn)數(shù)據(jù)的敏捷性和靈活性?!?/p>

不是中臺(tái)不行了,是場(chǎng)景變了

做薄,研發(fā)效能上不去,做厚,創(chuàng)新效率會(huì)下降,中臺(tái)的基因注定了它今天的左右為難。

顛覆式創(chuàng)新是企業(yè)提升生存質(zhì)量和市場(chǎng)競(jìng)爭(zhēng)力的必殺技;對(duì)創(chuàng)新的深度和速度的追求必然帶來(lái)企業(yè)業(yè)務(wù)規(guī)模和復(fù)雜性的不斷攀升,在周泉看來(lái),這些都決定了在數(shù)據(jù)管理與使用層面,一家“數(shù)據(jù)驅(qū)動(dòng)型”企業(yè)未來(lái)必定會(huì)走向平臺(tái)化。

每個(gè)員工都用數(shù)據(jù)的時(shí)候,想統(tǒng)一數(shù)據(jù)管理和建設(shè)很難。首先,這種方式不具備敏捷性;其次,落地難度很大,一旦進(jìn)入到數(shù)據(jù)化運(yùn)營(yíng)和數(shù)據(jù)智能階段,數(shù)據(jù)使用權(quán)和建設(shè)權(quán)的去中心化是必然,依賴文化、組織、平臺(tái)三位一體的數(shù)據(jù)中臺(tái)就比較難走下去。

我們不難發(fā)現(xiàn),隨著數(shù)字化轉(zhuǎn)型的日趨深入,數(shù)據(jù)來(lái)源、數(shù)據(jù)類型也比以往更加豐富了,例如,過(guò)去大部分用戶都是以ERP、CRM等結(jié)構(gòu)化數(shù)據(jù)為主,現(xiàn)在則是包羅萬(wàn)象,行為數(shù)據(jù)、日志數(shù)據(jù)等成為數(shù)據(jù)增長(zhǎng)的主力,PB級(jí)數(shù)據(jù)量更是成為用戶的一種新常態(tài)。此外,復(fù)雜多樣的業(yè)務(wù)需要大規(guī)模、深層次地應(yīng)用數(shù)據(jù),也進(jìn)一步推動(dòng)場(chǎng)景豐富化和需求復(fù)雜化。

以某金融科技巨頭為例,其業(yè)務(wù)數(shù)字化升級(jí)歷程中曾經(jīng)歷不少“蜿蜒崎嶇”:隨著業(yè)務(wù)數(shù)字化運(yùn)營(yíng)不斷深入,數(shù)十倍的用數(shù)人群、數(shù)百倍的數(shù)據(jù)規(guī)模增長(zhǎng)和復(fù)雜多變的數(shù)字化營(yíng)銷活動(dòng),帶來(lái)了效率、性能、風(fēng)險(xiǎn)、成本、安全、用戶隱私保護(hù)等諸多問(wèn)題。

這意味著企業(yè)在享受數(shù)據(jù)所帶來(lái)的巨大收益的同時(shí),也在疲于應(yīng)對(duì)急劇攀升的綜合管理成本。2018年,在十億級(jí)用戶量,萬(wàn)級(jí)員工數(shù)的規(guī)模下,集團(tuán)本身的數(shù)據(jù)存儲(chǔ)規(guī)模年均增長(zhǎng)率高達(dá)60%——集中式的數(shù)據(jù)研發(fā)與供給跟不上多變的業(yè)務(wù)需求節(jié)奏,而業(yè)務(wù)自助用數(shù)又得不到有序引導(dǎo),導(dǎo)致數(shù)據(jù)無(wú)序增長(zhǎng)嚴(yán)重、數(shù)據(jù)故障頻發(fā),數(shù)據(jù)供給側(cè)挑戰(zhàn)愈發(fā)明顯。

可以預(yù)見(jiàn)的是,在全球數(shù)字化升級(jí)進(jìn)程不斷加速的今天,越來(lái)越多企業(yè)將會(huì)面臨同樣的困境。未來(lái),用戶對(duì)于敏捷性的訴求將會(huì)愈發(fā)強(qiáng)烈,僅僅依靠人工將寸步難行。企業(yè)迫切需要基于新思維、新方法、新技術(shù)所構(gòu)建的下一代數(shù)據(jù)平臺(tái)。

數(shù)據(jù)管理的未來(lái),Data Fabric了解一下

“數(shù)據(jù)技術(shù)演進(jìn)有兩個(gè)最核心的目標(biāo):一是用更多、更快和更鮮活的數(shù)據(jù)來(lái)幫助業(yè)務(wù)做出好決策;二是管理好數(shù)據(jù),降低數(shù)據(jù)帶來(lái)的風(fēng)險(xiǎn)和成本。自助、開(kāi)放、自動(dòng)化的NoETL湖倉(cāng)平臺(tái)即代表了下一代數(shù)據(jù)平臺(tái)的趨勢(shì)?!敝苋硎尽?/p>

事實(shí)上,周泉所提到的NoETL湖倉(cāng)平臺(tái)正是海外大受追捧的Data Fabric理念在國(guó)內(nèi)的首次系統(tǒng)落地實(shí)踐。

在全球著名咨詢機(jī)構(gòu)Gartner發(fā)布的2022年頂級(jí)戰(zhàn)略技術(shù)趨勢(shì)中,Data Fabric不僅首先被提及,甚至被定義為“數(shù)據(jù)管理的未來(lái)”。

作為新興的熱門市場(chǎng),Data Fabric自誕生之日起就備受關(guān)注,全球最大的信息技術(shù)和業(yè)務(wù)解決方案公司IBM、數(shù)據(jù)集成領(lǐng)域領(lǐng)導(dǎo)者Talend、集成分析領(lǐng)域領(lǐng)導(dǎo)者TIBCO、元數(shù)據(jù)管理領(lǐng)導(dǎo)者Alation等全球各數(shù)據(jù)領(lǐng)域頭部廠商都給出了對(duì)應(yīng)的能力要求和解決方案。

Data Fabric的終極目標(biāo)是為數(shù)據(jù)集成和訪問(wèn)提供一種更靈活、更無(wú)縫、更自動(dòng)化的方法,讓任何人在任何時(shí)間都能夠使用組織內(nèi)的任何數(shù)據(jù),并且通過(guò)主動(dòng)、智能、持續(xù)的數(shù)據(jù)治理讓數(shù)據(jù)架構(gòu)持續(xù)健康。

之所以能夠成為應(yīng)對(duì)數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案,在于Data Fabric在架構(gòu)思路方面的三大核心變化:

連接數(shù)據(jù),而非集中數(shù)據(jù):Data Fabric的關(guān)鍵原則之一是數(shù)據(jù)集成方法的靈活性,即系統(tǒng)根據(jù)場(chǎng)景的性質(zhì)和需求為用戶自動(dòng)匹配最佳的集成策略和數(shù)據(jù)技術(shù),無(wú)需用戶人工搭建數(shù)據(jù)管道及選型計(jì)算存儲(chǔ)方案自助服務(wù),而非專家服務(wù):Data Fabric致力于實(shí)現(xiàn)數(shù)據(jù)民主化,允許業(yè)務(wù)用戶輕松發(fā)現(xiàn)并使用數(shù)據(jù)資產(chǎn),從而實(shí)現(xiàn)敏捷的數(shù)據(jù)交付。在現(xiàn)有集中式的數(shù)據(jù)供給模式下,數(shù)據(jù)工程團(tuán)隊(duì)成為影響數(shù)據(jù)化運(yùn)營(yíng)效率的最大瓶頸,唯有讓分析師和業(yè)務(wù)人員“自服務(wù)”才有可能將生產(chǎn)力解放出來(lái),滿足業(yè)務(wù)旺盛的數(shù)據(jù)化運(yùn)營(yíng)需求。主動(dòng)智能,而非被動(dòng)人工:傳統(tǒng)數(shù)據(jù)治理往往在問(wèn)題發(fā)生后才開(kāi)始啟動(dòng),且需要自頂向下通過(guò)運(yùn)動(dòng)式人工治理來(lái)推動(dòng),這種方式難以持續(xù)且越來(lái)越無(wú)法應(yīng)對(duì)快速膨脹、錯(cuò)綜復(fù)雜的數(shù)據(jù)依賴網(wǎng)絡(luò)。而Data Fabric則認(rèn)為數(shù)據(jù)治理應(yīng)更加主動(dòng)和智能,通過(guò)主動(dòng)元數(shù)據(jù)構(gòu)建智能治理能力,并融入到數(shù)據(jù)全生命周期的每個(gè)環(huán)節(jié)里,實(shí)現(xiàn)主動(dòng)、智能的數(shù)據(jù)治理。

總而言之,Data Fabric強(qiáng)調(diào)分布式的數(shù)據(jù)管理,其核心思路是通過(guò)優(yōu)化跨源異構(gòu)數(shù)據(jù)的發(fā)現(xiàn)與訪問(wèn),將可信數(shù)據(jù)從所有相關(guān)數(shù)據(jù)源、以靈活且業(yè)務(wù)可理解的方式交付給所有相關(guān)數(shù)據(jù)消費(fèi)者,讓數(shù)據(jù)消費(fèi)者自助服務(wù)和高效協(xié)作,實(shí)現(xiàn)極致敏捷的數(shù)據(jù)交付;同時(shí)通過(guò)AI能力對(duì)數(shù)據(jù)進(jìn)行語(yǔ)義探索、分析和使用推薦,從而從被動(dòng)的數(shù)據(jù)管理策略轉(zhuǎn)變?yōu)橹鲃?dòng)響應(yīng)性的數(shù)據(jù)管理策略,實(shí)現(xiàn)數(shù)據(jù)管理的智能駕駛。

基于此,Data Fabric能夠比傳統(tǒng)數(shù)據(jù)管理方法更快地適應(yīng)業(yè)務(wù)、更快地做出業(yè)務(wù)洞察、更有效地消除數(shù)據(jù)孤島、更高效地進(jìn)行業(yè)務(wù)協(xié)作,以更低的成本釋放數(shù)據(jù)的最大價(jià)值——通過(guò)實(shí)施Data Fabric,企業(yè)不僅可以減少一半以上人力驅(qū)動(dòng)的數(shù)據(jù)管理任務(wù)、70%的數(shù)據(jù)管理工作,讓數(shù)據(jù)質(zhì)量及運(yùn)營(yíng)成本降低65%;還能以8倍的速度、不到一半的成本,獲取數(shù)據(jù)和洞察——基于Data Fabric產(chǎn)生的數(shù)據(jù)洞察,可以使企業(yè)平均每年增長(zhǎng)30%以上。(數(shù)據(jù)來(lái)源:Gartner)

“‘加速數(shù)據(jù)價(jià)值釋放、讓數(shù)據(jù)隨時(shí)就緒’是Data Fabric的核心目標(biāo)?!敝苋^續(xù)說(shuō),“也是下一代數(shù)據(jù)平臺(tái)NoETL湖倉(cāng)平臺(tái)的使命?!?/p>

Aloudata,Data Fabric產(chǎn)品化先行者

近年來(lái),在數(shù)據(jù)領(lǐng)域的創(chuàng)新技術(shù)公司不少,有些聚焦新型數(shù)據(jù)倉(cāng)庫(kù)的打造,有些則試圖推動(dòng)數(shù)據(jù)中臺(tái)的落地,更有甚者聚焦HTAP創(chuàng)新。在眾多技術(shù)公司中,Aloudata毫無(wú)疑問(wèn)是一家值得持續(xù)關(guān)注的公司,它是中國(guó)技術(shù)公司中致力于全球頂級(jí)技術(shù)趨勢(shì)Data Fabric探索的典型代表,堪稱Data Fabric落地的排頭兵。

Aloudata之所以能夠走在行業(yè)前沿,在于其團(tuán)隊(duì)、產(chǎn)品與技術(shù)、行業(yè)實(shí)踐等方面均處于業(yè)界領(lǐng)先。

在團(tuán)隊(duì)層面,創(chuàng)始人周衛(wèi)林曾任螞蟻集團(tuán)數(shù)據(jù)平臺(tái)部總經(jīng)理(P10)且擁有20年大數(shù)據(jù)領(lǐng)域工作經(jīng)驗(yàn),創(chuàng)始團(tuán)隊(duì)也由原螞蟻集團(tuán)數(shù)據(jù)平臺(tái)部核心成員組成:三位聯(lián)合創(chuàng)始人均是原螞蟻集團(tuán)數(shù)據(jù)智能領(lǐng)域高級(jí)專家,主導(dǎo)了國(guó)內(nèi)最早一批數(shù)據(jù)工具產(chǎn)品建設(shè)和商業(yè)化,孵化出多個(gè)進(jìn)入 Gartner、Forrester 領(lǐng)導(dǎo)者象限的阿里云拳頭產(chǎn)品;另有十余名在產(chǎn)品、技術(shù)、架構(gòu)、交付和商業(yè)化上擁有從0到1成功經(jīng)驗(yàn)的原螞蟻/阿里集團(tuán)P8及以上高級(jí)專家,著實(shí)是一支堪稱豪華的創(chuàng)業(yè)夢(mèng)之隊(duì)。

在產(chǎn)品與技術(shù)層面,Aloudata已經(jīng)打造了由AIR自適應(yīng)彈性SQL引擎、BIG主動(dòng)元數(shù)據(jù)管理平臺(tái)等產(chǎn)品組成的新一代NoETL 湖倉(cāng)平臺(tái),內(nèi)置增強(qiáng)數(shù)據(jù)目錄、語(yǔ)義知識(shí)圖譜、主動(dòng)元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和DataOps等Gartner定義的6大Data Fabric核心能力,在產(chǎn)品技術(shù)層開(kāi)創(chuàng)了Data Fabric理念在國(guó)內(nèi)的最佳實(shí)踐:

Aloudata Data Fabric架構(gòu)圖

AIR Engine是全場(chǎng)景自適應(yīng)的彈性 SQL 引擎,實(shí)現(xiàn)了高性能聯(lián)邦查詢(比Presto高數(shù)倍)、自適應(yīng)查詢加速(最高可提速100倍)和數(shù)據(jù)虛擬化,無(wú)論數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)或者其他數(shù)據(jù)源,只要會(huì)寫(xiě)SQL就可以自助探索全域數(shù)據(jù),并且定義一致的數(shù)據(jù)視圖進(jìn)行數(shù)據(jù)準(zhǔn)備,實(shí)現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作。BIG Engine是行為智能驅(qū)動(dòng)的主動(dòng)元數(shù)據(jù)平臺(tái),也是實(shí)現(xiàn)Data Fabric架構(gòu)的基石,其提供的元數(shù)據(jù)語(yǔ)義圖譜、主動(dòng)元數(shù)據(jù)和增強(qiáng)數(shù)據(jù)目錄等核心能力,讓每一個(gè)人都能快速發(fā)現(xiàn)和理解數(shù)據(jù)、幫助企業(yè)實(shí)現(xiàn)主動(dòng)持續(xù)的數(shù)據(jù)治理。

Aloudata落地某頭部股份制銀行

“我們和天使客戶的首輪合作效果顯著,目前已經(jīng)進(jìn)入到了第二階段,很快我們將會(huì)看到新的升級(jí)效果。當(dāng)然,還有更多頭部客戶也已經(jīng)明確向我們表達(dá)了合作訴求。”周泉透露,“AIR 及BIG 目前已在頭部金融企業(yè)得到了規(guī)模化的生產(chǎn)級(jí)應(yīng)用和效果驗(yàn)證,下半年Aloudata計(jì)劃將推出公有云版本,并對(duì) BIG 中最核心的主動(dòng)元數(shù)據(jù)框架進(jìn)行開(kāi)源,深刻落地實(shí)踐Data Fabric,幫助更多企業(yè)實(shí)現(xiàn)‘讓數(shù)據(jù)隨時(shí)就緒’。”

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。

2022-06-23
當(dāng)初吃土建起來(lái)的“中臺(tái)”,現(xiàn)在為啥不香了?
周泉透露,“AIR及BIG目前已在頭部金融企業(yè)得到了規(guī)?;纳a(chǎn)級(jí)應(yīng)用和效果驗(yàn)證,下半年Aloudata計(jì)劃將推出公有云版本,并對(duì)BIG中最核心的主動(dòng)元數(shù)據(jù)框架進(jìn)行開(kāi)源,深刻落地實(shí)踐Data

長(zhǎng)按掃碼 閱讀全文