數(shù)據(jù)中臺(tái)下半場(chǎng),奇點(diǎn)云走向云原生

2020年9月,伴隨著云原生數(shù)據(jù)平臺(tái)廠商Snowflake高調(diào)上市,“云原生”這個(gè)2013年就誕生的概念再度成為熱詞,被加入到眾多數(shù)據(jù)平臺(tái)廠商的廣告語(yǔ)中。

是創(chuàng)業(yè)公司對(duì)資本圈風(fēng)向的追隨,還是重新看到了容器化、微服務(wù)等云原生技術(shù)帶來(lái)的優(yōu)勢(shì)?亦或是因?yàn)闀r(shí)候到了——2020年,中國(guó)IT預(yù)算里超過(guò)50%的錢(qián)花在了云上,這不僅代表云計(jì)算已經(jīng)成為了中國(guó)的主流,同時(shí)“非原住民”的數(shù)據(jù)問(wèn)題也顯得更加突出。

近日,在StartDT Day數(shù)據(jù)技術(shù)大會(huì)上,奇點(diǎn)云創(chuàng)始人、CEO張金銀(花名:行在)公開(kāi)發(fā)布奇點(diǎn)云全新的數(shù)據(jù)技術(shù)戰(zhàn)略:跨平臺(tái),云原生,自主可控。

十個(gè)字,三個(gè)詞,每一個(gè)詞都代表著技術(shù)上硬碰硬的升級(jí)。在這其中,“云原生”再次被聚焦在舞臺(tái)中央。

數(shù)據(jù)中臺(tái)下半場(chǎng),奇點(diǎn)云走向云原生

行在于StartDT Day數(shù)據(jù)技術(shù)大會(huì)

奇點(diǎn)云要做什么?為什么他們非要做“云原生”?

01 悄然生長(zhǎng)的“云原生”

指針撥回8個(gè)月前,尋常的晚上,奇點(diǎn)云數(shù)據(jù)平臺(tái)部負(fù)責(zé)人地雷收到了一封日?qǐng)?bào)。日?qǐng)?bào)來(lái)自平臺(tái)部的運(yùn)維工程師黑白,最后輕描淡寫(xiě)地加了一句話:“DataSimba容器化編排已實(shí)現(xiàn)。”

DataSimba是奇點(diǎn)云的數(shù)據(jù)中臺(tái)產(chǎn)品,承擔(dān)了企業(yè)數(shù)據(jù)治理、開(kāi)發(fā)、管理、服務(wù)等職責(zé),往下集成數(shù)據(jù),往上搭載應(yīng)用,也就是狹義上理解的“數(shù)據(jù)中臺(tái)”。

地雷十分吃驚,容器化編排并不是團(tuán)隊(duì)安排給黑白的工作——當(dāng)時(shí),容器化編排還未排入roadmap(產(chǎn)品路線圖)。它意味著兩件事:

一,2020年疫情持續(xù)和業(yè)務(wù)爆發(fā)式增長(zhǎng)的雙重影響下,依舊有人在默默堅(jiān)持,做長(zhǎng)遠(yuǎn)的事。

二,在“云原生數(shù)據(jù)中臺(tái)”的目標(biāo)提出之前,DataSimba就已往實(shí)現(xiàn)云原生前進(jìn)了一步。

這更堅(jiān)定了地雷做云原生數(shù)據(jù)中臺(tái)的想法。

剛剛接手DataSimba時(shí),為明確未來(lái)的發(fā)展路徑,地雷做了一個(gè)月的調(diào)研,發(fā)現(xiàn)“云原生”不只是新一波的buzzword而已:

“打個(gè)比方,‘數(shù)據(jù)運(yùn)維’,它在市場(chǎng)的宣傳口徑里很少見(jiàn)到,因?yàn)檫@是苦活累活,沒(méi)有什么漂亮的東西。但我們和客戶的IT/運(yùn)維同學(xué)是感同身受的——大數(shù)據(jù)集群規(guī)模大,進(jìn)程多,非常需要微服務(wù)治理和其他智能運(yùn)維技術(shù)。”地雷坦言,“云和大數(shù)據(jù)運(yùn)維技術(shù)含量高,很多傳統(tǒng)的運(yùn)維工程師會(huì)面臨比較大的學(xué)習(xí)成本。但是線上數(shù)據(jù)、計(jì)算和應(yīng)用規(guī)模還在以每年N倍的速度增長(zhǎng)。如果不采用CI/CD(持續(xù)集成持續(xù)交付),而是堅(jiān)持傳統(tǒng)的人肉運(yùn)維,先別說(shuō)這種運(yùn)維工程師的薪酬很高,你可能都招不到這么多合適的人。”

而在存儲(chǔ)和計(jì)算成本層面,存儲(chǔ)海量數(shù)據(jù)、作業(yè)高吞吐高并發(fā)的數(shù)據(jù)中臺(tái)也對(duì)存算分離提出了更高的要求——如果把Hadoop、Spark等常規(guī)開(kāi)源大數(shù)據(jù)引擎直接應(yīng)用于云主機(jī),海量數(shù)據(jù)帶來(lái)的存儲(chǔ)成本和吞吐壓力,會(huì)很快“壓垮”客戶。因此,必須引入中間緩存實(shí)現(xiàn)計(jì)算存儲(chǔ)分離,將數(shù)據(jù)存儲(chǔ)到對(duì)象存儲(chǔ)上,同時(shí)兼容HDFS協(xié)議,能夠根據(jù)業(yè)務(wù)需求進(jìn)行彈性擴(kuò)容,從而大幅度降低成本,提高集群性能。

成本和效率問(wèn)題,推動(dòng)著數(shù)據(jù)中臺(tái)必須走向云原生。這也意味著,云原生不僅僅是一個(gè)“技術(shù)議題”。

2020年秋,經(jīng)過(guò)創(chuàng)始人、合伙人探討,行在于奇點(diǎn)云內(nèi)部正式提出“云原生數(shù)據(jù)中臺(tái)是數(shù)據(jù)中臺(tái)的未來(lái)”,DataSimba要成為云原生數(shù)據(jù)中臺(tái),要讓客戶享受到云基礎(chǔ)設(shè)施的優(yōu)勢(shì)。

同期,地雷正式完成了DataSimba產(chǎn)品的排兵布陣:微服務(wù)對(duì)象體系、容器化、CI/CD、元數(shù)據(jù)管理、存算分離等云原生技術(shù)要素,由不同的產(chǎn)品經(jīng)理分別把守,構(gòu)筑起堅(jiān)實(shí)的云原生技術(shù)結(jié)界。

此時(shí),又有個(gè)新問(wèn)題接踵而來(lái):“云原生,是誰(shuí)的‘云原生’?”

02 業(yè)務(wù)驅(qū)動(dòng)的“跨平臺(tái)”

如果講大數(shù)據(jù)領(lǐng)域的云原生技術(shù),毋庸置疑,知名云廠商們比奇點(diǎn)云起步早得多,必然也成熟得多。

無(wú)論是存算分離,還是容器化、微服務(wù),這些技術(shù)要素在云廠商提供的云原生產(chǎn)品中都是必備的,而且不斷提供更精巧、更聰明的“語(yǔ)法糖”(Syntactic sugar),讓客戶覺(jué)得更好用。

“但那是云廠商的‘云原生’,不是客戶的云原生。”劉瑩說(shuō)。

劉瑩(花名:公主)是奇點(diǎn)云聯(lián)合創(chuàng)始人、COO,畢業(yè)于復(fù)旦大學(xué)計(jì)算機(jī)系,曾任IBM全球副總裁總助、IBM大中華區(qū)行業(yè)銷(xiāo)售運(yùn)營(yíng)總經(jīng)理,原阿里云西南大區(qū)業(yè)務(wù)總經(jīng)理,阿里云大數(shù)據(jù)創(chuàng)新業(yè)務(wù)代言人。

作為一個(gè)有著18年to B行業(yè)經(jīng)驗(yàn)的“老業(yè)務(wù)人”,她堅(jiān)定認(rèn)為“客戶認(rèn)可”至上,杜絕閉門(mén)造車(chē)、“技術(shù)自嗨”。

打個(gè)比方,客戶在充分享受云原生妙處的同時(shí),從一朵云遷移到另一朵云的成本越來(lái)越高,不能自由地選擇云廠商,而且不同云廠商之間還要分別派人、用不同的賬號(hào)管理,這樣的云原生還香嗎?

沒(méi)錯(cuò),在奇點(diǎn)云,最早嗅到云原生跨平臺(tái)必要性的或許是商務(wù)。

有一家全球領(lǐng)先的ODM公司,持續(xù)地為海內(nèi)外客戶提供有競(jìng)爭(zhēng)力的硬件產(chǎn)品。奇點(diǎn)云在前期咨詢時(shí)估算了其未來(lái)的數(shù)據(jù)量,必須要上云。

那么問(wèn)題來(lái)了:數(shù)據(jù)放哪里,上哪家云?

它的業(yè)態(tài)非常特殊,海內(nèi)外的這幾家品牌恰好都有他們自己的云服務(wù),如果把數(shù)據(jù)放在A云上,B品牌不同意;如果數(shù)據(jù)放在B云上,A品牌不同意;如果把不同品牌的數(shù)據(jù)分頭放,對(duì)于企業(yè)本身來(lái)說(shuō)又大大增加了管理和分析成本,不利于未來(lái)數(shù)智化的發(fā)展。短期來(lái)看,企業(yè)只能找到一家目前還沒(méi)有這塊業(yè)務(wù)的云廠商C,把經(jīng)營(yíng)、運(yùn)營(yíng)等數(shù)據(jù)放在C云上,先把數(shù)據(jù)中臺(tái)搭起來(lái)。

這同時(shí)也存在一個(gè)隱患,出于產(chǎn)品耦合性的考慮,企業(yè)越晚遷移,遷移成本就越大,而在組織層面,未來(lái)潛在成本的問(wèn)題又沒(méi)有落到任何一個(gè)人的KPI上,大家都不知道誰(shuí)來(lái)解、怎么解。

“常有人說(shuō)云資源像電力資源。但不同的是,有些地方產(chǎn)電很便宜,可工廠的選址是固定的,它不可能想搬就搬去電力便宜的地方。”劉瑩說(shuō),“云資源則不一樣,企業(yè)是可以遷移去更劃算的地方的??蛻魬?yīng)該有自由選擇的權(quán)利。”

而另一邊,地雷又在進(jìn)行他的“隱秘工程”。

2020年7月,地雷向高管匯報(bào)DataSimba的roadmap時(shí),“夾帶私貨”提到了多workspace這個(gè)構(gòu)想。在會(huì)上,行在并無(wú)多言,而在會(huì)后給地雷發(fā)了個(gè)PPT,內(nèi)容是幾年前行在想做的DataSimba混合云方案。

兩個(gè)“老技術(shù)人”一碰,地雷就明白了:“行在聽(tīng)懂了我的意思,哪怕這幾年技術(shù)變了,我們的想法和方向是一樣的。”

Talk is cheap, show me the code.

兩三個(gè)月后,地雷帶領(lǐng)團(tuán)隊(duì)“偷偷”地把多workspace在DataSimba上實(shí)現(xiàn)了第一版,再次向高管匯報(bào)。同時(shí),一條從真實(shí)客戶需求歸納出的結(jié)論,也自前線迅速傳遞至產(chǎn)品大后方:客戶迫切需要支持跨平臺(tái)的、中立第三方的云原生產(chǎn)品。

技術(shù)拓展商業(yè)邊界,商業(yè)驅(qū)動(dòng)技術(shù)升級(jí)。明確了客戶需求,地雷在技術(shù)迭代上也更有底氣。

在5月20日StartDT Day數(shù)據(jù)技術(shù)大會(huì)上,地雷介紹:

DataSimba R3.0目前已實(shí)現(xiàn)跨云多域數(shù)據(jù)治理,支持海內(nèi)外主流云廠商,包括AWS、阿里云、華為云、騰訊云、京東云等等,實(shí)現(xiàn)統(tǒng)一賬號(hào)、權(quán)限、審計(jì)的多workspace的兼容管理,并進(jìn)一步提供數(shù)據(jù)安全和可信計(jì)算方案,從而提高基礎(chǔ)設(shè)施的可控性和安全性。”

數(shù)據(jù)中臺(tái)下半場(chǎng),奇點(diǎn)云走向云原生

DataSimba R3.0的跨云多域示意圖

這意味著依托DataSimba,企業(yè)可以實(shí)現(xiàn)分級(jí)多域部署跨云跨平臺(tái)部署

用戶、權(quán)限及配置統(tǒng)一在主域上修改,從域即可自動(dòng)同步最新數(shù)據(jù);客戶可以自由在不同的地區(qū)采用不同的云廠商進(jìn)行部署,避免商業(yè)因素、地域因素、單一云廠商因素等對(duì)其數(shù)據(jù)能力建設(shè)的影響。在保證單個(gè)域資源獨(dú)立的情況下,多個(gè)域之間使用統(tǒng)一的權(quán)限和賬號(hào)體系,運(yùn)維和管理人員就無(wú)需在不同平臺(tái)間切換使用,工作效率也大大提升。

這是因?yàn)槲覀冞x擇和客戶站在一起。”行在毫不避諱地表示,“奇點(diǎn)云是標(biāo)準(zhǔn)的乙方數(shù)據(jù)智能技術(shù)供應(yīng)商,服務(wù)于泛零售、金融、政府、制造、運(yùn)營(yíng)商等行業(yè),所以有動(dòng)力做這兩件事:一,盡可能優(yōu)化架構(gòu),降低數(shù)據(jù)應(yīng)用在IaaS上的計(jì)算、存儲(chǔ)成本;二,實(shí)現(xiàn)跨云數(shù)據(jù)治理,因此客戶在云平臺(tái)的選擇上可以更加從容、更加獨(dú)立。也就是,哪兒好用用哪兒,哪兒便宜用哪兒。

03 客戶可控的“自主可控”

相比跨平臺(tái)、云原生,自主可控這塊“硬骨頭”則難啃得多。

有一天,地雷接到行在來(lái)電:“奇點(diǎn)云要做自己的引擎,要自主可控。”

“我以前在阿里云ODPS就是干這個(gè)的,ODPS團(tuán)隊(duì)是全阿里最貴的團(tuán)隊(duì),一百多個(gè)高級(jí)技術(shù)專(zhuān)家,做這一件事。奇點(diǎn)云一向最貼近客戶,很現(xiàn)實(shí)主義,我們適合做嗎?“地雷放下手中的事,跑到角落里和行在爭(zhēng)論了快一個(gè)小時(shí)。

而行在堅(jiān)持:“這件事有意義,必須做。”

地雷心里非常矛盾。曾在AI四小龍之一擔(dān)任產(chǎn)品總監(jiān)的他,其實(shí)切身體會(huì)過(guò)自主可控的重要性:“那時(shí)候上實(shí)體名單,我們突然啥都不能用了,不能用蘋(píng)果電腦,也不能用Windows,甚至不能用我們常用的瀏覽器上網(wǎng)。”

但毫無(wú)疑問(wèn),自主可控的數(shù)據(jù)引擎有很高的技術(shù)門(mén)檻。時(shí)至今日,國(guó)內(nèi)實(shí)現(xiàn)自主可控?cái)?shù)據(jù)引擎的公司用一只手?jǐn)?shù)都嫌多。

2020年7月,奇點(diǎn)云到一家金融機(jī)構(gòu)投標(biāo)。這家金融機(jī)構(gòu)提到:“我們已經(jīng)花錢(qián)買(mǎi)了CDH的版權(quán),但如果美國(guó)宣布不允許中國(guó)公司用CDH,那我們可能營(yíng)業(yè)都成問(wèn)題。這能不能解決?”

這個(gè)問(wèn)題像一顆手榴彈,炸到了行在和地雷心里。彼時(shí),華為EDA和國(guó)內(nèi)高校MATLAB相繼被美國(guó)禁用,幾乎每一家金融機(jī)構(gòu)都有著類(lèi)似的擔(dān)憂。在這樣的國(guó)際政治經(jīng)濟(jì)環(huán)境下,自主可控(Independence),也就是在技術(shù)和業(yè)務(wù)上保證可持續(xù)供應(yīng),成為了奇點(diǎn)云的必選項(xiàng)。

最終,還是客戶讓他們下定決心:“不能讓中國(guó)企業(yè)發(fā)展在數(shù)據(jù)基礎(chǔ)設(shè)施上被‘卡脖子’。”

2021年5月,奇點(diǎn)云正式發(fā)布其自主可控引擎StartDT-EMR。它是自有可控的、支持各個(gè)類(lèi)型大數(shù)據(jù)Job和Service的計(jì)算和存儲(chǔ)引擎,在技術(shù)和業(yè)務(wù)上保證客戶數(shù)據(jù)基礎(chǔ)設(shè)施的多樣化、可替換、可迭代和可掌握,并保證對(duì)關(guān)鍵點(diǎn)的持續(xù)創(chuàng)新。

“這未必意味著100%國(guó)產(chǎn)或100%推倒從頭發(fā)明輪子。相反,應(yīng)該盡可能融入開(kāi)放生態(tài),符合工業(yè)標(biāo)準(zhǔn)。”地雷介紹。

行在則將奇點(diǎn)云的自主可控歸納為“開(kāi)放的,可被客戶掌握的,可以被替換的,可以迭代的”。

它不受?chē)?guó)際政治經(jīng)濟(jì)環(huán)境的影響,同時(shí)也不受廠商的控制。“它不是一個(gè)黑匣子。當(dāng)出現(xiàn)問(wèn)題,客戶不用抱著一個(gè)黑匣子等待廠商上門(mén)來(lái)修,客戶可以自己看到問(wèn)題所在,可以去迭代和更新。”

“自主可控,就是客戶可控。”行在再次強(qiáng)調(diào)。

————

從阿里巴巴到奇點(diǎn)云,行在做過(guò)國(guó)內(nèi)第一代DBA,搭過(guò)第一代數(shù)倉(cāng),創(chuàng)建過(guò)TCIF(淘寶消費(fèi)者信息庫(kù))第一次打通消費(fèi)者數(shù)據(jù),也創(chuàng)建過(guò)阿里云數(shù)加平臺(tái)(現(xiàn)DataWorks),把大數(shù)據(jù)能力外化給社會(huì)。

走過(guò)近20年的大數(shù)據(jù)之路,“技術(shù)老兵”行在從沒(méi)放下他“普惠大數(shù)據(jù)”的野心。懷揣著數(shù)據(jù)技術(shù)的理想,旅途的終點(diǎn)始終指向客戶。

在5月20日的StartDT Day數(shù)據(jù)技術(shù)大會(huì)上,行在首次對(duì)外披露了一個(gè)數(shù)字:NRR235%。NRR(Net Revenue Retention)指凈收入留存率,“舉個(gè)例子,我們2019年的新客戶花了100塊購(gòu)買(mǎi)奇點(diǎn)云的服務(wù),他在2020年還花了235塊,繼續(xù)購(gòu)買(mǎi)奇點(diǎn)云的服務(wù)。這代表著客戶對(duì)我們充分的信任和認(rèn)可。”行在頗為驕傲地說(shuō),“作為參考,Snowflake在上市時(shí)NDR(收入為美元,即Net Dollar Retention),是158%。”

而在NRR235%之后,奇點(diǎn)云要做什么?

“跨平臺(tái),云原生,自主可控。”

十個(gè)字的數(shù)據(jù)技術(shù)戰(zhàn)略后面,還跟著一句話:“和客戶站在一起。”

這個(gè)戰(zhàn)略的提出仰賴于五年來(lái)客戶的不斷鞭策,從客戶的需求中來(lái),在DataSimba、數(shù)據(jù)智能產(chǎn)品套件、DataNuza等數(shù)據(jù)產(chǎn)品和服務(wù)中承接落地,又回到客戶的實(shí)踐中去。

數(shù)據(jù)中臺(tái)下半場(chǎng),奇點(diǎn)云走向云原生

奇點(diǎn)云產(chǎn)品矩陣

奇點(diǎn)云把“機(jī)器智慧超越人類(lèi)智慧的瞬間”稱為奇點(diǎn)時(shí)刻:數(shù)據(jù)通過(guò)好的算法和應(yīng)用創(chuàng)造價(jià)值,同時(shí)應(yīng)用后又產(chǎn)生了更多有價(jià)值的數(shù)據(jù),再次讓算法和應(yīng)用成長(zhǎng)升級(jí),賦能業(yè)務(wù),形成一個(gè)越轉(zhuǎn)越快的閉環(huán),解放人類(lèi)去思考創(chuàng)新。

很難說(shuō)距離實(shí)現(xiàn)“奇點(diǎn)時(shí)刻”還有多久,好在奇點(diǎn)云還很年輕,腳踏實(shí)地之余,有足夠的時(shí)間讓他們仰望星空。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )