睿帆科技于海中:PB級(jí)異構(gòu)數(shù)據(jù)處理將是未來大數(shù)據(jù)公司的核心競(jìng)爭(zhēng)力

大數(shù)據(jù)技術(shù)與行業(yè)應(yīng)用融合正在加速,企業(yè)對(duì)大數(shù)據(jù)的需求變得日益旺盛,當(dāng)其他公司還在大談大數(shù)據(jù)解決方案概念時(shí),一家由Teradata、華為、阿里等知名企業(yè)大數(shù)據(jù)科學(xué)家創(chuàng)辦的創(chuàng)業(yè)公司——睿帆科技,早已研發(fā)出大數(shù)據(jù)科學(xué)平臺(tái)、分布式分析型數(shù)據(jù)庫等產(chǎn)品,并在通信、政府、公安安防、旅游等領(lǐng)域形成落地案例。

睿帆科技于海中:PB級(jí)異構(gòu)數(shù)據(jù)處理將是未來大數(shù)據(jù)公司的核心競(jìng)爭(zhēng)力

基于大數(shù)據(jù)產(chǎn)品,構(gòu)建全新決策引擎

作為一家業(yè)內(nèi)技術(shù)領(lǐng)先的一站式大數(shù)據(jù)解決方案公司,睿帆科技研發(fā)的底層大數(shù)據(jù)科學(xué)平臺(tái)產(chǎn)品Baymax經(jīng)過多年打磨,已經(jīng)能夠提供PB級(jí)的異構(gòu)數(shù)據(jù)接入、存儲(chǔ)、清洗、治理等數(shù)據(jù)處理能力,從而支持睿帆科技在面對(duì)通信、政府、公安安防、旅游等領(lǐng)域多樣化的大數(shù)據(jù)需求時(shí)都能輕松應(yīng)對(duì)。

與各個(gè)領(lǐng)域客戶深度合作過程中,睿帆科技發(fā)現(xiàn),目前客戶對(duì)大數(shù)據(jù)技術(shù)的需求正在發(fā)生深刻的變化:

首先,傳統(tǒng)數(shù)據(jù)倉庫更多是對(duì)結(jié)構(gòu)化數(shù)據(jù)處理能力強(qiáng),對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理能力較弱,但大數(shù)據(jù)深度落地行業(yè)時(shí),需要進(jìn)行行業(yè)深度數(shù)據(jù)挖掘,處理非結(jié)構(gòu)化數(shù)據(jù)能力不可或缺。

其次,大數(shù)據(jù)技術(shù)的落地從監(jiān)測(cè)、洞察逐步邁向分析、決策過程中,不再是像傳統(tǒng)BI一樣,給出報(bào)表和分析結(jié)果,由業(yè)務(wù)人員做進(jìn)一步?jīng)Q策,而是機(jī)器本身要能做一些簡(jiǎn)單決策,需要機(jī)器更加智能,能夠理解業(yè)務(wù)邏輯。

第三,當(dāng)大數(shù)據(jù)更加貼近應(yīng)用時(shí),客戶群體正逐步由IT人員變成業(yè)務(wù)人員,需要降低大數(shù)據(jù)的使用門檻,讓技術(shù)平民化,獲得更好的用戶體驗(yàn)。

基于上述需求的出現(xiàn),睿帆科技逐步將大數(shù)據(jù)科學(xué)平臺(tái)、分布式分析型數(shù)據(jù)庫等產(chǎn)品加入到?jīng)Q策引擎中,滿足不斷產(chǎn)生的新需求。

在公安、政府等行業(yè),睿帆科技采用分布式分析型數(shù)據(jù)庫(雪球DB)應(yīng)用方案,滿足了客戶對(duì)極速高并發(fā)在線即席數(shù)據(jù)查詢的需求;而在通訊領(lǐng)域,睿帆的大數(shù)據(jù)科學(xué)平臺(tái)(Baymax),可以使中國移動(dòng)、中國聯(lián)通、中國電信很好的解決數(shù)據(jù)日增PB級(jí)數(shù)據(jù)量的難題,從而極大提升客戶對(duì)大數(shù)據(jù)的應(yīng)用分析能力。

目前,睿帆科技是中國移動(dòng)最大的大數(shù)據(jù)合作伙伴,為全國近一半的省份提供大數(shù)據(jù)服務(wù)支持。

睿帆科技于海中:PB級(jí)異構(gòu)數(shù)據(jù)處理將是未來大數(shù)據(jù)公司的核心競(jìng)爭(zhēng)力

睿帆科技CEO兼聯(lián)合創(chuàng)始人 于海中先生

近期,記者來到位于北京的睿帆科技總部,與公司CEO兼聯(lián)合創(chuàng)始人于海中先生進(jìn)行了一場(chǎng)關(guān)于大數(shù)據(jù)技術(shù)和行業(yè)趨勢(shì)的暢談,他對(duì)睿帆科技的產(chǎn)品當(dāng)前落地場(chǎng)景、面臨的挑戰(zhàn),以及睿帆科技在大數(shù)據(jù)領(lǐng)域的實(shí)踐進(jìn)行了分享:

記者:當(dāng)年創(chuàng)建睿帆科技的初衷是什么?

于海中:我在日本留學(xué)碩士畢業(yè)后,工作于日本最大的軟件集成商N(yùn)TT Data。工作中接觸到車聯(lián)網(wǎng)技術(shù),此后從事了8年的車聯(lián)網(wǎng)系統(tǒng)開發(fā)及運(yùn)營,在這過程中充分認(rèn)識(shí)到大數(shù)據(jù)技術(shù)發(fā)展及運(yùn)用將會(huì)給企業(yè)帶來革命性的發(fā)展。恰逢其時(shí),我和幾個(gè)就職于阿里巴巴、華為、Teradata的小伙伴商討創(chuàng)業(yè)想法,大家一致認(rèn)為,中國的信息技術(shù)發(fā)展速度全球領(lǐng)先,并且隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、人工智能等技術(shù)的深度融合,必將催生龐大的大數(shù)據(jù)技術(shù)應(yīng)用需求,大數(shù)據(jù)創(chuàng)業(yè)正當(dāng)其時(shí)!于是,一拍即合果斷選擇創(chuàng)辦了這家睿帆科技。

記者:睿帆科技的業(yè)務(wù)發(fā)展戰(zhàn)略是怎樣的?

于海中:睿帆科技的目標(biāo)是成為全領(lǐng)域全行業(yè)的一站式大數(shù)據(jù)解決方案供應(yīng)商。所以第一階段,我們將業(yè)務(wù)主要聚焦在通信領(lǐng)域,服務(wù)于三大運(yùn)營商,深耕結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域。目前,我們是中國移動(dòng)最大的大數(shù)據(jù)解決方案供應(yīng)商,為全國近一半的省份提供大數(shù)據(jù)支持服務(wù)。

下一步,我們要繼續(xù)深耕通信運(yùn)營商領(lǐng)域的同時(shí)加大公安安防、政府、軌道交通、金融等行業(yè)的投入,切入非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域。18年我們已經(jīng)與廣東公安、廣州地鐵的重要供應(yīng)商達(dá)成合作,相關(guān)產(chǎn)品和方案已經(jīng)在落地試點(diǎn),相信很快能夠看到我們?cè)谶@個(gè)領(lǐng)域的新突破。

遠(yuǎn)期,我們將打通大數(shù)據(jù)產(chǎn)業(yè)鏈上下游,目標(biāo)成為全領(lǐng)域全行業(yè)的一站式大數(shù)據(jù)解決方案供應(yīng)商。

記者:為什么會(huì)有這樣的選擇呢?

于海中:我們的產(chǎn)品優(yōu)勢(shì)在于比其他大數(shù)據(jù)產(chǎn)品處理數(shù)據(jù)量級(jí)要更大、穩(wěn)定性更強(qiáng)和運(yùn)行速度更快,只有在PB級(jí)數(shù)據(jù)、應(yīng)用復(fù)雜的領(lǐng)域才能發(fā)揮優(yōu)勢(shì),而運(yùn)營商領(lǐng)域恰巧滿足這些點(diǎn)。但運(yùn)營商的數(shù)據(jù)多半都是以結(jié)構(gòu)化數(shù)據(jù)為主,要想成為全領(lǐng)域全行業(yè)的一站式大數(shù)據(jù)解決方案供應(yīng)商,還需要面對(duì)非結(jié)構(gòu)化數(shù)據(jù),所以我們的第二階段戰(zhàn)略是切入公安安防行業(yè)。

政府、金融和軌道交通行業(yè)也是時(shí)下對(duì)大數(shù)據(jù)需求比較高的行業(yè),我們現(xiàn)有的產(chǎn)品即可滿足這些行業(yè)的需求。

記者:能夠服務(wù)像中國移動(dòng)、中國聯(lián)通、中國電信這種大客戶,其核心的壁壘是什么?

于海中:首當(dāng)其沖的當(dāng)然是過硬的技術(shù)實(shí)力,我們是少數(shù)真正在實(shí)際環(huán)境中能夠處理PB級(jí)數(shù)據(jù)的企業(yè)??v觀整個(gè)大數(shù)據(jù)行業(yè),大數(shù)據(jù)處理產(chǎn)品競(jìng)爭(zhēng)是相當(dāng)激烈的,各家企業(yè)都以開拓市場(chǎng)為目的,利潤(rùn)空間有限。為了方便公司業(yè)務(wù)拓展,這些大數(shù)據(jù)公司對(duì)外宣傳都具有PB級(jí)數(shù)據(jù)處理的能力,實(shí)則只是在模擬環(huán)境下做過相關(guān)測(cè)試。

實(shí)驗(yàn)環(huán)境和應(yīng)用環(huán)境的大數(shù)據(jù)承載量、數(shù)據(jù)復(fù)雜程度及數(shù)據(jù)質(zhì)量是不一樣的,盡管在實(shí)驗(yàn)室場(chǎng)景下能完成PB級(jí)別以上的數(shù)據(jù)處理,但在實(shí)際應(yīng)用場(chǎng)景下就會(huì)出現(xiàn)意想不到的問題,這些問題有時(shí)只會(huì)造成服務(wù)器卡頓,有時(shí)會(huì)出現(xiàn)宕機(jī),甚至硬件損毀。

我們?cè)趯?shí)驗(yàn)室環(huán)境下早已具備PB級(jí)數(shù)據(jù)處理的能力,但在實(shí)際環(huán)境中第一次日增數(shù)據(jù)量達(dá)到500TB時(shí),我們很緊張。當(dāng)時(shí)專門增加了兩名運(yùn)維工程師24小時(shí)輪班觀測(cè)。果不其然,在連續(xù)2天日增數(shù)據(jù)量超過500TB時(shí),出現(xiàn)了在模擬環(huán)境下從未遇到過的問題。我們對(duì)此也作了充分的準(zhǔn)備,按照預(yù)案一點(diǎn)點(diǎn)排查一直加班到凌晨2點(diǎn),順利解決。

后來當(dāng)日增數(shù)據(jù)量達(dá)到700TB的時(shí)候,我們依舊有些小緊張。為了防止意外我們依舊安排了運(yùn)維團(tuán)隊(duì)值守,但運(yùn)維團(tuán)隊(duì)在觀測(cè)3天以后服務(wù)器沒有出現(xiàn)問題,我們就確信PB級(jí)以下數(shù)據(jù)都可以穩(wěn)定的運(yùn)行了。

直到現(xiàn)在,日增數(shù)據(jù)量已經(jīng)達(dá)到近PB級(jí)別,我們的大數(shù)據(jù)科學(xué)平臺(tái)在服務(wù)器上依舊保持穩(wěn)定運(yùn)行。

記者:長(zhǎng)期來講,客戶群體定位都會(huì)以頭部企業(yè)大客戶為主嗎?

于海中:基本上可以這么說。因?yàn)榇髷?shù)據(jù)行業(yè)的特殊性,注定在客群定位上睿帆科技傾向于大客戶。在重點(diǎn)布局的通信領(lǐng)域,其對(duì)大客戶的定義主要是三大運(yùn)營商,在公安安防領(lǐng)域主要是一二線城市,這些客戶大數(shù)據(jù)制度及標(biāo)準(zhǔn)完善,具有很強(qiáng)的大數(shù)據(jù)業(yè)務(wù)需求。

睿帆科技于海中:PB級(jí)異構(gòu)數(shù)據(jù)處理將是未來大數(shù)據(jù)公司的核心競(jìng)爭(zhēng)力

大數(shù)據(jù)科學(xué)平臺(tái)Baymax截圖

記者:能否重點(diǎn)介紹一下大數(shù)據(jù)科學(xué)平臺(tái)Baymax?

于海中:大數(shù)據(jù)科學(xué)平臺(tái)Baymax是我們自主研發(fā)的大數(shù)據(jù)處理平臺(tái)。我們?cè)陂L(zhǎng)期與客戶的接觸中發(fā)現(xiàn),企業(yè)客戶對(duì)大數(shù)據(jù)的需求不明確,且引入大數(shù)據(jù)產(chǎn)品通常需要較高的人力成本用來開發(fā)。因此,我們?cè)谄脚_(tái)的“易用性”和“可視化”方面下了不少功夫,將大數(shù)據(jù)科學(xué)平臺(tái)Baymax設(shè)定成可拖拽流程圖形式,同時(shí)為其預(yù)置了多種數(shù)據(jù)處理節(jié)點(diǎn)和常用算法,使得企業(yè)技術(shù)人員無需擁有大數(shù)據(jù)底層開發(fā)經(jīng)驗(yàn),即可自主完成數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)融合、數(shù)據(jù)管理、數(shù)據(jù)檢索、流程開發(fā)、交互查詢、模型部署、任務(wù)監(jiān)控、流程管理、業(yè)務(wù)管理等多項(xiàng)功能,并加快項(xiàng)目實(shí)施進(jìn)度。

記者:除了大數(shù)據(jù)科學(xué)平臺(tái)Baymax,睿帆科技還有哪些產(chǎn)品?

于海中:我們還有分布式分析型數(shù)據(jù)庫雪球DB。雪球DB主要服務(wù)于對(duì)查詢效率及速度需求比較高的客戶,雪球DB支持高并發(fā)在線即席查詢,百億級(jí)數(shù)據(jù)數(shù)百并發(fā)查詢速度在毫秒之間。

記者:如此優(yōu)秀的性能,適用于哪些場(chǎng)景呢?

于海中:比如公安安防領(lǐng)域的交通卡口。據(jù)統(tǒng)計(jì)每個(gè)交通卡口每天上傳的數(shù)據(jù)超過1億條,常規(guī)的大數(shù)據(jù)技術(shù)很難支持在這么高的數(shù)據(jù)量下極速查詢,而分布式分析型數(shù)據(jù)庫雪球DB剛好可以滿足這個(gè)需求,目前已經(jīng)在某省公安的安防系統(tǒng)中上線。

記者:能研發(fā)出來如此高性能產(chǎn)品的團(tuán)隊(duì),我很好奇公司的團(tuán)隊(duì)架構(gòu)是什么樣的?

于海中:2018年我們團(tuán)隊(duì)擴(kuò)大了一倍,目前有近60人,其中技術(shù)團(tuán)隊(duì)有30人,業(yè)務(wù)團(tuán)隊(duì)23人。從人數(shù)上就可以看出我們的團(tuán)隊(duì)架構(gòu)有別于技術(shù)導(dǎo)向性企業(yè),是業(yè)務(wù)和技術(shù)五五開,齊頭并重。作為一家大數(shù)據(jù)企業(yè)來說,技術(shù)能力是絕對(duì)的核心,但既然是做TO B或者TO G的業(yè)務(wù),業(yè)務(wù)服務(wù)能力也是決定企業(yè)長(zhǎng)遠(yuǎn)發(fā)展的核心。

記者:您認(rèn)為,做Hadoop相關(guān)業(yè)務(wù)的公司未來有機(jī)會(huì)做大么?

于海中:可能純做Hadoop發(fā)行版機(jī)會(huì)不大了,但做更廣泛一點(diǎn)的Hadoop服務(wù)商是很有前景的,比如說,公司有大規(guī)模團(tuán)隊(duì)幫客戶做維護(hù),或者找到更好地具體應(yīng)用場(chǎng)景,提供一站式的大數(shù)據(jù)解決方案。

記者:睿帆科技2019年在哪些行業(yè)落地進(jìn)展更快一些?

于海中:從發(fā)展速度來看,公安安防、軌道交通領(lǐng)域的大數(shù)據(jù)發(fā)展速度應(yīng)該是最快的,公安安防領(lǐng)域在2019年將大數(shù)據(jù)作為非常重要的戰(zhàn)略方向,大數(shù)據(jù)的需求非常旺盛,發(fā)展很快。其它行業(yè),包括政府、金融等領(lǐng)域也齊頭并進(jìn),不斷地有項(xiàng)目落地。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-03-25
睿帆科技于海中:PB級(jí)異構(gòu)數(shù)據(jù)處理將是未來大數(shù)據(jù)公司的核心競(jìng)爭(zhēng)力
大數(shù)據(jù)技術(shù)與行業(yè)應(yīng)用融合正在加速,企業(yè)對(duì)大數(shù)據(jù)的需求變得日益旺盛,當(dāng)其他公司還在大談大數(shù)據(jù)解決方案概念時(shí),一家由Teradata、華為、阿里等知名企業(yè)大數(shù)據(jù)科學(xué)

長(zhǎng)按掃碼 閱讀全文