2020年7月30日，“第四屆中國(guó)信息通信大數(shù)據(jù)大會(huì)”在京隆重召開，來自大數(shù)據(jù)行業(yè)的主管部委、院士專家以及來自華為、中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通、中興等國(guó)內(nèi)知名企業(yè)高管共聚一堂，就通信運(yùn)營(yíng)商大數(shù)據(jù)方向、5G及AI應(yīng)用創(chuàng)新和未來發(fā)展趨勢(shì)帶來精彩分享。作為“掌握PB級(jí)核心處理技術(shù)”的大數(shù)據(jù)產(chǎn)品及解決方案供應(yīng)商的廣州睿帆科技有限公司，由大數(shù)據(jù)科學(xué)家李求實(shí)博士代表出席了該峰會(huì)。會(huì)上，睿帆科技的高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案榮獲最佳創(chuàng)新方案獎(jiǎng)。
在會(huì)后采訪中，李求實(shí)博士向記者講述了睿帆科技高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案的獨(dú)到之處，以及相比于其他競(jìng)品的優(yōu)勢(shì)。
他提到，通信運(yùn)營(yíng)商實(shí)時(shí)采集信令數(shù)據(jù)、詳單數(shù)據(jù)、告警數(shù)據(jù)、故障數(shù)據(jù)、網(wǎng)絡(luò)資源數(shù)據(jù)等，每天的新增數(shù)據(jù)早已超過PB級(jí)。海量的數(shù)據(jù)意味著更高標(biāo)準(zhǔn)的數(shù)據(jù)分析業(yè)務(wù)，對(duì)于離線分析的時(shí)效、實(shí)時(shí)與近實(shí)時(shí)的即席實(shí)時(shí)交互分析，提出了更高的要求。
早些年在傳統(tǒng)離線數(shù)倉(cāng)階段，通信運(yùn)營(yíng)商使用 Hive 作為大數(shù)據(jù)分析的主要工具，對(duì) TB 至 PB 級(jí)的數(shù)據(jù)進(jìn)行分析，但存在著以下的問題：
1. 時(shí)效性低
對(duì)于運(yùn)營(yíng)商業(yè)務(wù)來說，實(shí)時(shí)分析查詢?nèi)罩?、告警次?shù)，告警時(shí)間等數(shù)據(jù)，分析結(jié)果的價(jià)值取決于時(shí)效性。核心運(yùn)維需求場(chǎng)景下，基于 Hive 的離線分析僅能滿足 T+1 的時(shí)效，對(duì)于實(shí)時(shí)故障分析的需求越來越強(qiáng)烈。
2. 易用性低
基于 Hive 離線數(shù)據(jù)分析平臺(tái)，對(duì)于產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)人員具有較高的技術(shù)門檻，無法滿足自助的實(shí)時(shí)交互式分析需求;開發(fā)在上報(bào)和提取分析數(shù)據(jù)時(shí)，無法實(shí)時(shí)獲取和驗(yàn)證結(jié)果，查詢和分析日志經(jīng)常需要幾個(gè)小時(shí)。
3. 效率低
不停的執(zhí)行交互式查詢，所以對(duì)實(shí)時(shí)性要求高，所以效率低。
在運(yùn)營(yíng)商做業(yè)務(wù)的數(shù)據(jù)分析模型時(shí)，需通過探索性數(shù)據(jù)分析去實(shí)時(shí)執(zhí)行交互式查詢，其對(duì)海量數(shù)據(jù)的實(shí)時(shí)性交互查詢速度要求高。通過Hive構(gòu)建的業(yè)務(wù)數(shù)據(jù)分析模型，響應(yīng)時(shí)間長(zhǎng)，分析結(jié)果不及時(shí)，嚴(yán)重影響和拖慢了進(jìn)度。
為了應(yīng)對(duì)以上問題，提升流程效率，提高數(shù)據(jù)分析處理的時(shí)效性和易用性，數(shù)據(jù)的即席分析和數(shù)據(jù)可視化能力支撐需要優(yōu)化和提升，讓問題秒級(jí)響應(yīng)，分析更深入，睿帆科技基于其自主研發(fā)的數(shù)據(jù)庫(kù)產(chǎn)品——分布式分析型數(shù)據(jù)庫(kù)雪球DB，完成了高可用、低延遲的高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案，正好可以很好的解決這些問題。通過此方案可針對(duì)上千個(gè)節(jié)點(diǎn)的集群，日均新增PB 級(jí)以上的數(shù)據(jù)量，實(shí)現(xiàn)秒級(jí)的實(shí)時(shí)數(shù)據(jù)分析、提取、監(jiān)控?cái)?shù)據(jù)基礎(chǔ)服務(wù)，大大提高了大數(shù)據(jù)分析與處理的工作效率。
同時(shí)，高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案適用于PB級(jí)以上超大規(guī)模數(shù)據(jù)的實(shí)時(shí)寫入、實(shí)時(shí)讀取的OLAP 應(yīng)用場(chǎng)景，查詢速度較Presto、SparkSQL提升3-6倍，較Hive提升30-100倍。對(duì)比 Presto、SparkSQL、Hive等數(shù)據(jù)庫(kù)，其具備高可靠的分布式MPP集群架構(gòu)，使其可以多切片寫入，完成線性擴(kuò)展等。
此外，在OLAP場(chǎng)景中讀多于寫且經(jīng)常存在多列的大寬表，列數(shù)可以高達(dá)數(shù)百甚至數(shù)千列。“為此，我們特地采用列式存儲(chǔ)和向量化執(zhí)行的方式來解決，極大的減低了IO 的消耗，加速了查詢，也縮短了計(jì)算耗時(shí)。這讓我們的技術(shù)優(yōu)勢(shì)更為突出。”李求實(shí)博士表示。
一直以來，硬核的技術(shù)以及貼合用戶需求的創(chuàng)新性解決方案是睿帆科技的立身之本。此次睿帆科技高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案榮獲2020中國(guó)信息通信大數(shù)據(jù)最佳創(chuàng)新方案獎(jiǎng)，標(biāo)志著通信運(yùn)營(yíng)商行業(yè)對(duì)于睿帆科技的更高認(rèn)可。未來，睿帆科技將再接再厲繼續(xù)深耕通信運(yùn)營(yíng)商行業(yè)的同時(shí)，把更多優(yōu)秀的產(chǎn)品解決方案帶到更多的行業(yè)中，助力更多的企業(yè)實(shí)現(xiàn)高效、低成本的數(shù)字化轉(zhuǎn)型。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
