近兩年，大數(shù)據(jù)作為重要資源被提上國家戰(zhàn)略。今年兩會，馬化騰、雷軍、丁磊、張近東等互聯(lián)網(wǎng)企業(yè)的全國兩會代表委員就關(guān)于大數(shù)據(jù)戰(zhàn)略、數(shù)字經(jīng)濟(jì)發(fā)展積極獻(xiàn)策。
此外，國家發(fā)改委還在近期刊發(fā)了關(guān)于2020年發(fā)展數(shù)字經(jīng)濟(jì)的八大舉措。
例如“實體經(jīng)濟(jì)數(shù)字化融合;促進(jìn)數(shù)據(jù)要素流通;發(fā)展新型基礎(chǔ)設(shè)施”等，以鼓勵傳統(tǒng)產(chǎn)業(yè)加快數(shù)字化轉(zhuǎn)型，推進(jìn)前沿信息技術(shù)在各場景的融合應(yīng)用。
海量的數(shù)據(jù)是政務(wù)管理、企業(yè)數(shù)字化轉(zhuǎn)型的核心生產(chǎn)因素，但現(xiàn)階段，真正被有效儲存、使用的數(shù)據(jù)還不到10%。如何喚醒大量“沉睡的”數(shù)據(jù)并從中尋找、分析有價值的信息，促進(jìn)業(yè)務(wù)發(fā)展，無疑是一個巨大挑戰(zhàn)。
“4G時代，大數(shù)據(jù)更多是服務(wù)IT基礎(chǔ)建設(shè)成熟行業(yè)的頭部客戶，離個人還有一定距離。5G的到來和國家進(jìn)一步提出深化大數(shù)據(jù)的發(fā)展，更多中小型企業(yè)對于數(shù)據(jù)采集、存儲、治理、分析和挖掘的需求也在快速增加。”在睿帆科技大數(shù)據(jù)科學(xué)家、雪球數(shù)據(jù)庫總架構(gòu)師李求實博士看來，行業(yè)頭部企業(yè)數(shù)據(jù)每年以PB級甚至上百PB爆炸式增長，催生了對于PB級數(shù)據(jù)量在線或?qū)崟r數(shù)據(jù)分析的處理能力的需求。
關(guān)于PB級數(shù)據(jù)，美國未來學(xué)家雷·庫茲韋爾有過一個形象的比喻：如果人類功能記憶的容量預(yù)計在1.25個TB，那么800個人類記憶才相當(dāng)于1個PB。
面對龐大的數(shù)據(jù)量，很多企業(yè)早期主要通過抽樣數(shù)據(jù)來獲取結(jié)論。李博士告訴「獵云網(wǎng)」，這種方法的弊端在于“抽樣之后的數(shù)據(jù)變成了百萬級或千萬級，是原始數(shù)據(jù)的一個子集，和實際情況會有很大偏差，導(dǎo)致根據(jù)樣本得出的結(jié)論可靠性大大降低。”
為了追求數(shù)據(jù)的準(zhǔn)確性，有的企業(yè)不得不降低數(shù)據(jù)處理的實時性，采用離線處理的方式。但數(shù)據(jù)的價值就在于其時效性，越早分析越能得到快速準(zhǔn)確的反饋或響應(yīng)，并及時利用結(jié)論指導(dǎo)后續(xù)的業(yè)務(wù)工作。
此時，一款針對海量數(shù)據(jù)進(jìn)行毫秒級在線即席查詢分析的數(shù)據(jù)庫就顯得尤其關(guān)鍵——它甚至決定了企業(yè)是否能以比競爭對手更低的成本、更快的速度解決問題，構(gòu)建起核心競爭力。
滿足大數(shù)據(jù)量查詢的穩(wěn)、準(zhǔn)、快
過去十年，業(yè)內(nèi)一直推崇的分布式計算平臺是Apache基金會旗下的Hadoop。2009年，Hadoop將1TB數(shù)據(jù)的排序時間縮短到了62秒，從此名聲大噪。
它也憑借其高可靠性、高可擴(kuò)展性、高容錯性和低成本成為當(dāng)今大數(shù)據(jù)領(lǐng)域運(yùn)用最多、范圍最廣的技術(shù)平臺，被雅虎、FaceBook、last.fm等眾多公司應(yīng)用。
李博士介紹，由于Hadoop的設(shè)計初衷是針對存儲和分析離線大數(shù)據(jù)，因此無法提供便捷高效的數(shù)據(jù)交互、多維分析、快速查詢服務(wù)，“雖然產(chǎn)生了諸多如Spark、Impala、Drill等SQLonHadoop項目來優(yōu)化Hadoop在服務(wù)效率上的短板，但由于這些項目仍然基于Hadoop底層機(jī)制，所以無法從根本上解決這些問題。”
為了幫助企業(yè)做到穩(wěn)、準(zhǔn)、快的實現(xiàn)海量數(shù)據(jù)的調(diào)用需求，掌握PB級數(shù)據(jù)核心處理技術(shù)的大數(shù)據(jù)產(chǎn)品及解決方案供應(yīng)商睿帆科技，在原有的零距大數(shù)據(jù)中臺的基礎(chǔ)上，自研了一款具有千億級數(shù)據(jù)毫秒查詢速度的分布式分析型數(shù)據(jù)庫雪球DB。
“雪球”的特點主要在于列式存儲，向量化執(zhí)行引擎，高可靠的集群架構(gòu)以及數(shù)據(jù)自動均衡、實現(xiàn)副本異步拷貝的能力。
首先，與行式存儲將每一行的數(shù)據(jù)連續(xù)存儲不同，列存是連續(xù)存儲每一列的數(shù)據(jù)。它的優(yōu)勢是在數(shù)據(jù)讀取時，只需要讀取參與計算的列，這極大降低了IO 的消耗，加快了查詢速度。與此同時，同一列中的數(shù)據(jù)屬于同一類型，這使得列式存儲可對數(shù)據(jù)進(jìn)行高達(dá)十倍甚至數(shù)十倍的壓縮，這節(jié)省了存儲空間和成本消耗，非常適合大數(shù)據(jù)查詢分析和高并發(fā)查詢。
其次，雪球DB還實現(xiàn)了向量化執(zhí)行引擎，對內(nèi)存中的列式數(shù)據(jù)，一個批次調(diào)用一次指令(而非每一行調(diào)用一次)，不僅減少了函數(shù)調(diào)用次數(shù)，而且可以充分發(fā)揮指令的并行能力，大幅縮短了計算耗時。相當(dāng)于讓數(shù)據(jù)處理的效率有了幾何倍的提升。
此外，雪球DB通過Share-nothing節(jié)點方式，消除了主節(jié)點性能瓶頸，大幅提升集群性能。
“Share-nothing說白了就是什么任何東西都不共享，好處就在于通過硬件設(shè)備的疊加，就可以完成性能的線性疊加。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫會共享一定的設(shè)備，因此會擁有疊加瓶頸，使其疊加效率非常低。”李博士表示。
而針對傳統(tǒng)分布式系統(tǒng)宕機(jī)過程中造成各節(jié)點內(nèi)數(shù)據(jù)分布不均衡的問題，睿帆科技開發(fā)了“應(yīng)對節(jié)點宕機(jī)時的負(fù)載均衡優(yōu)化”專利技術(shù)。
理想狀態(tài)下，每個節(jié)點的計算量是同等的，否則工作量較大的節(jié)點將決定整體任務(wù)的完成時間，比負(fù)載平衡所用的時間大大延長。而一旦所有工作都集中在某一個或某幾個機(jī)器上，并行優(yōu)勢也將無從體現(xiàn)。
通過先進(jìn)的Hash隨機(jī)算法，雪球DB能夠在一個節(jié)點宕機(jī)時自動均衡各節(jié)點內(nèi)數(shù)據(jù)分布，保證各節(jié)點磁盤占用相對均衡，避免雪崩效應(yīng)。同時，雪球DB支持多副本備份，可以在不同的節(jié)點上維護(hù)相同的數(shù)據(jù)。當(dāng)前節(jié)點如果發(fā)生故障，則自動切換由備份副本提供服務(wù)。
這些核心特點使得“雪球”在根本上解決了Hadoop體系交互復(fù)雜、效率低下的問題，滿足了海量數(shù)據(jù)在線交互、多維分析和高效查詢，確保數(shù)據(jù)分析結(jié)果更真實。
李博士表示，雪球DB是基于高并發(fā)環(huán)境下、千億級數(shù)據(jù)毫秒級查詢所研發(fā)的數(shù)據(jù)庫。產(chǎn)品剛研發(fā)出來時，我們對于實際測試結(jié)果還是很興奮的。但合作伙伴試用后反饋效果一般，和其他數(shù)據(jù)庫產(chǎn)品差不多，都是在幾十毫秒左右。后來發(fā)現(xiàn)，他們只是拿雪球在做少量并發(fā)的常規(guī)數(shù)據(jù)查詢。但當(dāng)對方內(nèi)部系統(tǒng)升級，上線了很多新功能，數(shù)據(jù)量和并發(fā)數(shù)呈幾何性增長時，雪球DB和其他數(shù)據(jù)庫對比，性能優(yōu)勢就顯現(xiàn)出來了，在海量數(shù)據(jù)高并發(fā)、多條件等苛刻場景下的測試，結(jié)果比原有數(shù)據(jù)庫快了幾個數(shù)量級。
這家公司后來與睿帆建立了長期合作，其用戶覆蓋近億，單日增量數(shù)據(jù)超過1PB，在雪球DB的PB級聯(lián)機(jī)分析能力下，根本上解決了數(shù)據(jù)不及時、查詢延遲高、分析維度受限等問題，大幅提高了服務(wù)效率。
疫情期間，某通信運(yùn)營商就通過雪球DB解決了海量多種類型數(shù)據(jù)如何及時、高效地處理和分析的問題。
“為了輸出潛在2B人員名單、分析疫情趨勢、建立駐留人員熱點區(qū)域圖，需要對海量數(shù)據(jù)進(jìn)行調(diào)取分析。放在過去，需要大量的人工排查，耗時耗力。但通過我們毫秒級在線分析模型，幾分鐘就能調(diào)出結(jié)果。”李博士提到。
或者在公共安全領(lǐng)域，面對多警種的數(shù)據(jù)內(nèi)容，以千億級數(shù)據(jù)毫秒查詢速度，結(jié)合睿帆科技其他產(chǎn)品能夠?qū)⒁曨l、音頻、文檔、圖標(biāo)等結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行實時分析可視化決策，實現(xiàn)警情態(tài)勢的全局把控。
在原版雪球DB的基礎(chǔ)上，睿帆科技還針對小B客戶開發(fā)了“輕量版”。后者可以只在一臺機(jī)器上運(yùn)行，不支持分布式和磁盤復(fù)制，削減了部分功能從而進(jìn)一步降本增效。
李博士告訴「獵云網(wǎng)」，由于大部分中小企業(yè)的數(shù)據(jù)調(diào)用需求受時間、季節(jié)的影響，比如銷售淡旺季、疫情關(guān)鍵節(jié)點等，因此針對這類客戶主要采用aPaaS模式，以公司的另一款產(chǎn)品零距大數(shù)據(jù)中臺作為最下層依托，與雪球相結(jié)合推出一整套解決方案——由于零距大數(shù)據(jù)中臺“低代碼+圖形化”的界面，因此可以極大地降低客戶使用門檻。
大數(shù)據(jù)經(jīng)濟(jì)真正的價值，在于普惠中小企業(yè)
隨著信息技術(shù)和人類生活的深度融合，以及互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展，各行各業(yè)的數(shù)據(jù)呈爆發(fā)增長態(tài)勢。來自IDC的數(shù)據(jù)顯示，全球的數(shù)據(jù)量2020年將達(dá)到40ZB(1ZB=1024EB,1EB=1024PB)，如果換算成128G iPad的高度，可以達(dá)到地球到月球距離的6.6倍。
龐大的數(shù)據(jù)量也催生了數(shù)據(jù)存儲更多、更快、更穩(wěn)定的需求。由于數(shù)據(jù)量的增長速度遠(yuǎn)遠(yuǎn)超存儲設(shè)備本身能力的增長，原有的存儲設(shè)備，甚至整個存儲架構(gòu)都需要不斷擴(kuò)容和升級。
也使得大數(shù)據(jù)存儲技術(shù)在數(shù)據(jù)存儲的成本、數(shù)據(jù)讀寫能力以及數(shù)據(jù)自動備份安全性等方面，都面臨很大的挑戰(zhàn)。而這些痛點并不能僅通過硬件和存儲陣列本身存儲能力的提升來解決。
在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法滿足海量數(shù)據(jù)的存儲處理需求的情況下，以阿里巴巴為首的互聯(lián)網(wǎng)企業(yè)最早開啟了“去IOE化”的歷程。
在此之前，阿里主要使用的是IBM、惠普的小型機(jī)，存儲設(shè)備主要是EMC的產(chǎn)品，和部分戴爾存儲設(shè)備;數(shù)據(jù)庫都是Oracle的。但在電子商務(wù)業(yè)務(wù)的爆發(fā)式增長下，原有的技術(shù)架構(gòu)和成本阻礙了業(yè)務(wù)發(fā)展。
所謂去IOE化，其實就是集中式部署(IOE架構(gòu))很難適應(yīng)互聯(lián)網(wǎng)大規(guī)模應(yīng)用對擴(kuò)展性的要求，因此用分布式架構(gòu)系統(tǒng)替代了集中式架構(gòu)商用系統(tǒng)，進(jìn)而有了分布式數(shù)據(jù)庫的產(chǎn)生。
“IOE時代，數(shù)據(jù)通常存儲在IOE的硬件設(shè)備中，”李博士提到，“當(dāng)數(shù)據(jù)量增加時，就會通過堆砌IOE的硬件設(shè)備來實現(xiàn)存儲任務(wù)。由于IOE的軟硬件相互配合，成本也會水漲船高。”
但這套解決方案并非適用于所有公司。阿里的“去IOE”從2010年開始共耗時三年，前后投入近1.7萬名技術(shù)員工。遷移之后，系統(tǒng)的維護(hù)和運(yùn)營成本的耗費也十分高昂，比如為了重新架構(gòu)全新的運(yùn)維體系，僅X86服務(wù)器就花了1.5萬臺，以替代原來的幾百臺小型機(jī)的系統(tǒng)。
對于大多數(shù)具有成本壓力的中小企業(yè)，睿帆科技推出了一站式解決方案，它由零距大數(shù)據(jù)中臺為底層依托，再附加雪球DB和少量語料即可完成文本識別的大禹中文智慧文本平臺，三大產(chǎn)品組合形成了覆蓋結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的整套系統(tǒng)。這套系統(tǒng)所有的產(chǎn)品都支持PB級以上的數(shù)據(jù)處理能力，同時還能支撐起產(chǎn)品對于性能和承壓性需求。
“這種PB級+低代碼+數(shù)據(jù)中臺的組合可以讓中小型企業(yè)以相對較低的成本用上大數(shù)據(jù)產(chǎn)品。”在李博士看來，這才是大數(shù)據(jù)經(jīng)濟(jì)真正的價值，即幫助更多傳統(tǒng)中小型公司通過對大數(shù)據(jù)的精細(xì)化管理，提升企業(yè)工作效率，實現(xiàn)轉(zhuǎn)型升級。
睿帆科技成立于2015年，這期間，李博士和團(tuán)隊見證了大數(shù)據(jù)應(yīng)用不斷向產(chǎn)業(yè)互聯(lián)網(wǎng)延伸的趨勢，與此同時，華為、阿里等大廠也推出了自家的私有云解決方案和大數(shù)據(jù)解決方案，和創(chuàng)新型公司共同搶食大數(shù)據(jù)服務(wù)市場。
“巨頭的加入驗證了行業(yè)的潛力，同時起到了一定的‘鯰魚效應(yīng)’。”李博士認(rèn)為，未來大公司的入局需要用更辯證的眼光來看待，一方面，未來的市場格局，普惠性的項目更多是交給巨頭來做，他們有充足的資源和資本;此外，如金融、安防等垂直細(xì)分市場可以交給睿帆科技這樣的技術(shù)型創(chuàng)新企業(yè)，“我們會深耕在我們已經(jīng)布局的、擅長的，已經(jīng)形成行業(yè)競爭壁壘的PB級大數(shù)據(jù)領(lǐng)域。”
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
