導語:
產業(yè)數(shù)字化升級,數(shù)據(jù)由幕后走到臺前,“數(shù)據(jù)湖”與“數(shù)據(jù)倉”逐漸形成目前“湖倉一體”的數(shù)據(jù)體系進化趨勢。這股風潮不僅僅席卷數(shù)據(jù)圈,更影響了一系列下游產業(yè),對數(shù)據(jù)的場景落地構成最為直接的影響,尤其是IT運維。
“湖倉一體”是目前大數(shù)據(jù)繞不開的一個坎兒
當數(shù)據(jù)真正成為一種生產資料,我們才切實進入大數(shù)據(jù)時代。筆者以為,當數(shù)據(jù)被主動沉淀下來并進行復用的行為出現(xiàn),才意味著一個企業(yè)確實將數(shù)據(jù)變?yōu)橐环N生產資料。
這種沉淀,必然涉及數(shù)據(jù)的存儲。隨著數(shù)據(jù)存儲技術和應用場景快速豐富的同時,關于數(shù)據(jù)湖、數(shù)據(jù)倉的爭論也日趨白熱化。數(shù)據(jù)湖和數(shù)據(jù)倉用于描述數(shù)據(jù)存儲結構,但它們的優(yōu)勢卻各有不同。
簡單理解,數(shù)據(jù)倉就像一個大型圖書館,數(shù)據(jù)根據(jù)類別等統(tǒng)一的規(guī)范分類放好,雖然存取手續(xù)較為復雜,但確保能方便找到,且找到即可直接使用。數(shù)據(jù)倉一般面向主題設計,提升了數(shù)據(jù)的結構程度,可存儲大量的結構化數(shù)據(jù)。在數(shù)據(jù)量和數(shù)據(jù)類型尚且不豐富的時代,數(shù)據(jù)倉并沒有遇到太大的瓶頸。2011年之前,數(shù)據(jù)倉還占據(jù)著主流市場,當數(shù)據(jù)上云等趨勢出現(xiàn)后,數(shù)據(jù)倉得以依靠云端降低成本,滿足日益擴大的數(shù)據(jù)量。
數(shù)據(jù)湖則面向更廣泛的數(shù)據(jù)源,并大大提升了信息密度,可以容納結構化、半結構化甚至是非結構化的數(shù)據(jù);數(shù)據(jù)可以是各種格式,比如文本、音頻、視頻。
如一汪湖泊就是一個生態(tài)。數(shù)據(jù)湖的優(yōu)勢在于其對數(shù)據(jù)的范式沒有太嚴苛的要求,可以保留大量的原始數(shù)據(jù),對于真正“跑”在數(shù)據(jù)上的企業(yè)來說做到了“高保真”。同時,數(shù)據(jù)湖存儲、處理、分析數(shù)據(jù)的基礎設施是可以不斷拓展的,這也極大降低了存儲成本。數(shù)據(jù)湖對數(shù)據(jù)不加嚴格規(guī)范,也造成了數(shù)據(jù)質量、可用性等問題較為突出,這一點又將人們的目光轉向了數(shù)據(jù)倉。
在21世紀的第二個十年,數(shù)據(jù)湖和數(shù)據(jù)倉的爭議一直未停止。短期看來,數(shù)據(jù)湖的可擴展性,適合目前業(yè)務端突飛猛進的數(shù)據(jù)環(huán)境;長期看來,數(shù)據(jù)倉的規(guī)范性利于后端數(shù)據(jù)運維,實現(xiàn)企業(yè)價值的沉淀。數(shù)據(jù)湖和數(shù)據(jù)倉的爭議,可大致視為數(shù)據(jù)擴展性和可用性之爭。
近年來,產業(yè)數(shù)字化進程帶來了數(shù)據(jù)場景大爆發(fā),使得湖倉之爭最終走向統(tǒng)一:既然數(shù)據(jù)湖和數(shù)據(jù)倉都有各自的優(yōu)點,那么取長補短就是了?？梢栽O計一種范式,擁有數(shù)據(jù)湖的低成本存儲和可擴展優(yōu)點,又有數(shù)據(jù)倉的規(guī)范性,就像在湖邊建水產倉庫,需要的時候從湖里提取、就地分類加工。湖倉一體,正是客觀環(huán)境催生的產物。
IT分布式運維是大數(shù)據(jù)“湖倉一體”最直接的著陸點
湖倉一體的數(shù)據(jù)存儲結構思路,引發(fā)了數(shù)據(jù)存儲革命的浪潮,IT運維首當其沖。
IT運維的數(shù)字化升級,標志著對數(shù)據(jù)劃時代的運用,讓數(shù)據(jù)“從幕后走到臺前”。在運維過程中,數(shù)據(jù)源變得多樣化、巨量化。企業(yè)需要邁入大數(shù)據(jù)門檻,優(yōu)先要考慮的,就是數(shù)據(jù)對IT運維的劃時代影響。對于企業(yè)來說,數(shù)據(jù)的可擴展性、可用性要求雙雙提升,數(shù)據(jù)將成為直接的生產資料,而非評估生產的輔助標準。
數(shù)據(jù)源的豐富,帶來數(shù)據(jù)量和數(shù)據(jù)場景的雙重爆發(fā)。數(shù)據(jù)產生于基礎設施,伴生而來的IT運維面臨兩個顯著問題:
1、數(shù)據(jù)直接反映系統(tǒng)的健康狀況,成為決策者的直接參考,其類型和范式都面臨巨大增長;
2、數(shù)據(jù)采集由離散變?yōu)檫B續(xù),由被動采集變成了主動采集、留存、分析,數(shù)據(jù)量產生了指數(shù)級飛躍。
對于企業(yè)來說,下一個時代的IT運維,是在深入與數(shù)據(jù)打交道。數(shù)據(jù)成為了名副其實的生產資料,運維標準、運維思路足以決定企業(yè)在數(shù)字化的路上是原地踏步,還是大踏步前進。
相較于之前流于數(shù)據(jù)湖、數(shù)據(jù)倉的爭議,IT運維遇到的數(shù)據(jù)問題則現(xiàn)實得多:IOT時代企業(yè)的IT環(huán)境,要求既要擁有數(shù)據(jù)湖的兼容和可擴展性,又要具備數(shù)據(jù)倉的可用性。湖倉一體的架構思路,自然成為了企業(yè)構建IT運維大數(shù)據(jù)棧的必選項。
目前市面提供的IT運維基礎設施方案,普遍落后于生產力需求,難以促成真正的數(shù)據(jù)化布局。市面上對IT運維解決方案的升級,僅僅限于部署單機、局域網式、小規(guī)模的監(jiān)控運維產品,盡管多有推陳出新,卻同樣是“數(shù)據(jù)倉”思維的延續(xù),畢竟過去面向主營業(yè)務這一主題設計數(shù)據(jù)倉,數(shù)據(jù)類型和數(shù)據(jù)數(shù)量都在可控范圍。
如今,隨著數(shù)據(jù)來源復雜化,企業(yè)若想沿襲數(shù)據(jù)倉的形式,數(shù)據(jù)倉就只能設計得更加臃腫,數(shù)據(jù)孤島更加嚴重,企業(yè)將不得不以擴大運維投入的手法來收獲增長。
另一方面,產業(yè)升級的趨勢、產能擴大的客觀需求,讓企業(yè)的IT基礎設施高度離散;在生產效率、多端業(yè)務協(xié)同、一體化管理上卻產生了更高的要求。這些要求,僅能通過IT基礎設施分布式運維解決。在數(shù)據(jù)結構層面,“湖倉一體”思路自然成為IT分布式運維的必答題。
監(jiān)控易IT基礎設施分布式運維,為“湖倉一體”寫下注腳
企業(yè)應用傳統(tǒng)的單機式、局域網式的運維產品,投入巨大、管理混亂尚在其次;開拓新業(yè)務即搭建新的數(shù)據(jù)體系的做法,只會讓企業(yè)陷入數(shù)據(jù)倉的無窮增補中,在數(shù)字化的大門面前舉步維艱。
美信時代的監(jiān)控易,準確切入了大數(shù)據(jù)時代企業(yè)構建“湖倉一體”IT運維體系的客觀需求,對IT基礎設施實現(xiàn)分布式運維。
首先,監(jiān)控易內置了自研的BigRiver四合一超融合數(shù)據(jù)庫。
BigRiver四合一超融合數(shù)據(jù)庫最初專為網管數(shù)據(jù)研發(fā)而成,采用超融合策略,為用戶提供集成“消息隊列”、“Key-Value樹狀數(shù)據(jù)庫”、“關系型表狀數(shù)據(jù)庫”、“內存數(shù)據(jù)庫”和“高性能時序數(shù)據(jù)庫”為一體的超融合數(shù)據(jù)庫存儲。這讓BigRiver數(shù)據(jù)庫具備了數(shù)據(jù)湖的一些基本特征,囊括主流數(shù)據(jù)類型的特性讓數(shù)據(jù)庫具備相當?shù)募嫒菪?消除數(shù)據(jù)孤島。輔以高壓縮算法,顯著提升數(shù)據(jù)庫的泛用性和讀寫效率,夯實IT分布式運維基礎。BigRiver數(shù)據(jù)庫還具備出色的事務管理機制,保證數(shù)據(jù)的一致性和完整性,對數(shù)據(jù)質量的重視,也具備數(shù)據(jù)倉的嚴謹。
除了對基礎設施友好,BigRiver數(shù)據(jù)庫還提供了豐富多元的操作接口,包括“標準SQL接口”、“自有BSAPI接口”和“Grafana展示接口”,便于用戶的使用、查詢和展示,賦予數(shù)據(jù)可視化屬性,更便于運維人員介入。
其次,監(jiān)控易的中央控制臺可以輕易實現(xiàn)一體化資源配置。
消除數(shù)據(jù)孤島、洞察一切分布式IT基礎設施,對于監(jiān)控易僅僅是“基本操作”。監(jiān)控易采用“云邊端一體化”架構,可通過架構的核心——中央控制臺進行協(xié)調、管理、分配眾多的任務管理器和實時數(shù)據(jù)庫,調動云管理中的各項功能模塊,實現(xiàn)一體化資源調配。
做到這些尚且不能算完全實現(xiàn)了IT分布式運維。
第三,監(jiān)控易還擁有具體到監(jiān)控終端(TS)的長臂管轄能力。監(jiān)控易系統(tǒng)采用底層分布式架構,各地數(shù)據(jù)中心或機房皆可實現(xiàn)一體化運維。終端自帶高性能數(shù)據(jù)庫,設備指標的采集在監(jiān)控終端完成,僅將監(jiān)控數(shù)據(jù)和告警信息上傳中央控制臺,節(jié)省了帶寬,在集中管理平臺上呈現(xiàn)關鍵信息。如監(jiān)測任務負載過高,TS監(jiān)測服務器還會自動調節(jié)監(jiān)測任務量,實現(xiàn)監(jiān)控終端分布式管理、一體化運維的“壯舉”。
通過三大核心組件,監(jiān)控易在IT基礎設施領域,實現(xiàn)了分布式運維,打破了傳統(tǒng)依賴單機版進行局域網、小規(guī)模網絡運維的模式,構建了為TOP3000規(guī)模級別的頭部企業(yè)打造分布式一體化運維平臺的實力,也徹底貫徹了數(shù)據(jù)庫的湖倉一體。目前,監(jiān)控易已應用于政府、軍工、金融、電力、石油石化、交通、醫(yī)療等多個領域,納管設備超百萬臺。
數(shù)據(jù)領域對數(shù)據(jù)井噴時代的探索,挖掘出“湖倉一體”這個成果,將會極大影響未來的數(shù)字世界。“湖倉一體”今后將在各個領域得到印證;在IT運維領域,監(jiān)控易實現(xiàn)IT分布式運維,就是對湖倉一體最有力的注腳。它成功證明了在科學合理的架構下,龐大的、分布式的IT基礎設施,可以實現(xiàn)數(shù)據(jù)的“生產資料化”,賦能企業(yè)數(shù)字化進程。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
