領(lǐng)誠(chéng)科技大數(shù)據(jù)日志分析解決方案

日志分析，并非大數(shù)據(jù)“雕蟲技”

經(jīng)過(guò)長(zhǎng)期的信息化建設(shè)，企業(yè)積攢了成百上千套系統(tǒng)，每天產(chǎn)生海量的日志信息數(shù)據(jù)。然而，大量的日志信息往往被遺棄、或存放歷史庫(kù)中，未能有效發(fā)揮其價(jià)值。部分企業(yè)逐步意識(shí)到日志信息的重要性，部署了Tivoli等管理系統(tǒng)，但這種傳統(tǒng)解決方案，對(duì)半結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)適應(yīng)性極差，且局限于歷史數(shù)據(jù)的統(tǒng)計(jì)展示，對(duì)日志數(shù)據(jù)的獲取、使用和價(jià)值發(fā)揮均存在較嚴(yán)重的能力不足。

造成這些日志分析窘境的原因，主要包含以下幾點(diǎn)：

隨著科技的飛速發(fā)展，大數(shù)據(jù)技術(shù)日趨成熟，在日志分析方面，大數(shù)據(jù)亦能大展雄威。領(lǐng)誠(chéng)科技大數(shù)據(jù)日志分析解決方案，可望有力地改善企業(yè)日志分析的處境，全面發(fā)揮日志分析的業(yè)務(wù)價(jià)值。

總體解決方案

經(jīng)過(guò)多年的潛心研究和實(shí)踐，領(lǐng)誠(chéng)科技對(duì)大數(shù)據(jù)技術(shù)及應(yīng)用具有深刻的理解。大數(shù)據(jù)，并不僅是指數(shù)據(jù)存儲(chǔ)量的巨大，更強(qiáng)調(diào)數(shù)據(jù)維度的全面和更快速的結(jié)果反饋。因此，我們需要從數(shù)據(jù)源的全面性、時(shí)效性和預(yù)測(cè)能力等多方面發(fā)力。

大數(shù)據(jù)日志分析解決方案的核心思路如下：

基于NoSQL等技術(shù)的數(shù)據(jù)存儲(chǔ)系統(tǒng)，以適應(yīng)數(shù)據(jù)源格式多樣性和不統(tǒng)一，極大限度的促進(jìn)數(shù)據(jù)的全面性。

設(shè)計(jì)常規(guī)數(shù)據(jù)源API，通過(guò)拖拽的方式實(shí)現(xiàn)大部分?jǐn)?shù)據(jù)的接入，降低多樣數(shù)據(jù)源的接入成本和IT人員維護(hù)難度。

采用分布式架構(gòu)，通過(guò)廉價(jià)服務(wù)器集群方式來(lái)存儲(chǔ)和計(jì)算海量日志數(shù)據(jù)。

設(shè)計(jì)離線與實(shí)時(shí)分離的數(shù)據(jù)處理方式，實(shí)現(xiàn)對(duì)海量歷史數(shù)據(jù)的和實(shí)時(shí)數(shù)據(jù)的分析，協(xié)助系統(tǒng)管理人員實(shí)現(xiàn)對(duì)問(wèn)題的敏捷洞察，快速排查故障。

集成開源的R、Python實(shí)現(xiàn)對(duì)日志數(shù)據(jù)的可視化和深度挖掘，從而完成對(duì)生產(chǎn)系統(tǒng)全面預(yù)警、監(jiān)控、統(tǒng)計(jì)分析和故障排查。充分利用機(jī)器學(xué)習(xí)和人工智能分析方法，實(shí)現(xiàn)對(duì)關(guān)鍵問(wèn)題預(yù)測(cè)分析，協(xié)助管理決策，全面提升企業(yè)信息化管理水平。

整體架構(gòu)示例圖：

針對(duì)不同企業(yè)的不同數(shù)據(jù)安全及系統(tǒng)管理要求，我們提供公共云與私有云兩種部署方案。兩種模式均提供豐富的API，可以對(duì)多種類型傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)以及平面文件實(shí)現(xiàn)批量和實(shí)時(shí)的采集、整合和分析。

相比私有云方案，公共云更具性價(jià)比，我們提供7×24小時(shí)托管服務(wù)，無(wú)需耗費(fèi)大量資源運(yùn)維底層系統(tǒng)。另外，去中心化的架構(gòu)設(shè)計(jì)能夠提升服務(wù)的穩(wěn)定性。更有價(jià)值的是，我們內(nèi)置大量常規(guī)分析模型和機(jī)器學(xué)習(xí)模型，能夠有效降低企業(yè)預(yù)測(cè)分析與實(shí)時(shí)預(yù)警的門檻。

公共云方案

云端模式可以通過(guò)代理自動(dòng)上傳日志數(shù)據(jù)，通過(guò)云端分析平臺(tái)統(tǒng)計(jì)和分析日志數(shù)據(jù)。

公共云架構(gòu)：

私有云方案

私有化云模式需要本地部署日志采集和分析平臺(tái)，通過(guò)企業(yè)網(wǎng)絡(luò)總線實(shí)現(xiàn)日志數(shù)據(jù)的集中，再由分析平臺(tái)提供分析和預(yù)測(cè)服務(wù)。

私有云架構(gòu)：

日志采集與整合

針對(duì)不同企業(yè)的日志存儲(chǔ)策略，我們提供豐富的API，可以對(duì)多種類型關(guān)系數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)、XML文件和平面文件實(shí)現(xiàn)批量和實(shí)時(shí)采集。對(duì)于特殊日志格式，可以定制接口，最大限度保證數(shù)據(jù)的完整新。

海量日志收集后經(jīng)由平臺(tái)統(tǒng)一進(jìn)行分類整合。首先，對(duì)日志原始數(shù)據(jù)進(jìn)行清洗，提高數(shù)據(jù)質(zhì)量;其次，對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換，統(tǒng)一格式和口徑;然后，根據(jù)維度建模的策略對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換;之后，根據(jù)需求進(jìn)行KPI計(jì)算;最后，根據(jù)分析需求建立不同主題的集市主題。

存儲(chǔ)與計(jì)算

整合后的數(shù)據(jù)由分布式NoSQL和關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)與計(jì)算。這也是集中體現(xiàn)大數(shù)據(jù)優(yōu)勢(shì)技術(shù)的地方，分布式的策略極大的降低數(shù)據(jù)存儲(chǔ)成本，相對(duì)其它開支幾乎可以忽略不計(jì)。另一方面，處理海量數(shù)據(jù)的計(jì)算能力卻極大提升，能夠快速分析日志結(jié)果，從而減少系統(tǒng)運(yùn)行問(wèn)題帶來(lái)的影響。除此以外，我們提出離線和實(shí)時(shí)數(shù)據(jù)分流的策略，進(jìn)一步平衡實(shí)時(shí)性和成本的平衡。

應(yīng)用分析

應(yīng)用層面，提供多種可視化組件，通過(guò)拖拽式操作即可實(shí)現(xiàn)對(duì)日志數(shù)據(jù)敏捷展示、查詢和多維分析。在此基礎(chǔ)上，提供全面預(yù)警功能，可以通過(guò)郵件和短信等形式迅速反饋預(yù)警信息。同時(shí)，集成R和Python，滿足數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能分析需求，實(shí)現(xiàn)對(duì)關(guān)鍵問(wèn)題的聚類分析和預(yù)測(cè)分析，全面提高日志數(shù)據(jù)的利用效率。

學(xué)習(xí)示意圖：

日志分析是發(fā)現(xiàn)系統(tǒng)安全問(wèn)題的重要手段之一，我們利用整合的日志數(shù)據(jù)，通過(guò)安全分析模型，利用機(jī)器學(xué)習(xí)相關(guān)算法，可以迅速洞察以下幾種事件：受感染軟件惡意傳播，遭受入侵的系統(tǒng)，成功的攻擊，內(nèi)部人員違規(guī)操作，隱蔽通道或隱藏后門通信，高頻探查。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。