數(shù)據(jù)是數(shù)字化轉(zhuǎn)型的基礎(chǔ)，缺少數(shù)據(jù)支撐的數(shù)字化藍圖如空中樓閣，難以經(jīng)受市場的考驗。無論是從信息化向數(shù)字化邁進的傳統(tǒng)企業(yè)，還是IT成熟度較高的新興行業(yè)，日志數(shù)據(jù)都是不可或缺的信息來源，其重要程度不亞于IT監(jiān)控數(shù)據(jù)和APM性能數(shù)據(jù)。而搭建高性能日志分析平臺，也是IT部門確保數(shù)字業(yè)務(wù)高效運轉(zhuǎn)的重要手段。
日志數(shù)據(jù)中記錄了豐富的信息，為問題定位和故障預(yù)測提供詳細的數(shù)據(jù)，在運維中發(fā)揮著重要的作用。通過對日志進行分析，運維人員能夠了解服務(wù)器、軟硬件、用戶行為等詳細信息，從而快速發(fā)現(xiàn)故障原因及時告警或者對未發(fā)生的故障進行預(yù)警，提升運維的效率。
目前，企業(yè)日志數(shù)據(jù)的應(yīng)用普遍面臨著統(tǒng)一管理、海量日志數(shù)據(jù)處理、安全合規(guī)、數(shù)據(jù)價值挖掘等挑戰(zhàn)：
·日志統(tǒng)一管理：業(yè)務(wù)系統(tǒng)多、數(shù)據(jù)離散、日志種類多、字段定義未標(biāo)準(zhǔn)化，無法統(tǒng)一管理;同時日志分散不方便查看、日志搜索操作復(fù)雜且效率低。
·海量日志數(shù)據(jù)處理：在每天TB級以上的數(shù)據(jù)增量下，傳統(tǒng)解決方案的擴展性和穩(wěn)定性無法保證。
·安全合規(guī)：對運維人員的違規(guī)操作、系統(tǒng)運行異常、設(shè)備故障等安全事件缺乏監(jiān)控能力。
·日志數(shù)據(jù)的價值挖掘：日志數(shù)據(jù)中蘊含大量有價值內(nèi)容，對數(shù)據(jù)價值利用不足，僅停留在被動排障階段，無法對業(yè)務(wù)和IT主動感知，業(yè)務(wù)異常無法及時發(fā)現(xiàn)。
以云智慧服務(wù)的某國內(nèi)500強企業(yè)為例，該企業(yè)承擔(dān)著產(chǎn)業(yè)鏈上下游數(shù)百家企業(yè)海量電子信息的實時匯聚和處理，每天新生成日志數(shù)據(jù)達到數(shù)十TB，而且分布式交易系統(tǒng)調(diào)用關(guān)系復(fù)雜，如何快速解析檢索日志、審計追溯交易、快速定位故障、及時發(fā)現(xiàn)安全隱患都是該企業(yè)IT部門亟需解決的難題。
依托自研的DOLA產(chǎn)品，云智慧為該企業(yè)搭建了高性能智能日志分析平臺，其日志處理能力達到以下性能指標(biāo)：
·支持5萬/秒并發(fā)數(shù)據(jù)實時分析處理，數(shù)據(jù)傳輸和平臺解析處理吞吐量：540MB/s，處理延時在300毫秒以內(nèi);
·秒級查詢?nèi)?4小時的實時日志數(shù)據(jù)，實時日志搜索耗時<1s; 7日內(nèi)數(shù)據(jù)積累的基礎(chǔ)上的響應(yīng)延時<30s;
·單點客戶端平均傳輸速度> 1萬 EPS(Event per second);
·采用高性能的分布式列式存儲數(shù)據(jù)庫，服務(wù)器數(shù)據(jù)生成能力在100MB/s以上，且數(shù)據(jù)完整性100%;
·擴展性：支持線性擴容，可視化配置/啟停處理節(jié)點，每秒處理數(shù)據(jù)量支持線性增加;
·可插拔：所有采集器均采用可插拔設(shè)計，且所有解析器均支持二次開發(fā)擴展;
DOLA，即Digital Operation Log Analytics，是云智慧的數(shù)字化運維日志分析產(chǎn)品。DOLA產(chǎn)品基于大數(shù)據(jù)技術(shù)與智能算法，能夠?qū)崿F(xiàn)離散日志數(shù)據(jù)的統(tǒng)一采集、處理、檢索、模式識別以及可視化分析，可應(yīng)用于統(tǒng)一的日志管理、基于日志的運維監(jiān)控與分析、安全審計與合規(guī)、各種業(yè)務(wù)分析等運維場景。
自主研發(fā)的DOLA日志采集器以及Filebeat、 Logstash等多種開源日志采集器，能夠?qū)碜跃W(wǎng)絡(luò)設(shè)備、安全設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫、中間件、業(yè)務(wù)系統(tǒng)的離散的日志數(shù)據(jù)進行全面、有效、集中的采集，適配多種數(shù)據(jù)庫，操作簡便，幫助客戶減少日志采集的時間與人力成本。
云智慧DOLA產(chǎn)品廣泛適用于以下應(yīng)用場景：
·統(tǒng)一日志管理：企業(yè)日志具有跨平臺、種類繁多、數(shù)據(jù)量大等特點，為了解決日志分散不方便查看、日志搜索操作復(fù)雜效率低下、日志利用率低、無法幫助運維人員進行問題分析與定位，需要對日志進行統(tǒng)一的管理。DOLA能夠提供一站式的統(tǒng)一日志管理服務(wù)，實現(xiàn)離散日志的統(tǒng)一采集、處理、存儲、歸檔以及查詢，降低運維人員查找日志的成本，避免?為登錄服務(wù)器誤操作引發(fā)的生產(chǎn)故障。
·基于日志的調(diào)用鏈跟蹤：調(diào)用鏈中包含了從源頭請求(比如前端網(wǎng)頁請求、無線客戶端請求等)到底層系統(tǒng)(比如數(shù)據(jù)庫、分布式緩存等)的所有中間環(huán)節(jié)，DOLA能夠?qū)崿F(xiàn)無侵入式的數(shù)據(jù)收集，幫助運維人員快速分析系統(tǒng)性能消耗的原因、定位異常并解決問題。
·基于日志模式的異常識別：企業(yè)日志種類繁多、數(shù)量巨大、產(chǎn)生速度快，如何快速從海量日志中獲取信息進行異常定位是日志分析中的一大痛點。DOLA基于日志模式對異常進行識別，能夠幫助運維人員快速找出自己關(guān)心的日志類型，或者發(fā)現(xiàn)異常日志，發(fā)出告警，縮短問題發(fā)現(xiàn)的時間。
·指標(biāo)的異常檢測：很多業(yè)務(wù)指標(biāo)的數(shù)據(jù)具有周期性和季節(jié)性，傳統(tǒng)的通過人工設(shè)置固定閾值的告警方式，不僅費時費力，且嚴重依賴運維人員的經(jīng)驗，容易產(chǎn)生誤報以及漏報。DOLA通過動態(tài)基線算法對日志中的指標(biāo)數(shù)據(jù)進行智能異常檢測，直接識別異常的業(yè)務(wù)系統(tǒng)或者IT系統(tǒng)，能夠大幅度減少人工閾值的配置工作，提升告警的準(zhǔn)確率。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 2023：警惕數(shù)字化時代詐騙行為與AI戰(zhàn)爭的雙重沖擊
- OpenAI研發(fā)人形機器人，小米15Ultra月底發(fā)布，科技新動態(tài)
- 心理援助熱線即將上線，全國統(tǒng)一電話“12356”即將在明年5月1日前開通，助你走出心理困境
- Anthropic研究發(fā)現(xiàn)：打錯字可助攻解鎖GPT-4等AI模型秘密
- 小米新車發(fā)布：YU7亮相，小米注冊全新商標(biāo)，揭秘第二款車的神秘面紗
- 一汽大眾高層變動：潘占福"下課"，誰將接任黨委書記、總經(jīng)理？
- 2024新能源汽車行業(yè)破繭而出：技術(shù)落地與綠色變革的雙重挑戰(zhàn)
- 中國新能源市場大熱：最高省市滲透率超7成，油車逐漸淡出視線
- 特斯拉Cybertruck漏油問題嚴重，提車3天需維修1個月，車主怒火中燒
- 360大模型：重新定義AGI，打破行業(yè)現(xiàn)狀
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
