云智慧AIOps智能運維應(yīng)用實戰(zhàn)之告警抑制

自2016年Gartner提出AIOps智能運維以來，諸多中國云計算、大數(shù)據(jù)和運維管理廠商都推出了AIOps解決方案，然而這些實踐多是針對特定IT環(huán)境和應(yīng)用場景進(jìn)行智能化處理，放到其他行業(yè)或企業(yè)中就很難適用，這也限制了企業(yè)用戶對AIOps的認(rèn)知和嘗試。

云智慧作為國內(nèi)最早開始探索AIOps智能運維的獨立解決方案提供商，在過去兩年里陸續(xù)為數(shù)十家不同行業(yè)、不同應(yīng)用場景的大型企業(yè)成功實施了智能運維，積累了豐富的智能運維應(yīng)用場景和解決方案，并率先實現(xiàn)了AIOps智能運維的產(chǎn)品化、場景化和實用化。接下來這段時間，我們會為大家介紹云智慧AIOps智能運維平臺的智能告警、根因分析、智能預(yù)測等產(chǎn)品模塊，及其在不同用戶場景的應(yīng)用價值，希望為大家正確理解和選擇AIOps提供參考。

企業(yè)IT系統(tǒng)運行過程中會產(chǎn)生海量日志數(shù)據(jù)、監(jiān)控數(shù)據(jù)，這部分?jǐn)?shù)據(jù)既滿足大數(shù)據(jù)的屬性，又隱藏著巨大的業(yè)務(wù)價值，因此企業(yè)進(jìn)行AIOps實踐多是從智能告警入手。今天我們就來介紹智能告警的第一個環(huán)節(jié)——告警抑制。

告警抑制典型應(yīng)用場景

中大型企業(yè)的IT應(yīng)用系統(tǒng)龐大而復(fù)雜，設(shè)備數(shù)量動輒成千上萬，任何一個小小的IT問題都有可能引發(fā)“告警風(fēng)暴”。所謂告警風(fēng)暴是指在短時間內(nèi)系統(tǒng)產(chǎn)生大量告警消息，這些消息有的是由某種共同因素引發(fā)，互相之間存在一定關(guān)聯(lián)，有的則沒有任何關(guān)系。

以云智慧服務(wù)的某大型企業(yè)為例，某次告警風(fēng)暴產(chǎn)生時，平均每分鐘800+條告警消息，運維人員每天接收各類告警消息多達(dá)2萬條，導(dǎo)致運維人員疲于應(yīng)付大量的告警消息，需要耗費更多時間排查和處理問題，大大降低了運維效率，而且由于無法第一時間發(fā)現(xiàn)根源問題，延誤了故障處理時間，往往會給業(yè)務(wù)運行帶來潛在風(fēng)險。

壓縮比高達(dá)90% 告警抑制功能特點

常規(guī)的運維監(jiān)控產(chǎn)品都是根據(jù)固定閾值觸發(fā)告警，這種監(jiān)控方式會頻繁遇到告警報錯、漏報、告警風(fēng)暴等問題，嚴(yán)重干擾運維人員的工作效率。云智慧AIOps智能運維平臺的告警抑制產(chǎn)品針對海量的、持續(xù)的冗余告警消息，通過智能算法結(jié)合固定規(guī)則的方式對告警消息進(jìn)行告警壓縮和告警合并，在保證核心告警內(nèi)容（即不壓縮核心告警內(nèi)容）的前提下抑制告警消息數(shù)量，為運維人員提供有效的告警信息。

云智慧智能運維平臺告警抑制流程

我們把相同告警源產(chǎn)生的重復(fù)消息進(jìn)行壓縮的過程叫告警壓縮，告警壓縮是實現(xiàn)告警抑制的前提和基礎(chǔ)，通過告警壓縮可以減少70~80%的重復(fù)告警，并在此環(huán)節(jié)把告警消息（Message）生成為警報（Alert）。接下來，將不同告警源產(chǎn)生的警報按照規(guī)則、算法進(jìn)一步合并的過程叫告警合并或告警收斂。通過告警合并，告警消息的壓縮比可提升到80%~90%。

下面用幾個實例來解釋一下云智慧智能運維平臺的告警抑制流程。

例1：告警壓縮

用戶利用 Zabbix 對服務(wù)器BJ_Pay_ngix_1進(jìn)行監(jiān)控，監(jiān)控了 CPU Load，監(jiān)控頻率為10s。在13點24分開始觸發(fā) CPU Load 告警，并且持續(xù)了8分鐘未恢復(fù)，整個期間產(chǎn)生了50條重復(fù)告警消息，通過云智慧智能運維平臺的告警抑制，將50條消息壓縮為1條警報（Alert），并可以通過時間線功能，查看整個生命周期內(nèi)的告警分布情況。

例2：告警合并（告警收斂）

主機BJ_Web服務(wù)1產(chǎn)生 CPU、內(nèi)存使用率的告警，同時同一個集群的 BJ_Web 服務(wù)2也產(chǎn)生了 CPU和內(nèi)存使用率的告警，通過告警壓縮生成4個警報（Alert）,通過告警合并將集群內(nèi)所有警報合并為一個告警事件（Event）。當(dāng)然，也可以基于業(yè)務(wù)線對業(yè)務(wù)告警、APM 告警等警報進(jìn)行合并，然后通過時間線功能，查看多個警報之間的時間順序，來初步判斷告警的根因情況。

以上是云智慧AIOps智能運維平臺告警抑制功能的基本原理，此產(chǎn)品不但能接入云智慧自有的監(jiān)控寶、透視寶等告警源，還可以通過REST API 、Agent、URL 回調(diào)等方式對主流監(jiān)控Zabbix、Nagios的告警數(shù)據(jù)進(jìn)行接?，或根據(jù)客戶需求對特定告警源進(jìn)行定制化接入。此外，用戶可配置各類抑制規(guī)則，設(shè)置 事件通知的分派策略，獲得更高壓縮比、更快速的智能告警。

如今，云智慧AIOps智能運維平臺的告警抑制產(chǎn)品已經(jīng)在金融、航空、地產(chǎn)、制造、政企等多個行業(yè)通過線上環(huán)境的生產(chǎn)驗證。由于客戶類型和業(yè)務(wù)系統(tǒng)的差異，實際壓縮率可高達(dá)95%，并做到了核心內(nèi)容零損耗。

告警抑制典型案例

某大型企業(yè)集團(tuán)擁有在線商城、辦公系統(tǒng)、財務(wù)系統(tǒng)等核心系統(tǒng)，涉及到多地多個機房和幾十套應(yīng)用子系統(tǒng)，頻繁的告警消息對運維工作造成了極大干擾。為避免此類干擾，該集團(tuán)的運維人員只能臨時關(guān)閉若干系統(tǒng)的監(jiān)控功能，但這種方式導(dǎo)致了業(yè)務(wù)系統(tǒng)與基礎(chǔ)環(huán)境的監(jiān)控缺失，無法有效實時掌控整個運維環(huán)境的運行。

云智慧工程師根據(jù)對歷史故障的分析，把該企業(yè)的故障分為幾類：

•閃斷類：故障發(fā)生后迅速自愈

•重復(fù)類：單個對象的一個或多個指標(biāo)持續(xù)告警

•范圍性故障：某個區(qū)域或某個集群出現(xiàn)范圍性故障，范圍內(nèi)的多個對象短期內(nèi)同時出現(xiàn)告警

當(dāng)以上幾類告警在發(fā)生時，運維人員需要第一時間區(qū)分故障類型，才能快速定位問題。通過部署云智慧智能運維平臺，利用REST API、Agnet 采集等方式對接各個監(jiān)控系統(tǒng)，將告警消息進(jìn)行統(tǒng)一匯聚和整合，然后進(jìn)行有效的告警抑制處理，大幅降低告警事件的數(shù)量和告警發(fā)送的頻率，同時提高了告警通知的精度。

某次故障發(fā)生后，某地數(shù)據(jù)中心短期內(nèi)出現(xiàn)了上千條的告警消息，經(jīng)過壓縮合并后抑制成了幾十條警報和不到10個事件，壓縮率達(dá)到了95%以上。部署云智慧智能運維平臺三個月以來，該企業(yè)運維人員每天接收告警數(shù)量從人均182條降低到了25條，同時整個運維團(tuán)隊的平均接手時間（MTTA）和平均解決時間（MTTR）都大幅縮短。

附注：Gartner于2018年7月13日發(fā)布的《Hype Cycle for ICT in China, 2018》中，云智慧成為AIOps領(lǐng)域的Sample Vendors。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。