作者：浪潮資深存儲(chǔ)架構(gòu)師 葉毓睿、浪潮存儲(chǔ)架構(gòu)師 李強(qiáng)
隨著5G、大數(shù)據(jù)為代表的新基建不斷落地，現(xiàn)代數(shù)據(jù)中心正迅速崛起，新型的存儲(chǔ)器件、軟件技術(shù)及解決方案的發(fā)展使得存儲(chǔ)系統(tǒng)越來越復(fù)雜。這一趨勢下，浪潮存儲(chǔ)基于InView智能管理平臺(tái)，為企業(yè)提供了智能、簡單且易用的存儲(chǔ)管理和運(yùn)維。
解決存儲(chǔ)系統(tǒng)的復(fù)雜性需要AI技術(shù)
存儲(chǔ)系統(tǒng)的生命周期包括準(zhǔn)備、實(shí)施、維護(hù)三個(gè)階段，這是一個(gè)非常復(fù)雜的過程。從準(zhǔn)備階段的方案設(shè)計(jì)到實(shí)施過程中的現(xiàn)場性能調(diào)優(yōu)，再到維護(hù)階段的監(jiān)控管理、問題定位和解決，加之由于用戶數(shù)據(jù)中心環(huán)境復(fù)雜，存儲(chǔ)設(shè)備種類數(shù)量繁多，所以存儲(chǔ)系統(tǒng)的生命周期是一個(gè)復(fù)雜的體系，解決存儲(chǔ)系統(tǒng)的復(fù)雜生命周期運(yùn)行和管理需要AI技術(shù)的加持。
圖1：存儲(chǔ)系統(tǒng)生命周期三階段
AI技術(shù)可以解決存儲(chǔ)系統(tǒng)運(yùn)行和管理的復(fù)雜性，AI技術(shù)會(huì)不斷地從存儲(chǔ)及其運(yùn)行環(huán)境中采集存儲(chǔ)的各種狀態(tài)信息和性能數(shù)據(jù)，用機(jī)器學(xué)習(xí)、算法分析，學(xué)習(xí)用戶的存儲(chǔ)使用情況，進(jìn)而自動(dòng)化的調(diào)整并優(yōu)化存儲(chǔ)系統(tǒng)，使存儲(chǔ)服務(wù)能更好地適應(yīng)用戶的需求。比如：智能化的把數(shù)據(jù)保存在合適的區(qū)域;自動(dòng)的完成數(shù)據(jù)均衡;預(yù)測未來的需求;預(yù)防潛在的問題;自動(dòng)參數(shù)調(diào)優(yōu)等，有AI加持的智能化存儲(chǔ)管理可以增強(qiáng)存儲(chǔ)系統(tǒng)的可靠性、降低存儲(chǔ)的復(fù)雜性和維護(hù)成本。
權(quán)威IT調(diào)研與咨詢服務(wù)公司Gartner也在持續(xù)關(guān)注存儲(chǔ)智能化的發(fā)展，并給出了AIOps(Artificial Intelligence IT Operations)的定義： AIOps利用大數(shù)據(jù)和AI技術(shù)增強(qiáng)IT管理和運(yùn)維的能力，包括：可用性和性能監(jiān)測、事件關(guān)聯(lián)和分析、IT服務(wù)管理和自動(dòng)化。
用戶期待AI加持的存儲(chǔ)智能管理
全球的用戶也期待著擁有智能化管理的存儲(chǔ)產(chǎn)品。IDC在2018年6月完成了一項(xiàng)全球存儲(chǔ)用戶的智能化特性調(diào)查，用戶對(duì)使用AI / ML算法推動(dòng)存儲(chǔ)系統(tǒng)的改進(jìn)抱以積極的態(tài)度。
圖2：IDC調(diào)研用戶對(duì)AI存儲(chǔ)的需求
同時(shí)，IDC還調(diào)研了已經(jīng)使用了存儲(chǔ)智能運(yùn)維技術(shù)(AIOps)的用戶，詢問他們從中得到了哪些好處。圖3展示了用戶目前最關(guān)心的五項(xiàng)智能服務(wù)。其中，排第一的AIOps用途是改善系統(tǒng)的整體可用性，其次是加快問題解決速度及提高性能容量規(guī)劃，預(yù)測性地識(shí)別任何即將發(fā)生的故障，監(jiān)視與存儲(chǔ)相關(guān)的其他IT基礎(chǔ)架構(gòu)也被用戶重點(diǎn)關(guān)注。整體來說，存儲(chǔ)智能運(yùn)維技術(shù)(AIOps)在整個(gè)的市場和發(fā)展趨勢是非常好的，對(duì)于用戶來說，用戶期待借助存儲(chǔ)智能運(yùn)維技術(shù)(AIOps)來解決日常手段或者現(xiàn)有方法不能解決的存儲(chǔ)管理問題。
圖3：IDC調(diào)研：用戶最希望使用的AIOps特性
浪潮存儲(chǔ)智能運(yùn)維（AIOps）的關(guān)鍵功能和應(yīng)用場景
圖4：存儲(chǔ)的AIOps框架
一個(gè)完整的存儲(chǔ)智能運(yùn)維(AIOps)框架包括監(jiān)控、學(xué)習(xí)、預(yù)測、推薦和實(shí)施五個(gè)過程，五個(gè)過程能為存儲(chǔ)提供根因分析、自動(dòng)調(diào)優(yōu)、預(yù)防故障、容量預(yù)測和規(guī)劃、性能預(yù)測和規(guī)劃、IT服務(wù)管理等功能。
圖5：Gartner 定義的AIOps主要功能
學(xué)術(shù)界也非常關(guān)注存儲(chǔ)的AIOps。國外的存儲(chǔ)和系統(tǒng)領(lǐng)域的頂級(jí)會(huì)議FAST、ATC、SRE、KDD有很多相關(guān)文章，清華大學(xué)、中科院、華中科技大學(xué)等國內(nèi)科研機(jī)構(gòu)也在故障預(yù)測、根因分析、異常檢測、自動(dòng)調(diào)優(yōu)等方面有優(yōu)秀的科研成果。清華大學(xué)在《計(jì)算機(jī)學(xué)會(huì)通訊》上發(fā)表了“基于機(jī)器學(xué)習(xí)的運(yùn)維”，系統(tǒng)地闡述了智能運(yùn)維的關(guān)鍵技術(shù)，把AIOps分成針對(duì)歷史事件、針對(duì)當(dāng)前事件和針對(duì)未來事件三類應(yīng)用場景。歷史事件場景中瓶頸分析指的是制約存儲(chǔ)或系統(tǒng)服務(wù)的硬件或軟件瓶頸;當(dāng)前事件場景主要是根據(jù)當(dāng)前的日志和告警，快速檢測、定位異常，并完成故障的根因分析，最終實(shí)現(xiàn)快速止損，控制故障的影響范圍;未來事件場景中是通過AI技術(shù)自動(dòng)挖掘故障發(fā)生前的日志、性能參數(shù)指標(biāo)，找到故障前的可重復(fù)的模式，從而在今后出現(xiàn)類似的日志模式時(shí)，提前預(yù)測故障、性能容量變化趨勢以及系統(tǒng)可能的熱點(diǎn)瓶頸。
圖6：AIOps的關(guān)鍵場景和技術(shù)
磁盤故障預(yù)測和性能容量預(yù)測給存儲(chǔ)管理做“減法”
根據(jù)圖3 IDC的用戶調(diào)查來看，針對(duì)未來事件的預(yù)測分析是存儲(chǔ)用戶重點(diǎn)關(guān)注的五大功能之一。存儲(chǔ)本身很復(fù)雜，數(shù)據(jù)中心環(huán)境和用戶應(yīng)用也很復(fù)雜，預(yù)測性分析技術(shù)是準(zhǔn)確預(yù)測存儲(chǔ)風(fēng)險(xiǎn)和故障、解決存儲(chǔ)的復(fù)雜性的重要一部分。預(yù)測性分析技術(shù)是通過分析歷史的日志、告警、報(bào)錯(cuò)等信息，AI算法可以自動(dòng)分析出問題出現(xiàn)前的頻繁出現(xiàn)的數(shù)據(jù)模式，之后在從正常存儲(chǔ)系統(tǒng)上匹配這些AI學(xué)習(xí)到模式就能形成預(yù)測。對(duì)于一個(gè)復(fù)雜的存儲(chǔ)系統(tǒng)來說，用戶關(guān)注最多的是硬盤、性能和容量的預(yù)測分析，磁盤故障預(yù)測和性能容量預(yù)測則成為兩大關(guān)鍵功能。
為什么關(guān)注硬盤故障預(yù)測?公開數(shù)據(jù)顯示百度數(shù)據(jù)中心4年29萬次硬件故障中，硬盤故障占比高達(dá)81.84%。對(duì)于傳統(tǒng)的存儲(chǔ)廠商來說，雖然磁盤的絕對(duì)故障率不高，但是在所有的存儲(chǔ)部件中，如CPU、內(nèi)存、主板、網(wǎng)卡、HBA卡、電源等，磁盤的故障率是最高的。雖然傳統(tǒng)存儲(chǔ)有RAID、副本等機(jī)制，但是數(shù)據(jù)重建過程中使用了大量IO資源，這導(dǎo)致存儲(chǔ)性能嚴(yán)重下降，而且重建時(shí)間很長往往以天計(jì)。因此，數(shù)據(jù)重建對(duì)用戶的業(yè)務(wù)影響很大。如果我們可以提前預(yù)測磁盤故障，用戶可以選擇業(yè)務(wù)不繁忙的時(shí)間來重建數(shù)據(jù)，那么重建帶來的影響可以忽略不計(jì)。同時(shí)，預(yù)測可以把突發(fā)事件變?yōu)橛?jì)劃事件，也降低了存儲(chǔ)的維護(hù)成本。
為什么關(guān)注容量性能預(yù)測?除故障外，用戶在日常使用存儲(chǔ)的過程中關(guān)注最多的就是容量和性能。系統(tǒng)容量不足會(huì)導(dǎo)致系統(tǒng)不可用，用戶業(yè)務(wù)中斷。性能指標(biāo)主要指時(shí)延、帶寬、IOPS，隨著用戶業(yè)務(wù)的發(fā)展，給存儲(chǔ)帶來的性能壓力越來越大，性能不足會(huì)讓用戶的應(yīng)用變慢甚至無響應(yīng)。利用AI技術(shù)，對(duì)存儲(chǔ)的性能、容量變化趨勢進(jìn)行準(zhǔn)確預(yù)測，一方面可以告知用戶進(jìn)行擴(kuò)容、軟硬件升級(jí)的時(shí)間點(diǎn)，另一方面也能提供存儲(chǔ)規(guī)劃的具體參考指標(biāo)。
浪潮存儲(chǔ)智能管理平臺(tái)的磁盤故障預(yù)測技術(shù)
圖7：浪潮磁盤故障預(yù)測系統(tǒng)整體架構(gòu)
同典型的AI系統(tǒng)一樣，浪潮智能管理平臺(tái)先對(duì)歷史數(shù)據(jù)進(jìn)行訓(xùn)練，生成AI模型，最后在新的數(shù)據(jù)到來時(shí)形成預(yù)測。具體說包括以下五個(gè)部分：輸入數(shù)據(jù)、預(yù)處理、模型訓(xùn)練、優(yōu)化集成和預(yù)測。對(duì)于軟件系統(tǒng)來說關(guān)鍵點(diǎn)有：數(shù)據(jù)來源、算法選擇和評(píng)估指標(biāo)。
其一，數(shù)據(jù)來源
硬盤本身提供了SMART數(shù)據(jù)(Self-Monitoring Analysis and Reporting Technology)。SMART是90年代定義的硬盤狀態(tài)檢測和預(yù)警系統(tǒng)的規(guī)范，提供了磁頭、磁盤、電機(jī)、電路等硬盤硬件的運(yùn)行數(shù)據(jù)。目前幾乎所有的硬盤廠商都已經(jīng)支持了該規(guī)范。下表列出了與故障相關(guān)的SMART值。
表1：故障相關(guān)的SMART值
浪潮存儲(chǔ)智能管理平臺(tái)基于SMART數(shù)據(jù)進(jìn)行磁盤故障預(yù)測，且都取得了不錯(cuò)的效果。在2020年2月的存儲(chǔ)頂會(huì)FAST(USENIX Conference on File and Storage Technologies)上發(fā)表的最新論文表明，SMART再加上存儲(chǔ)性能數(shù)據(jù)可以進(jìn)一步提升預(yù)測準(zhǔn)確率。作者采用了12個(gè)磁盤IO性能指標(biāo)、18個(gè)服務(wù)器性能指標(biāo)、4個(gè)位置信息，基于CNN和LSTM的AI算法實(shí)現(xiàn)了提前10天故障預(yù)測誤報(bào)率0.5%、漏報(bào)率5.1%。我們也將著手在浪潮存儲(chǔ)平臺(tái)上能應(yīng)用最新的技術(shù)來進(jìn)一步提高預(yù)測的準(zhǔn)確性。
其二，算法選擇
可用于磁盤故障預(yù)測的AI算法有很多，如傳統(tǒng)算法決策樹、經(jīng)典的SVM(Support Vector Machine)、在各種競賽上大放異彩的XGBoost(Gradient Tree Boosting)以及深度學(xué)習(xí)算法CNN和LSTM。實(shí)際效果及頂級(jí)會(huì)議KDD、ATC、FAST的論文實(shí)驗(yàn)結(jié)果都表明，XGBoost、CNN、LSTM的效果比傳統(tǒng)算法有明顯優(yōu)勢。
其三，評(píng)價(jià)指標(biāo)
在完成了歷史數(shù)據(jù)訓(xùn)練，故障預(yù)測之后，我們需要對(duì)預(yù)測的效果進(jìn)行評(píng)估。表2描述了機(jī)器學(xué)習(xí)中標(biāo)準(zhǔn)的評(píng)價(jià)指標(biāo)。
表2：機(jī)器學(xué)習(xí)模型評(píng)價(jià)指標(biāo)
基于表2中的定義，評(píng)價(jià)磁盤故障預(yù)測的主要有準(zhǔn)確率、漏報(bào)率和誤報(bào)率：
? 準(zhǔn)確率=：判定正確的盤(含好盤和壞盤)占所有盤的比例
? 誤報(bào)率=：好盤被誤判成壞盤占所有好盤的比例
? 漏報(bào)率=：沒有識(shí)別出的壞盤占所有壞盤的比例
準(zhǔn)確率高，誤報(bào)和漏報(bào)低，是浪潮存儲(chǔ)追求的目標(biāo)。這相當(dāng)于我們?cè)诎l(fā)現(xiàn)幾乎所有壞盤的同時(shí)，沒有把好盤誤判成壞盤。但是從算法調(diào)優(yōu)的角度看，誤報(bào)率和漏報(bào)率是一對(duì)矛盾，誤報(bào)率的降低會(huì)引起漏率報(bào)的上升，漏報(bào)率的降低會(huì)引起誤報(bào)率的上升。
浪潮存儲(chǔ)智能管理平臺(tái)的性能容量預(yù)測技術(shù)
對(duì)于存儲(chǔ)來說，性能和容量預(yù)測是兩件不同的事情，都為用戶帶來不同的價(jià)值。但是站在技術(shù)角度，兩者都屬于數(shù)據(jù)挖掘中時(shí)間序列預(yù)測問題(Time Series Prediction)。時(shí)間序列，也叫時(shí)間數(shù)列、歷史復(fù)數(shù)或動(dòng)態(tài)數(shù)列。它是將某種統(tǒng)計(jì)指標(biāo)的數(shù)值，按時(shí)間先后順序排到所形成的數(shù)列。預(yù)測的基本原理是：統(tǒng)計(jì)分析過去的時(shí)間序列數(shù)據(jù)，形成擬合函數(shù)或者AI算法模型，以擬合的函數(shù)結(jié)果或模型來預(yù)測未來的趨勢。
時(shí)間序列預(yù)測法可用于短期、中期和長期預(yù)測。造成時(shí)間序列數(shù)據(jù)發(fā)生變化的因素主要有以下四個(gè)：
1)趨勢性：時(shí)間序列曲線呈現(xiàn)出一種緩慢而長期的持續(xù)上升、下降、不變的整體趨勢。
2)周期性：由于外部的影響，隨季節(jié)的交替，時(shí)間序列曲線有明顯的周期性的高峰、低谷。
3)隨機(jī)性：個(gè)別的數(shù)據(jù)變化為隨機(jī)變動(dòng)，但整體呈現(xiàn)出統(tǒng)計(jì)規(guī)律。
4)綜合性：以上幾種變化因素的疊加或組合。預(yù)測時(shí)可以過濾除去不規(guī)則的隨機(jī)因素，最終展現(xiàn)出趨勢性和周期性變動(dòng)。
經(jīng)典的時(shí)間序列預(yù)測算法有ARIMA、線性回歸、深度學(xué)習(xí)算法等。這些算法有各自的優(yōu)劣勢，產(chǎn)品會(huì)根據(jù)不同的用戶應(yīng)用場景來選擇不同的算法。圖8展示了各個(gè)算法的實(shí)際效果。
圖8：時(shí)間序列算法效果比較
對(duì)于存儲(chǔ)來說，除核心算法外，存儲(chǔ)還有自身的容量和性能指標(biāo)。表3列出了浪潮存儲(chǔ)智能管理平臺(tái)支持的未來1天、7天、30天、90天的3個(gè)容量趨勢指標(biāo)，15個(gè)性能趨勢指標(biāo)。
表3：性能容量預(yù)測指標(biāo)
存儲(chǔ)產(chǎn)業(yè)界中，作為新數(shù)據(jù)時(shí)代“新存儲(chǔ)”引領(lǐng)者，浪潮存儲(chǔ)基于InView智能管理平臺(tái)，提供了預(yù)測性分析、端到端的故障定位、性能洞察等一系列的智能化功能，幫助用戶分析復(fù)雜應(yīng)用環(huán)境下從虛擬機(jī)到后端存儲(chǔ)端到端的性能瓶頸，確定影響性能瓶頸的主要因素，并最終給出可行的優(yōu)化或解決問題的建議。其中磁盤故障預(yù)測、性能容量預(yù)測的智能化功能，可以幫助用戶預(yù)防硬件故障帶來的損失，并給出具體的擴(kuò)容建議，為用戶提供更穩(wěn)定、高性能、智能化的存儲(chǔ)服務(wù)，使存儲(chǔ)服務(wù)能更好地適應(yīng)用戶需求，同時(shí)降低存儲(chǔ)的復(fù)雜性和維護(hù)成本。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
