1.5倍速找油，浪潮分布式存儲驅(qū)動石油勘探效率提升

隨著震源隆隆的轟鳴聲，某石油勘探公司的項目數(shù)據(jù)采集順利進(jìn)行。采集完畢后，數(shù)據(jù)的保存、處理、解釋等階段就該存儲平臺“上場”了。浪潮存儲為某石油勘探公司構(gòu)建了16節(jié)點、總?cè)萘?.2PB的分布式存儲平臺，以平均寫性能27.4GB/s、讀性能30.55GB/s的極速性能，大幅縮短了石油勘探數(shù)據(jù)處理的周期，成為采用數(shù)字化、智能化技術(shù)提升能源行業(yè)業(yè)務(wù)效率的典型。

浪潮分布式存儲平臺服務(wù)石油勘探，縮短數(shù)據(jù)處理周期

當(dāng)前石油儲備逐步減少，石油勘探、開發(fā)難度增大，借助數(shù)據(jù)技術(shù)提高石油勘探的效率成為推動石油行業(yè)增長的關(guān)鍵。存儲作為數(shù)據(jù)的載體，成為石油勘探企業(yè)轉(zhuǎn)型增效的核心競爭力。

其實數(shù)據(jù)極致性能需求已成為業(yè)界的普遍需求，根據(jù)IDC與浪潮聯(lián)合發(fā)布的《2019年數(shù)據(jù)及存儲發(fā)展研究報告》，隨著新技術(shù)發(fā)展企業(yè)對數(shù)據(jù)實時性需求日益增加，到2023年實時數(shù)據(jù)將占全球數(shù)據(jù)圈24.5%的份額。

出廠前的操練

石油勘探耗資巨大，勘探數(shù)據(jù)十分寶貴，用戶把這么重要的勘探數(shù)據(jù)托付給浪潮存儲，浪潮存儲團(tuán)隊自然要全力以赴。石油勘探普遍采用地震波法，原始數(shù)據(jù)量可達(dá)數(shù)PB，后期做地震資料疊前偏移成像，會對存儲并發(fā)性能提出較高要求。根據(jù)勘探場景的數(shù)據(jù)特點，浪潮提供了容量、性能線性擴(kuò)展的分布式存儲平臺。

在分布式存儲出廠前，為了確保浪潮分布式存儲平臺AS13000在地震資料處理作業(yè)環(huán)境中的功能及性能，浪潮存儲決定在實驗室里把整體環(huán)境搭起來，進(jìn)行出廠前的“操練”。

濟(jì)南的測試實驗室里燈火通明，浪潮工程師團(tuán)隊用16個分布式存儲節(jié)點，1:1實際搭建了一套測試系統(tǒng)。系統(tǒng)裸容量4.2PB，可用容量為3.969PB，可用容量比為73.6%。經(jīng)存儲集群測試驗證，達(dá)到了進(jìn)行某石油勘探公司的項目環(huán)境要求。

浪潮分布式存儲

13次調(diào)優(yōu) 性能比業(yè)界平均水平“拔高”30%

接下來是最為關(guān)鍵的性能調(diào)優(yōu)環(huán)節(jié)。首先，浪潮存儲工程師團(tuán)隊在壓力機(jī)上部署了IOZONE測試工具。這是一款用來測試操作系統(tǒng)上文件系統(tǒng)性能的工具，范圍包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余種測試內(nèi)容，可以說是360度無死角的性能測試。其次，設(shè)置測試工具模型為16MB塊大小順序讀寫，測試數(shù)據(jù)量為內(nèi)存大小的2倍以上——2倍是比較合適的設(shè)置，不然Linux會給讀寫內(nèi)容進(jìn)行緩存，讓測試結(jié)果不真實。就這樣，浪潮分布式存儲團(tuán)隊，在壓力機(jī)上基于IOZONE測試工具一遍遍運行、調(diào)優(yōu)。

一次次功能調(diào)優(yōu)，一個個參數(shù)試驗，不夠好，再重來。一天深夜，加班回來剛剛躺下的浪潮存儲測試工程師腦子里又開始過篩子：白天測試結(jié)果雖然達(dá)到了客戶招標(biāo)要求，但能否還有提升空間呢?突然一個靈感閃過——是不是能換個功能的參數(shù)組合試試?他一骨碌從床上爬起來，迅速把想到的實驗參數(shù)記錄下來，次日便帶領(lǐng)項目組進(jìn)行組合調(diào)優(yōu)，終于讓性能上了個臺階——讀性能從25GB/s~27GB/s區(qū)間段，提升到最高28.06GB/s。

經(jīng)過長達(dá)半個月的13次系統(tǒng)級測試，浪潮16個節(jié)點的分布式存儲平臺平均寫性能達(dá)到27.4GB/s，平均讀性能達(dá)到30.55GB/s，容量和性能超出了招標(biāo)項目需求。最終，某石油勘探公司的工作組在浪潮濟(jì)南實驗室看到了測試數(shù)據(jù)的Demo演示，對測試情況非常滿意。“浪潮存儲的實力和幾年前相比有了很大提升，這次我們的招標(biāo)方案，性能要求已經(jīng)比較高了，沒想到浪潮存儲還能表現(xiàn)得更好”。

測試數(shù)據(jù)

浪潮存儲研發(fā)工程師表示：“同等配置水平下，目前分布式存儲業(yè)內(nèi)平均水平為單節(jié)點寫1.3GB/s、讀1.5GB/s，這樣一來16個節(jié)點的平均寫性能是20.8GB/s、讀性能24GB/s。對比來看，浪潮分布式存儲在石油勘探項目中的性能表現(xiàn)，比業(yè)界平均水平高出了20%~30%。”更高的性能意味著，浪潮分布式存儲平臺可以幫助石油勘探項目縮短勘探開發(fā)周期、提高勘探開發(fā)成功率。

浪潮分布式存儲的測試性能：寫性能比業(yè)界平均水平高32%，讀性能高27%

極速性能的背后是基于場景的技術(shù)創(chuàng)新

同等的硬件配置，浪潮分布式存儲為何能實現(xiàn)更好的性能?答案在場景化定制上。浪潮存儲通過內(nèi)核客戶端優(yōu)化、對象聚合、高速緩存、讀寫鎖優(yōu)化等技術(shù)創(chuàng)新，結(jié)合石油勘探不同業(yè)務(wù)階段的IO負(fù)載需求進(jìn)行深度優(yōu)化。

在數(shù)據(jù)存儲階段，石油勘探需要將采集到的原始地震波數(shù)據(jù)統(tǒng)統(tǒng)寫入分布式存儲平臺，存儲需要提供高聚合帶寬和PB級容量，滿足海量數(shù)據(jù)的并發(fā)寫入、存儲需求。

在數(shù)據(jù)解釋階段，存儲需要提供高帶寬，能夠一次性“讀出”單個文件大小超300GB的超大文件。此時的存儲需求是高帶寬，超寬通路過得了萬噸輪船。

而在數(shù)據(jù)處理、分析階段，石油勘探模型處理、分析產(chǎn)生了海量的次生小文件，存儲需要通過小文件/對象聚合技術(shù)，提升海量次生小文件的并發(fā)性能。這就如同水庫，先匯聚資源，達(dá)到一定蓄水量后再向下游統(tǒng)一輸出，存儲要把億級/千萬級小文件的隨機(jī)寫變?yōu)楣潭ù笮〉臄?shù)據(jù)的順序?qū)?，提高效率?/p>

浪潮能源行業(yè)部存儲產(chǎn)品經(jīng)理表示，“通過在石油勘探中的部署和應(yīng)用，說明浪潮存儲不僅產(chǎn)品過硬能夠承載能源行業(yè)的領(lǐng)先應(yīng)用，還有專業(yè)的測試、研發(fā)、服務(wù)團(tuán)隊，有能力在全球提供很好的支持”。

IDC與浪潮聯(lián)合：新數(shù)據(jù)時代元年，分布式存儲成為趨勢

根據(jù)近日IDC與浪潮聯(lián)合發(fā)布的《2019年數(shù)據(jù)及存儲發(fā)展研究報告》，2019年中國邁入新數(shù)據(jù)時代元年。報告顯示，在2019年中國數(shù)字化轉(zhuǎn)型IT支出首次超過非數(shù)字化轉(zhuǎn)型IT支出，占比達(dá)到51%。隨著數(shù)字化轉(zhuǎn)型的不斷加速，行業(yè)新應(yīng)用爆發(fā)式增長，從數(shù)千、數(shù)萬躍升到百萬量級，數(shù)據(jù)呈現(xiàn)出海量、多元、實時、多云等趨勢。數(shù)據(jù)存儲成為承載交通、金融、能源、通信等行業(yè)轉(zhuǎn)型的基礎(chǔ)平臺，分布式存儲成為趨勢，2023年其占比將達(dá)到40%，閃存陣列將迎來高速發(fā)展。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。