近日,由百易傳媒(DOIT)主辦的“2022數據與存儲峰會”在北京順利舉行,本次大會以“數據覺醒新時代”為主題,旨在探討新時代數據存儲的新方向和對優(yōu)秀企業(yè)進行表彰,信服云企業(yè)級存儲EDS憑借其優(yōu)越性能,接連斬獲“2022年度分布式存儲金獎”“2022年度文件存儲金獎”兩項大獎。
信服云EDS為何能在這次峰會上連續(xù)獲得兩項大獎?在深信服存儲解決方案總監(jiān)王志成“存儲如何應對GPU算力爆炸增長下的小文件性能挑戰(zhàn)”主題演講中我們或許能知道答案。
01GPU算力爆發(fā)式增長下,存儲面臨哪些挑戰(zhàn)?
王志成指出,以GPU為核心的智能算力比重由2016年的3%提升至2020年的41%,GPU算力高速發(fā)展衍生出大量數據密集性行業(yè)應用,這些應用數據的存儲面臨三大挑戰(zhàn):
存儲架構受限,小文件處理性能差
很多業(yè)務生產過程都會產生海量KB級小文件,比如芯片設計的前端設計場景,實景三維建模場景等,但無論是傳統NAS存儲還是新興的分布式存儲,由于元數據處理架構、網絡時延等限制,都難以有效解決小文件處理性能差的問題上。
數據量井噴,“存不下”成為主要挑戰(zhàn)
以基因測序為例,受當下環(huán)境和人口老齡化的影響,一個基因測序服務企業(yè)每年新增的數據量就高達10PB級。傳統存儲跟不上現有業(yè)務的數據增長,想要擴展卻要面臨硬件與廠商綁定、成本高昂、擴展周期長等一系列問題。
各場景數據復雜,存儲效率提高難
行業(yè)業(yè)務需求正在呈現多樣化的演進趨勢,對數據存儲的大帶寬支持能力、海量小文件訪問延時和復雜場景的適應性都提出極高的要求,存儲需要更高效的數據訪問能力。
“在當下的環(huán)境,用戶需要一套性能更高、擴展性更強的企業(yè)級存儲系統,來提升業(yè)務數據生產效率。”王志成這樣說到。
02信服云分布式存儲EDS,更高性能突破瓶頸
王志成引用Gartner報告中“軟件定義是存儲唯一變革性技術”的觀點,點明未來存儲的發(fā)展之道。相比傳統存儲,以軟件形式定義存儲可提供更優(yōu)秀的場景適應能力、更高的性價比和更靈活的擴容能力,在軟件定義的基礎上,信服云EDS通過全自研高性能文件系統PhxDFS和五大核心技術提升存儲綜合能力:
多活元數據服務,性能再提升
為了解決性能不足的問題,EDS將一個完整目錄分片后分發(fā)到各個存儲節(jié)點處理,充分利用起所有節(jié)點的CPU算力,從而突破元數據性能瓶頸。對比Ceph架構的分布式存儲,元數據處理能力可提升三倍以上。
元數據高效壓縮算法,數據“存得下”
在海量小文件場景下,元數據的規(guī)??赡苓_TB級,為了將更多的元數據緩存到有限的存儲內存空間,EDS自研元數據壓縮算法,該技術最大可支持7:1的壓縮比。在百億小文件場景下實現元數據、熱數據百分百命中內存緩存,讓數據“存得下”“找得快”。
數據三級緩存機制,數據訪問更快一步
EDS追求高性能的同時,同樣注重數據讀取效率。在專有客戶端模式下,EDS將客戶端內存、存儲節(jié)點內存和大容量NVMe固態(tài)盤構建成三級緩存,實現數據和元數據就近訪問,命中即返回,該技術將熱數據的訪問時延降低到us級別。相比過去,數據訪問更快、效率更高。
高性能RDMA網絡,網絡時延再降低
EDS在存儲業(yè)務網和存儲私網均支持以RoCE v2協議替代TCP/IP協議,可將網絡時延降低90%以上,業(yè)務聯通僅需9-16us,可大幅縮短業(yè)務數據的聯通時間。
數據智能聚合追加寫,效率再提升
EDS將文件IO在高性能層(NVMe或SATA SSD)聚合后追加寫入容量層(機械盤),可有效解決小文件寫放大造成的容量浪費,利用機械盤本身順序寫性能優(yōu)勢,進一步降低EC寫懲罰影響,提升寫性能的同時可有效提升60%以上的回刷速度,進一步減少數據存儲、調用的耗時,提高業(yè)務效率。
信服云企業(yè)級存儲EDS保護數據也敬畏數據。在不斷的技術創(chuàng)新中積極實踐,現已累計參與交付超過20000個客戶和300+例的PB級項目。在未來,EDS將持續(xù)打磨產品,與用戶攜手共創(chuàng)高性能存儲時代的數據宏圖。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )