AI時(shí)代的數(shù)據(jù)革命，分布式融合存儲(chǔ)為何堪當(dāng)大任？

有人說(shuō)，以ChatGPT為代表的人工智能應(yīng)用的興起標(biāo)志著AI時(shí)代奇點(diǎn)來(lái)臨。

誠(chéng)然如斯。這一波AIGC浪潮來(lái)襲，讓人們真正意識(shí)到AI給生產(chǎn)力帶來(lái)的巨大飛躍。從今年起，AI大模型成為行業(yè)用戶(hù)重點(diǎn)關(guān)注的對(duì)象，甚至金融、媒體、廣告營(yíng)銷(xiāo)等用戶(hù)紛紛試水AI大模型。

但OpenAI ChatGPT的成功，除了整合Transformer等多種人工智能技術(shù)之外，基礎(chǔ)設(shè)施的高效支撐也功不可沒(méi)。隨著AI應(yīng)用的深入，越來(lái)越多用戶(hù)意識(shí)到，伴隨著AI時(shí)代的到來(lái)，一場(chǎng)數(shù)據(jù)革命也隨之發(fā)生：如何高效存儲(chǔ)與處理海量多元數(shù)據(jù)、如何實(shí)現(xiàn)數(shù)據(jù)全生命周期的高效管理、如何為AI大模型選取合適的數(shù)據(jù)精度……

因此，分布式融合存儲(chǔ)開(kāi)始堪當(dāng)大任，在各類(lèi)AI應(yīng)用的數(shù)據(jù)基礎(chǔ)設(shè)施中扮演著重要角色。強(qiáng)大的分布式融合存儲(chǔ)將成為AI時(shí)代各類(lèi)智慧應(yīng)用的基石，真正解決AI應(yīng)用的訓(xùn)練與推理等各類(lèi)數(shù)據(jù)痛點(diǎn)，為AI釋放生產(chǎn)力注入數(shù)據(jù)存儲(chǔ)的關(guān)鍵力量。

AI時(shí)代的數(shù)據(jù)革命

近年來(lái)，分布式融合存儲(chǔ)市場(chǎng)的整體增長(zhǎng)速度明顯更快。

究其原因，以大數(shù)據(jù)、AI為代表的新應(yīng)用場(chǎng)景興起是關(guān)鍵所在。這些新應(yīng)用、新場(chǎng)景均需要大量應(yīng)用到非結(jié)構(gòu)化數(shù)據(jù)。Gartner預(yù)測(cè)，到2025年，人工智能將成為推動(dòng)基礎(chǔ)架構(gòu)決策的最主要因素之一，這將導(dǎo)致基礎(chǔ)架構(gòu)需求增長(zhǎng)10倍。

如果說(shuō)過(guò)去十年里，AI應(yīng)用的興起首先帶來(lái)了算力的革命，讓多元異構(gòu)算力成為大勢(shì)所趨，智算中心成為數(shù)據(jù)中心建設(shè)方向；那么，未來(lái)十年，隨著AI應(yīng)用的深入，數(shù)據(jù)規(guī)模的持續(xù)增大，一場(chǎng)數(shù)據(jù)革命即將到來(lái)，將對(duì)數(shù)據(jù)基礎(chǔ)設(shè)施的發(fā)展帶來(lái)深遠(yuǎn)影響。

首先，以AIGC為代表的AI大模型應(yīng)用正在加速走向多模態(tài)。例如，OpenAI GPT-5開(kāi)始就是多模態(tài)大模型，這意味著音視頻等數(shù)據(jù)將會(huì)接入，數(shù)據(jù)集迎來(lái)指數(shù)級(jí)的增長(zhǎng)，對(duì)于數(shù)據(jù)存儲(chǔ)的需求也會(huì)產(chǎn)生根本性的影響。

浪潮信息存儲(chǔ)產(chǎn)品線總經(jīng)理李輝直言，AI大模型會(huì)對(duì)數(shù)據(jù)基礎(chǔ)設(shè)施帶來(lái)根本影響：其一、大模型走向多模態(tài)，篩選后的數(shù)據(jù)集就達(dá)到PB級(jí)，而篩選前的數(shù)據(jù)量會(huì)更加驚人；其二，大模型應(yīng)用走向深入，意味著海量終端的接入，帶來(lái)大量推理需求，對(duì)于數(shù)據(jù)基礎(chǔ)設(shè)施的延時(shí)要求會(huì)越來(lái)越高。

其次，各大行業(yè)的AI應(yīng)用逐漸進(jìn)入縱深階段，對(duì)于數(shù)據(jù)存儲(chǔ)的性能將會(huì)極度渴望。例如，L2級(jí)自動(dòng)駕駛普及率正在提升，從L2到L3進(jìn)階時(shí)，對(duì)于訓(xùn)練的性能要求越來(lái)越高；又如，車(chē)路協(xié)同場(chǎng)景的出現(xiàn)，進(jìn)一步加速了數(shù)據(jù)基礎(chǔ)設(shè)施的性能要求。

“像車(chē)路協(xié)同、智能制造、智慧醫(yī)療這些場(chǎng)景中，對(duì)于數(shù)據(jù)處理性能、時(shí)效性等是目前當(dāng)下的核心挑戰(zhàn)。”浪潮信息存儲(chǔ)產(chǎn)品線副總經(jīng)理劉希猛介紹道。

第三，AI應(yīng)用的規(guī)?；蛨?chǎng)景多樣化，會(huì)提升數(shù)據(jù)處理的復(fù)雜度，對(duì)于數(shù)據(jù)基礎(chǔ)設(shè)施的數(shù)據(jù)互通性、綠色節(jié)能帶來(lái)了極大挑戰(zhàn)。例如，現(xiàn)在車(chē)路協(xié)同就是典型的端-邊-云聯(lián)動(dòng)的智慧應(yīng)用，數(shù)據(jù)往往需要在多個(gè)場(chǎng)景中流動(dòng)、傳輸和應(yīng)用。

因此，業(yè)界普遍認(rèn)為，AI時(shí)代會(huì)加速數(shù)據(jù)基礎(chǔ)設(shè)施的變革，在非結(jié)構(gòu)化數(shù)據(jù)當(dāng)?shù)赖拇筅厔?shì)下，分布式融合存儲(chǔ)將在這場(chǎng)變革中發(fā)揮巨大作用。

分布式融合存儲(chǔ)為何堪當(dāng)大任

面對(duì)非機(jī)構(gòu)化數(shù)據(jù)帶來(lái)的數(shù)據(jù)洪流，分布式融合存儲(chǔ)之所以能夠獲得青睞，主要在于它所具備的高擴(kuò)展能力、高可靠性等優(yōu)勢(shì)，可以應(yīng)對(duì)海量數(shù)據(jù)帶來(lái)的種種挑戰(zhàn)。

事實(shí)上，除了上述優(yōu)勢(shì)之外，分布式融合存儲(chǔ)近年來(lái)也在不斷演進(jìn)與迭代，在協(xié)議融合、性能和安全性等方面與時(shí)俱進(jìn)，以適應(yīng)大數(shù)據(jù)、AI等應(yīng)用帶來(lái)新數(shù)據(jù)存儲(chǔ)需求。

分布式融合存儲(chǔ)第一個(gè)重要的特征就是需要做到多元融合，除了早期融合塊、文件、對(duì)象等協(xié)議之外，現(xiàn)在很多分布式融合存儲(chǔ)產(chǎn)品也開(kāi)始融入了大數(shù)據(jù)等協(xié)議。

為什么分布式融合存儲(chǔ)多元融合的方向意義重大？其實(shí)從數(shù)據(jù)處理管道就能夠了解多元融合的重要性，AI應(yīng)用往往涉及數(shù)據(jù)處理的多協(xié)議和長(zhǎng)鏈路，往往是混合負(fù)載交織在一起，存在多個(gè)數(shù)據(jù)集之間來(lái)回拷貝的環(huán)節(jié)，不僅數(shù)據(jù)處理效率低下，性能也無(wú)法滿足AI應(yīng)用的處理需求。

以科教研場(chǎng)景的為例，當(dāng)前科教研屬于典型的計(jì)算+AI+Bigdata融合模式，數(shù)據(jù)的高效處理是基礎(chǔ)和關(guān)鍵。劉希猛介紹，很多科教研場(chǎng)景建立數(shù)據(jù)集是一個(gè)非常痛苦的過(guò)程，因?yàn)樾枰獢?shù)據(jù)復(fù)制，幾十PB數(shù)據(jù)的復(fù)制需要花費(fèi)多天時(shí)間，而如果協(xié)議融合的話，就可以免去數(shù)據(jù)復(fù)制，讓數(shù)據(jù)處理的效率大幅提升。

分布式融合存儲(chǔ)第二個(gè)重要的特征是智能敏捷。眾所周知，雖然當(dāng)前數(shù)據(jù)量爆炸性的增長(zhǎng)，但是被用來(lái)分析的數(shù)據(jù)量依然很小。相關(guān)數(shù)據(jù)顯示，已獲取數(shù)據(jù)的平均留存率僅為2%，大量數(shù)據(jù)從未被分析和利用，分布式融合存儲(chǔ)需要能夠?qū)崟r(shí)、智能地處理數(shù)據(jù)，滿足各種AI應(yīng)用帶來(lái)的性能需求。

分布式融合存儲(chǔ)第三個(gè)重要特征就是提升安全性。隨著AI應(yīng)用走向普及，各種安全問(wèn)題也隨之暴露，作為數(shù)據(jù)最后一道防線，分布式融合存儲(chǔ)的數(shù)據(jù)保護(hù)能力也需要隨之提升。

當(dāng)前，幾乎所有分布式融合存儲(chǔ)產(chǎn)品都在加速迭代，以在數(shù)據(jù)存儲(chǔ)層面來(lái)支撐大數(shù)據(jù)、AI等新應(yīng)用的需求變化。以浪潮信息新一代分布式融合存儲(chǔ)AS13000G7為例，堪稱(chēng)分布式融合存儲(chǔ)演進(jìn)的代表。

浪潮信息AS13000G7在保障安全可靠的基礎(chǔ)上，以“多合一”極致架構(gòu)為核心，具備“多合一極致融合架構(gòu)、極致性能、極致容量”等極致能力，并打造通用型分布式融合存儲(chǔ)、高密型視頻分布式融合存儲(chǔ)、性能型全閃分布式融合存儲(chǔ)等多種產(chǎn)品形態(tài)。

以融合架構(gòu)為例，浪潮信息AS13000G7率先實(shí)現(xiàn)了一套存儲(chǔ)支持多種接口協(xié)議、多種數(shù)據(jù)存儲(chǔ)應(yīng)用（文件、對(duì)象、大數(shù)據(jù)、視頻等），實(shí)現(xiàn)一份數(shù)據(jù)的多協(xié)議互訪互通。比如，針對(duì)AI應(yīng)用對(duì)數(shù)據(jù)處理的各種需求，可以避免分散管理流程，無(wú)需拷貝數(shù)據(jù)和復(fù)雜的性能調(diào)優(yōu)，使得所有數(shù)據(jù)處理流程均在一套分布式融合存儲(chǔ)中。

“像教科研場(chǎng)景的數(shù)據(jù)集創(chuàng)建，不用數(shù)據(jù)復(fù)制，即可實(shí)現(xiàn)一份數(shù)據(jù)的多種協(xié)議訪問(wèn)，大幅降低了數(shù)據(jù)復(fù)制帶來(lái)的容量挑戰(zhàn)?！眲⑾Ｃ捅硎镜?。

而極致性能方面，浪潮信息AS13000G7基于Intel至強(qiáng)四代可擴(kuò)展處理器，支持PCIe 5.0高速總線、DDR5高速緩存，搭載自研NVMe SSD，通過(guò)盤(pán)控協(xié)同實(shí)現(xiàn)端到端聯(lián)合調(diào)優(yōu)。相較上一代產(chǎn)品，性能提升40%。

此外，浪潮信息AS13000G7在極致容量上也再上一個(gè)臺(tái)階，單一集群最大擴(kuò)展至10240節(jié)點(diǎn)，單一文件系統(tǒng)支持千億文件，基于iCap智能空間管理引擎，通過(guò)業(yè)內(nèi)領(lǐng)先的32+2大比例糾刪、智能均衡、壓縮重刪、多源零拷貝、軟拷貝等智能容量算法，讓存儲(chǔ)空間利用率達(dá)到94%以上。

作為當(dāng)前全球存儲(chǔ)增長(zhǎng)速度最快的廠商之一，浪潮信息在分布式融合存儲(chǔ)領(lǐng)域耕耘多年，一直走在市場(chǎng)的最前沿，并且有著出色的市場(chǎng)表現(xiàn)，無(wú)論是裝機(jī)容量還是銷(xiāo)量均位列市場(chǎng)前茅，其新一代分布式融合存儲(chǔ)AS13000G7的發(fā)布，不僅樹(shù)立了新一代分布式融合存儲(chǔ)的標(biāo)桿，更意味著創(chuàng)新力十足的分布式融合存儲(chǔ)產(chǎn)品在市場(chǎng)吹響擔(dān)當(dāng)大任的號(hào)角。

分布式融合存儲(chǔ)未來(lái)可期

不可否認(rèn)，過(guò)去多年里，集中式存儲(chǔ)一直是當(dāng)之無(wú)愧的主角，分布式融合存儲(chǔ)雖然發(fā)展多年，直到現(xiàn)在，才真正迎來(lái)市場(chǎng)良機(jī)，從產(chǎn)業(yè)規(guī)模、增長(zhǎng)速度、產(chǎn)品創(chuàng)新等方面開(kāi)始全面開(kāi)花。

在李輝看來(lái)，分布式融合存儲(chǔ)未來(lái)會(huì)朝著數(shù)據(jù)中心操作系統(tǒng)+存儲(chǔ)底座的形態(tài)演進(jìn)，未來(lái)會(huì)成為支撐企業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)重要大平臺(tái)。

從產(chǎn)品形態(tài)來(lái)看，分布式融合存儲(chǔ)未來(lái)會(huì)走軟硬一體機(jī)的主流形態(tài)，產(chǎn)品也會(huì)更加貼近場(chǎng)景化。分布式融合存儲(chǔ)產(chǎn)業(yè)聯(lián)盟的《分布式融合存儲(chǔ)發(fā)展白皮書(shū)》顯示，2021年中國(guó)分布式融合存儲(chǔ)市場(chǎng)規(guī)模達(dá)到百億級(jí)，其中一體機(jī)形態(tài)占比高達(dá)91%，軟硬協(xié)同實(shí)現(xiàn)端到端的高可靠、高性能和一體化運(yùn)維能力。

另外，分布式融合存儲(chǔ)的應(yīng)用場(chǎng)景會(huì)更加廣泛化，并且產(chǎn)品形態(tài)會(huì)更加貼近應(yīng)用場(chǎng)景。以浪潮信息AS13000G7-MS60巨量、多模態(tài)非結(jié)構(gòu)化數(shù)據(jù)的極致容量場(chǎng)景，像智慧城市、智慧交通等產(chǎn)生海量實(shí)時(shí)數(shù)據(jù)和分析應(yīng)用的場(chǎng)景，AS13000G7-MS60可以提供廣泛兼容、高性?xún)r(jià)比、高可靠的存儲(chǔ)服務(wù)；AS13000G7-MN24則對(duì)自動(dòng)駕駛等實(shí)時(shí)數(shù)據(jù)分析的場(chǎng)景提供業(yè)界領(lǐng)先的性能和數(shù)據(jù)處理能力。

從技術(shù)創(chuàng)新角度來(lái)看，分布式融合存儲(chǔ)未來(lái)會(huì)與AI應(yīng)用等大趨勢(shì)聯(lián)系更加緊密。眾所周知，數(shù)據(jù)存儲(chǔ)屬于基礎(chǔ)設(shè)施底層產(chǎn)品，一直離應(yīng)用較遠(yuǎn)，但是未來(lái)隨著AI應(yīng)用進(jìn)入縱深階段，分布式融合存儲(chǔ)的技術(shù)創(chuàng)新也會(huì)與上層應(yīng)用聯(lián)系更加緊密。

“系統(tǒng)級(jí)的重刪、壓縮技術(shù)是分布式融合存儲(chǔ)很重要的創(chuàng)新方面。以AI大模型為例，在收集數(shù)據(jù)階段，分布式融合存儲(chǔ)系統(tǒng)級(jí)的壓縮技術(shù)去識(shí)別數(shù)據(jù)，去AI去減少對(duì)存儲(chǔ)空間的占用，以及提升數(shù)據(jù)質(zhì)量。這其中還有很多底層技術(shù)值得去研究與探索?！崩钶x介紹道。

從數(shù)據(jù)中心架構(gòu)發(fā)展來(lái)看，存算分離架構(gòu)的趨勢(shì)未來(lái)會(huì)對(duì)分布式融合存儲(chǔ)產(chǎn)生諸多影響，尤其是像CXL協(xié)議、DPU處理器等快速發(fā)展，讓分布式融合存儲(chǔ)未來(lái)的作用與地位更加突出。李輝直言：“除了數(shù)據(jù)中心存算分離外，云數(shù)也會(huì)走向解耦。在混合云或者多云模式下，數(shù)據(jù)如何更好地流動(dòng)、共享是用戶(hù)的核心訴求，云與數(shù)的解耦無(wú)疑是有助于數(shù)據(jù)的流動(dòng)?！?/p>

綜合觀察，《分布式融合存儲(chǔ)發(fā)展白皮書(shū)》預(yù)測(cè)，未來(lái)三年，中國(guó)分布式融合存儲(chǔ)仍將保持40%的增長(zhǎng)速度，分布式融合存儲(chǔ)在云、大數(shù)據(jù)分析、AI等應(yīng)用場(chǎng)景有著廣泛的部署需求，堪稱(chēng)AI時(shí)代的基石。而浪潮信息作為分布式融合存儲(chǔ)市場(chǎng)銷(xiāo)量中國(guó)第一的廠商，無(wú)疑對(duì)于分布式融合存儲(chǔ)的產(chǎn)品創(chuàng)新、未來(lái)趨勢(shì)有著極為深刻地認(rèn)識(shí)。面向未來(lái)，隨著浪潮信息AS13000G7的問(wèn)世，浪潮信息有望加速推動(dòng)分布式融合存儲(chǔ)在千行百業(yè)中的應(yīng)用，為千行百業(yè)的數(shù)字化轉(zhuǎn)型和智能化升級(jí)注入源源不斷的數(shù)據(jù)活力。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。