華為的“少年天才”攀登者,出發(fā)向智能存儲(chǔ)的“奧林帕斯山”

原標(biāo)題:華為的“少年天才”攀登者,出發(fā)向智能存儲(chǔ)的“奧林帕斯山”

畢業(yè)季和招生季里的一次次“官宣”,讓華為“天才少年”徹底出圈,也展現(xiàn)出了華為“兇猛”的技術(shù)人才進(jìn)擊態(tài)勢(shì)。

大家在關(guān)注百萬(wàn)年薪的同時(shí),可別忘記與頂級(jí)薪酬相匹配的頂級(jí)挑戰(zhàn)。拿到高檔offer的“天才少年少女”,都選擇加入的華為存儲(chǔ)相關(guān)領(lǐng)域,是十分值得關(guān)注的領(lǐng)域。

存儲(chǔ)究竟有多重要?隨著各行各業(yè)智能化的深入,數(shù)據(jù)基礎(chǔ)設(shè)施自然也需要跟上節(jié)奏。越來(lái)越多的企業(yè)需要高效的數(shù)據(jù)存儲(chǔ)與管理系統(tǒng),來(lái)實(shí)現(xiàn)海量的數(shù)據(jù)管理與保護(hù),為業(yè)務(wù)發(fā)展與經(jīng)濟(jì)增長(zhǎng)提供保障。

而2019年,華為曾以“奧林帕斯獎(jiǎng)”為名,鼓勵(lì)科研人員積極創(chuàng)新,解決數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域的技術(shù)難題。而火星的奧林帕斯山,是太陽(yáng)系已知最高的火山,是珠穆朗瑪峰的三倍,以此來(lái)類比,難度可想而知。

攀爬“太陽(yáng)系之最”的技術(shù)高峰,自然需要專業(yè)且頂級(jí)的精英人才。所以,我們不妨?xí)簳r(shí)放下金光閃閃的高薪標(biāo)簽,來(lái)看看這些攀登者們是如何征服存儲(chǔ)這座“奧林帕斯山”的。

遠(yuǎn)眺,萬(wàn)物智能的數(shù)據(jù)風(fēng)景

拒絕騰訊、阿里和美國(guó)存儲(chǔ)巨頭西部數(shù)據(jù)的邀請(qǐng),在四份offer中直奔華為的“天才少女”,選擇與自己在校研究方向——新型存儲(chǔ)介質(zhì)(NVM,SMR)、數(shù)據(jù)庫(kù)和鍵值存儲(chǔ)系統(tǒng)——相契合的華為存儲(chǔ)相關(guān)工作。

而天才少年也在接受采訪中表示,最終選擇加入華為,是希望能夠和一群志同道合的人做有意義的事,懷抱理想讓世界刮目相看。

存儲(chǔ)如同圣杯,正在成為今天和未來(lái)的數(shù)據(jù)狂潮中全社會(huì)新的避難所,也吸引了眾多年輕的有志之士為之奮斗。

目前看來(lái),我們正在經(jīng)歷數(shù)據(jù)三變:

量級(jí)變大:數(shù)字化、智能化產(chǎn)業(yè)趨勢(shì)的興起,IoT設(shè)備逐漸變得無(wú)處不在,5G即將產(chǎn)生的超級(jí)聯(lián)接,都讓傳統(tǒng)的IT基礎(chǔ)設(shè)施面臨著數(shù)據(jù)浪潮沖擊;

價(jià)值變大:數(shù)據(jù)的存儲(chǔ)與融通,已經(jīng)從互聯(lián)網(wǎng)產(chǎn)業(yè)的剛需,變成了各個(gè)行業(yè)未來(lái)業(yè)務(wù)增長(zhǎng)的生產(chǎn)資料,5G+AI+云時(shí)代的新一代存儲(chǔ)商業(yè)空間已經(jīng)清晰;

產(chǎn)業(yè)之變:數(shù)據(jù)存儲(chǔ)從底層承載平臺(tái),開(kāi)始向數(shù)據(jù)流動(dòng)、分析、利用的計(jì)算產(chǎn)業(yè)環(huán)節(jié)延伸,對(duì)硬件創(chuàng)新和軟件迭代提出了全新挑戰(zhàn)。

人類的智能時(shí)代已經(jīng)篤定,新一代存儲(chǔ)就成了必須翻越的山脈。

規(guī)劃,向山頂邁進(jìn)

在新一代存儲(chǔ)設(shè)施的宏大挑戰(zhàn)中,NVMe成了所有攀登者必須抵達(dá)的一座山峰。

2010年,NVMe(Non-Volatile Memory Express非易失性內(nèi)存標(biāo)準(zhǔn))標(biāo)準(zhǔn)接口協(xié)議誕生,就注定了會(huì)讓挑戰(zhàn)者高山仰止:

傳統(tǒng)存儲(chǔ)中連接固態(tài)閃存SSD的最典型方式SAS,吞吐量有限,隨著存儲(chǔ)介質(zhì)性能百倍級(jí)以上的提升,已經(jīng)成為限制硬件性能釋放的天花板。

而NVMe則革命性地用簡(jiǎn)潔、直接的輕量級(jí)技術(shù)能力,釋放了新的產(chǎn)業(yè)機(jī)會(huì)。

NVMe協(xié)議替代了原有的AHCI規(guī)范,并且軟件層面的處理命令進(jìn)行了重新定義,得以規(guī)范固態(tài)硬盤(pán)訪問(wèn)接口,去掉了SAS系統(tǒng)中的IO Scheduler和SCSI等復(fù)雜的協(xié)議層,利用多核處理器,降低協(xié)議交互時(shí)延。

與單隊(duì)列SAS協(xié)議相比,NVMe協(xié)議可支持多達(dá)64K個(gè)隊(duì)列,實(shí)現(xiàn)更高的并發(fā)處理。此外,通過(guò)PCIe直連,讓CPU和NVMe SSD直接通信,比傳統(tǒng)SAS架構(gòu)更精簡(jiǎn)。有數(shù)據(jù)顯示,如果采用SAS后端的SCSI協(xié)議,一次完整的主機(jī)數(shù)據(jù)寫(xiě)入請(qǐng)求需要通過(guò)4次協(xié)議交互,而華為NVMe全閃存只需要2次協(xié)議交互,處理寫(xiě)請(qǐng)求的效率比SAS全閃存高1倍,顯著提高了固態(tài)硬盤(pán)的讀寫(xiě)性能。

用一個(gè)類比來(lái)說(shuō),就是將原本草木叢生、人車畜共行的林間小道鏟平了,修建一個(gè)更寬、更平坦的高速公路,數(shù)據(jù)自然能在上面快速流暢地通行。

根據(jù)Gartner預(yù)測(cè),2022年NVMe SSD在存儲(chǔ)中占比將達(dá)到52%。

聽(tīng)起來(lái),似乎只要將這個(gè)新協(xié)議用起來(lái)就好了,有什么難的?攀登者在前往大本營(yíng)之前,都會(huì)提前進(jìn)行線路規(guī)劃、了解即將面對(duì)的地形和可能的風(fēng)險(xiǎn),而對(duì)于NVMe技術(shù)的落地,其存在的挑戰(zhàn)就在于,想要一路給SSD“開(kāi)綠燈”,并不容易。

首先,新技術(shù)從實(shí)驗(yàn)室落地市場(chǎng),需要達(dá)到規(guī)模化應(yīng)用的高能效比。NVMe SSD全閃存陣列在合理成本上發(fā)揮出它的性能極限,從單純的注重性能發(fā)展到真實(shí)降低單位比特成本,才能吸引客戶買單;

其次,需要完整的產(chǎn)業(yè)鏈支持,比如當(dāng)時(shí)的全閃存陣列控制器架構(gòu)都是為了適應(yīng)機(jī)械硬盤(pán)而設(shè)計(jì)的,NVMe面臨著軟硬件適配、運(yùn)維管理的重重阻礙。

另外,只有NVMe產(chǎn)品能夠在企業(yè)業(yè)務(wù)中可以釋放出真正的商業(yè)價(jià)值,特別是在分秒必爭(zhēng)的企業(yè)場(chǎng)景,這就需要產(chǎn)品力的加持。

這些,都推動(dòng)著攀登者們?nèi)胬斫?、步步為營(yíng)、持續(xù)發(fā)力。

攀登,華為存儲(chǔ)的三把“神兵”

在存儲(chǔ)領(lǐng)域,傳統(tǒng)的技術(shù)話語(yǔ)權(quán)柄一直被美國(guó)、日本等大國(guó)巨頭廠商所把持。但變局在NVMe上發(fā)生了。

2018年,華為在中國(guó)存儲(chǔ)與數(shù)據(jù)峰會(huì)上,發(fā)布了華為OceanStor 存儲(chǔ) Dorado系列,率先實(shí)現(xiàn)了全系列支持NVMe架構(gòu)。

在達(dá)到這一成績(jī)之前,華為也早已拿下了不少小的技術(shù)“據(jù)點(diǎn)”,比如發(fā)布了業(yè)內(nèi)唯一端到端NVMe SSD盤(pán)、NVMe閃存控制器和NVMe全閃存操作系統(tǒng)等等。

智能存儲(chǔ)的產(chǎn)業(yè)階段,華為NVMe全閃存陣列,錘煉出了三把披荊斬棘、無(wú)往不利的“神兵利器”:

1.全面覆蓋,化繁為簡(jiǎn),指數(shù)級(jí)性能增長(zhǎng)

華為更進(jìn)一步,從網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)全部采用NVMe Over RoCE全I(xiàn)P組網(wǎng)設(shè)計(jì),使用 TCP/IP 和 RoCE 來(lái)部署NVMe 閃存存儲(chǔ)平臺(tái),讓以往需要在多種協(xié)議(FC/IP/IB/PCIe/SAS)中復(fù)雜交互的局面,用NVMe一種協(xié)議完成了整個(gè)網(wǎng)的管理。

這樣從前端網(wǎng)絡(luò)連接、后端硬盤(pán)框連接、scale-out的控制器互聯(lián)均采用同一種網(wǎng)絡(luò)協(xié)議,其優(yōu)勢(shì)也顯而易見(jiàn):極大降低了存儲(chǔ)時(shí)延,極致時(shí)延可達(dá)0.1ms;避免復(fù)雜的網(wǎng)絡(luò)協(xié)議和規(guī)劃,簡(jiǎn)化了數(shù)據(jù)中心和企業(yè)網(wǎng)絡(luò)的部署和維護(hù)成本。

2.全面創(chuàng)新,端到端整體護(hù)航高可靠性

作為業(yè)界率先實(shí)現(xiàn)全系列端到端NVMe全閃存的廠商,華為自然也搶先交付出了一整套的產(chǎn)業(yè)價(jià)值。

以新一代OceanStor分布式存儲(chǔ)、OceanStor全閃存、FusionData智能數(shù)據(jù)湖解決方案等為例,就基于智能無(wú)損網(wǎng)絡(luò)和硬件,實(shí)現(xiàn)了數(shù)據(jù)在“采、存、算、管、用”整個(gè)生命周期的端到端整合和優(yōu)化,將新一代存儲(chǔ)技術(shù)更全面地融入數(shù)據(jù)基礎(chǔ)設(shè)施。

為此,華為應(yīng)用了一系列創(chuàng)新技術(shù)。

比如針對(duì)商用NVMeSSD盤(pán)必須快速在線更換的需求,避免暴力熱插拔(PCIe surprise hot plug)可能導(dǎo)致的系統(tǒng)異常、業(yè)務(wù)中斷,華為打造了智能無(wú)損網(wǎng)絡(luò)和OceanStor全閃存聯(lián)合NOF+增強(qiáng)方案,采用前端共享大卡在系統(tǒng)內(nèi)實(shí)現(xiàn)故障自動(dòng)巡檢、即時(shí)感知、主動(dòng)修復(fù),鏈路故障感知時(shí)間只有1秒,端到端時(shí)延僅為75μs。與之相比,業(yè)內(nèi)通用的NOF故障感知時(shí)間長(zhǎng)達(dá)15秒,后者顯然對(duì)于極大提升系統(tǒng)可靠性,保障端到端的穩(wěn)定時(shí)延,起到了關(guān)鍵作用。

再比如,存儲(chǔ)單點(diǎn)的可靠性往往需要采用雙控冗余技術(shù)保障,但大部分廠商會(huì)放棄技術(shù)上較難的原生雙PCIe端口,而選擇另辟捷徑,導(dǎo)致系統(tǒng)可靠性的降低。

而華為的解決方法是十年磨一劍,攻破了雙端口技術(shù),兩個(gè)PCIe 3.0X2端口獨(dú)立,互相不影響,為系統(tǒng)修復(fù)和異常處理提供了硬件基礎(chǔ),保證了系統(tǒng)雙控冗余性,提升系統(tǒng)的可靠性。

為了解決硬盤(pán)重構(gòu)時(shí)間增長(zhǎng),傳統(tǒng)RAID技術(shù)無(wú)法保障系統(tǒng)可靠性,容易導(dǎo)致盤(pán)故障、數(shù)據(jù)丟失的問(wèn)題,華為采用創(chuàng)新的RAID-TP軟件技術(shù),基于Erasure Code算法,將校驗(yàn)位做到支持1、2、3位可調(diào),容忍同一個(gè)RAID組內(nèi)1-3塊盤(pán)同時(shí)失效,在3塊盤(pán)同時(shí)失效的情況下能夠容忍數(shù)據(jù)不丟失,業(yè)務(wù)不中斷。這是目前美國(guó)戴爾、IBM等廠商都做不到的。

(華為支持NVMe Over Fabric的端到端方案)

3.軟硬件結(jié)合,從工作流程、工具鏈、產(chǎn)品化的全面升級(jí)

要讓數(shù)據(jù)在整個(gè)生命周期內(nèi)都能滿足時(shí)代訴求,面對(duì)的挑戰(zhàn)還有很多。所以除了僅在硬件產(chǎn)品優(yōu)化上做文章之外,華為也從底層出發(fā),從工作流程、工具鏈到產(chǎn)品進(jìn)行了全方位使能。

舉個(gè)例子,華為率先在NVMe全閃存領(lǐng)域?qū)崿F(xiàn)免網(wǎng)關(guān)雙活方案,基于閃存的硬件和軟件優(yōu)化,雙活時(shí)延達(dá)到1毫秒,性能業(yè)界最高,保障業(yè)務(wù)7*24高可用,并支持從雙活方案平滑升級(jí)到3DC方案。

華為OceanStor 存儲(chǔ) Dorado系列還開(kāi)發(fā)一系列自動(dòng)化部署工具,把運(yùn)維工程師從復(fù)雜繁瑣的網(wǎng)絡(luò)部署工具中解放出來(lái),全面提升從網(wǎng)絡(luò)規(guī)劃到實(shí)施的易用性。加上人工智能技術(shù)智能預(yù)測(cè)故障、定位問(wèn)題、實(shí)時(shí)健康度分析、分析性能和容量趨勢(shì)等等應(yīng)用,大大降低存儲(chǔ)系統(tǒng)運(yùn)行風(fēng)險(xiǎn)和運(yùn)維成本,將存儲(chǔ)管理效率提升5倍以上。

通過(guò)這一系列組合拳,華為正在將NVMe技術(shù)不斷融入到存儲(chǔ)陣列之中,在數(shù)字化升級(jí)的時(shí)代浪潮中,讓各行業(yè)都能直觀地感受前沿技術(shù)帶來(lái)的體驗(yàn)質(zhì)變。

沖頂,全球存儲(chǔ),中國(guó)時(shí)刻

不出意外,華為的技術(shù)攀登者們成功在一個(gè)個(gè)大本營(yíng)勝利會(huì)師、安營(yíng)扎寨。

在技術(shù)分析機(jī)構(gòu)DCIG的《DCIG 2020年-2021年全閃存陣列購(gòu)買指南》中,華為OceanStor存儲(chǔ)Dorado系列占據(jù)C位,位列最佳推薦榜首,超越其他所有競(jìng)爭(zhēng)對(duì)手。

全球權(quán)威機(jī)構(gòu)Gartner公布的最新數(shù)據(jù)顯示,2019年華為存儲(chǔ)全球增速第一,成為市場(chǎng)中后勁最足的廠商。

在2020年第一季度全球存儲(chǔ)供應(yīng)商普遍出現(xiàn)營(yíng)收下滑的背景下,華為存儲(chǔ)逆勢(shì)保持24.7%的高速增長(zhǎng),其中華為全閃存增長(zhǎng)率高達(dá)45.1%,遠(yuǎn)高于市場(chǎng)平均增長(zhǎng)率和其他競(jìng)爭(zhēng)對(duì)手。

從2002年起步至今,華為存儲(chǔ)從零創(chuàng)業(yè),到如今拿下NVMe的技術(shù)高地,加速向全球市場(chǎng)沖鋒,后勁都來(lái)自哪些要素?或許可以將其總結(jié)為華為存儲(chǔ)的“四大能量”:

1.技術(shù)信念。華為在存儲(chǔ)和硬盤(pán)領(lǐng)域鉆研多年,是目前業(yè)界唯一自研存儲(chǔ)控制器、SSD盤(pán)和存儲(chǔ)芯片的廠商,充分了解數(shù)據(jù)存儲(chǔ)的全流程,將這些經(jīng)驗(yàn)應(yīng)用在NVMe系統(tǒng)中,增長(zhǎng)迭變速度越來(lái)越快;

2.創(chuàng)新意識(shí)。不斷將新的技術(shù)、理念、工具融入到存儲(chǔ)領(lǐng)域當(dāng)中,全棧采用NVMe、芯片級(jí)端到端加速、SCM+分級(jí)/緩存技術(shù)、智能AI算法FlashLink等等,每一次創(chuàng)新都轉(zhuǎn)化為向上攀登的強(qiáng)勁動(dòng)能;

3.尊重市場(chǎng)。無(wú)論是人工智能、大數(shù)據(jù)、自動(dòng)駕駛、區(qū)塊鏈等先進(jìn)領(lǐng)域,還是在醫(yī)療、制造、金融等傳統(tǒng)行業(yè),華為存儲(chǔ)對(duì)各行業(yè)的數(shù)據(jù)困境都十分尊重,全系列NVMe的產(chǎn)品陣列,降低了用戶使用領(lǐng)先存儲(chǔ)技術(shù)的門(mén)檻,提供了更靈活、經(jīng)濟(jì)的選擇,幫助更多企業(yè)快速推進(jìn)數(shù)字化轉(zhuǎn)型。

4.重視人才。華為在優(yōu)秀人才的吸納上從來(lái)都不遺余力,在科研上的投入甚至超過(guò)了當(dāng)年的凈利潤(rùn)。而從任正非的只言片語(yǔ)中我們知道,華為至少有700多名數(shù)學(xué)家,800多名物理學(xué)家,120多名化學(xué)家,六七千名的基礎(chǔ)研究專家,6萬(wàn)多名各級(jí)高級(jí)工程師。華為華為18萬(wàn)員工中,有將近45%的人在從事基礎(chǔ)研究工作。

從這個(gè)角度看,華為存儲(chǔ)在全球市場(chǎng)的沖鋒,看似是一場(chǎng)短跑沖刺,其實(shí)是一場(chǎng)綿延將近20年、砥礪前行的馬拉松。

人類不斷向火星發(fā)起探索,是用夢(mèng)想自我定義能力上限的過(guò)程。而華為存儲(chǔ)的一次次技術(shù)上探,其實(shí)是源于一個(gè)偉大夢(mèng)想的無(wú)限延伸。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。

2020-08-16
華為的“少年天才”攀登者,出發(fā)向智能存儲(chǔ)的“奧林帕斯山”
有數(shù)據(jù)顯示,如果采用SAS后端的SCSI協(xié)議,一次完整的主機(jī)數(shù)據(jù)寫(xiě)入請(qǐng)求需要通過(guò)4次協(xié)議交互,而華為NVMe全閃存只需要2次協(xié)議交互,處理寫(xiě)請(qǐng)求的效率比SAS全閃存高1倍,顯著提高了固態(tài)硬盤(pán)的讀寫(xiě)性能

長(zhǎng)按掃碼 閱讀全文