華為天才少年主攻存儲領(lǐng)域研究

原標(biāo)題:華為天才少年主攻存儲領(lǐng)域研究

自古英雄出少年。

本年度的華為天才少年項(xiàng)目再次引爆眼球。一位是從普通本科一路“逆襲”到華中科大博士,并成為唯一拿到本年度最高檔年薪的青年才俊;另一位則是在多種A類期刊發(fā)表論文,集智慧與美麗于一身的美女博士。這兩位成功入圍項(xiàng)目的華中科大博士迅速成為街頭巷議的熱門話題。

值得關(guān)注的是,本年度入圍的兩位華為天才少年在校研究方向均跟數(shù)據(jù)存儲有著緊密聯(lián)系。因此,這二位不約而同地選擇華為做存儲相關(guān)的研究,讓人不得不感嘆華為存儲對于基礎(chǔ)研究與人才的重視。

事實(shí)上,從十八年前正式起步開始,華為存儲一路發(fā)展始終與各大高??蒲袡C(jī)構(gòu)保持著緊密聯(lián)系,高??蒲袡C(jī)構(gòu)不僅是華為存儲人才重要的來源地,也是華為在存儲基礎(chǔ)領(lǐng)域聯(lián)合創(chuàng)新的重要合作對象。如今,華為存儲已經(jīng)成長為全球Top 5、中國Top1級別的重要廠商,在存儲技術(shù)的產(chǎn)、學(xué)、研、用上逐步探索出一條價(jià)值閉環(huán),真正讓基礎(chǔ)研究的創(chuàng)新成果加速走向落地,并利用市場成果不斷反哺基礎(chǔ)研究的創(chuàng)新

以本次入圍天才少年項(xiàng)目的美女博士為例,其研究方向之一的非易失性存儲器(NVM)、NVMe協(xié)議是當(dāng)今存儲產(chǎn)品中最為重要的技術(shù)趨勢,而華為存儲正是端到端NVMe全閃存當(dāng)之無愧的領(lǐng)導(dǎo)者。華為存儲的產(chǎn)、學(xué)、研、用價(jià)值閉環(huán)在端到端NVMe全閃存這個存儲細(xì)分領(lǐng)域體現(xiàn)得淋漓盡致。

NVMe,一門關(guān)于快的存儲武功

天下武功,唯快不破。

同樣,在存儲產(chǎn)品中,性能是衡量存儲是否優(yōu)秀的重要指標(biāo)之一。在單位時間內(nèi)IO越高、延遲越低,存儲的性能就會越好,也意味著可以承載更多應(yīng)用和更加及時響應(yīng)業(yè)務(wù)請求,讓用戶體驗(yàn)更好。

NVMe正是存儲領(lǐng)域一門關(guān)于快的武功。如果將為機(jī)械硬盤設(shè)計(jì)的SAS協(xié)議比喻為紅綠燈多、卡口多的省市級公路;那么專為閃存而生的NMVe協(xié)議則是不限速的高速公路。初看NVMe可以讓數(shù)據(jù)真正放飛自我,但是如何讓NVMe這條數(shù)據(jù)高速公路修的更加合理、智能,讓數(shù)據(jù)在高速公路上“不翻車”,則絕對需要常年修煉、不斷打磨才能實(shí)現(xiàn)。

這是因?yàn)樵跀?shù)據(jù)中心這張數(shù)據(jù)網(wǎng)絡(luò)中,IO路徑涉及到服務(wù)器、存儲、網(wǎng)絡(luò)等多種設(shè)備,還有FC、IP、IB、PCIe、SAS等多種網(wǎng)絡(luò)協(xié)議,經(jīng)常面臨數(shù)據(jù)傳輸路徑過長、協(xié)議互相轉(zhuǎn)化等挑戰(zhàn)。因此,NVMe的落地往往“牽一發(fā)而動全身”,需要對整個數(shù)據(jù)中心數(shù)據(jù)傳輸網(wǎng)絡(luò)進(jìn)行規(guī)劃和設(shè)計(jì),僅僅是一兩款NVMe SSD或者NVMe閃存控制器是遠(yuǎn)遠(yuǎn)不夠的。

華為正是NVMe全閃存領(lǐng)域的頂尖高手,用“老司機(jī)”形容不為過。作為存儲行業(yè)SSD盤片級專利最多的廠商之一,華為對于NVMe協(xié)議進(jìn)行了長期深入研究,在業(yè)界唯一端到端開發(fā)了NVMe SSD盤,NVMe 閃存控制器和NVMe全閃存操作系統(tǒng),并且在業(yè)內(nèi)率先實(shí)現(xiàn)了全系列端到端NVMe全閃存。

華為是如何做到這些的?讓我們一探究竟。

端到端NVMe,華為快人一步

華為之所以對于NVMe十分重視,是因?yàn)镹VMe與閃存有著緊密聯(lián)系,可謂是閃存性能潛能釋放的關(guān)鍵所在。而華為早在2005年就開始對閃存進(jìn)行研究,對于NVMe如何走向落地和價(jià)值如何實(shí)現(xiàn)有著深刻的洞察與實(shí)踐。

2010年,NVMe最初作為一種硬盤接口協(xié)議誕生,充分釋放出閃存性能。但要想真正釋放數(shù)據(jù)中心包括計(jì)算、存儲和網(wǎng)絡(luò)的性能,NVMe作為硬盤接口協(xié)議是遠(yuǎn)遠(yuǎn)不夠的。因此,NVMe經(jīng)過多年發(fā)展,逐漸發(fā)展到存儲網(wǎng)絡(luò)領(lǐng)域,NVMe over RoCE技術(shù)孕育而生。

NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作為新一代高性能存儲技術(shù),將NVMe協(xié)議和網(wǎng)絡(luò)領(lǐng)域中RDMA技術(shù)結(jié)合,它的出現(xiàn)真正讓數(shù)據(jù)中心的數(shù)據(jù)高速公路成為一種統(tǒng)一的網(wǎng)絡(luò),擁有性能、組網(wǎng)便利性和方案成本等多種優(yōu)勢。但是它也存在著鏈路故障感知時長、網(wǎng)絡(luò)實(shí)驗(yàn)穩(wěn)定性、部署易用性等方面的挑戰(zhàn)。

為此,華為集合全公司重量級產(chǎn)品線力量,從存儲和網(wǎng)絡(luò)兩個方面對標(biāo)準(zhǔn)NVMe over RoCE方案進(jìn)行增強(qiáng),推出了NOF+增強(qiáng)方案。

  • 首先,從網(wǎng)絡(luò)、服務(wù)器、存儲全部采用NVMe Over RoCE全I(xiàn)P組網(wǎng)設(shè)計(jì),徹底改變了以往數(shù)據(jù)中心5種協(xié)議(FC/IP/IB/PCIe/SAS)3張網(wǎng)的復(fù)雜局面,為數(shù)據(jù)傳輸構(gòu)建起統(tǒng)一網(wǎng)絡(luò)高速干道。
  • 其次,采用基于智能無損網(wǎng)絡(luò)和存儲的智能“傳-算-智-存-管”芯片,猶如整個數(shù)據(jù)高速公路的智慧大腦,實(shí)現(xiàn)數(shù)據(jù)在整個數(shù)據(jù)中心內(nèi)端到端調(diào)優(yōu),避免協(xié)議轉(zhuǎn)化、縮短數(shù)據(jù)傳輸路徑、加速數(shù)據(jù)傳輸速率,以及減少數(shù)據(jù)傳輸過程中的誤碼率,NOF+增強(qiáng)方案可以實(shí)現(xiàn)端到端時延0.05ms,大幅優(yōu)于現(xiàn)有FC協(xié)議網(wǎng)絡(luò)。
  • 再次,針對NVMe over RoCE一旦發(fā)生鏈路故障、系統(tǒng)故障感知時間長達(dá)15秒的情況,華為的NOF+增強(qiáng)方案采用前端共享大卡在系統(tǒng)內(nèi)實(shí)現(xiàn)故障自動巡查-即時感知-主動修復(fù),這就好比給數(shù)據(jù)高速公路配置了自動巡查的機(jī)器人,一旦發(fā)生故障,立刻鎖定故障和主動修復(fù)。華為的NOF+增強(qiáng)方案可以讓鏈路故障感知時間從15秒縮短到1秒以內(nèi),極大提升系統(tǒng)可靠性,保障核心業(yè)務(wù)使用無憂。
  • 最后,華為還為OceanStor存儲Dorado系列全閃存開發(fā)了一系列自動化部署工具,將復(fù)雜繁瑣的網(wǎng)絡(luò)部署工作變得簡單易用。

具體到產(chǎn)品方面,華為是業(yè)內(nèi)唯一端到端開發(fā)了NVMe SSD盤、NVMe閃存控制器和NVMe全閃存操作系統(tǒng),率先實(shí)現(xiàn)全系列端到端NVMe全閃的廠商。

比如,華為去年推出的全新OceanStor存儲Dorado系列,其性能高達(dá)2000萬IOPS、極致時延達(dá)到0.05ms,各項(xiàng)指標(biāo)遠(yuǎn)超市場上同類競品。

在華為OceanStor存儲Dorado系列全閃存中,同時提供32G FC-NVMe和NVMe Over 100G RDMA全I(xiàn)P組網(wǎng)設(shè)計(jì),實(shí)現(xiàn)前端網(wǎng)絡(luò)連接、后端硬盤框連接、scale-out的控制器互聯(lián)均采用同一種網(wǎng)絡(luò)協(xié)議;OceanStor存儲Dorado系列全閃存還針對NVMe設(shè)計(jì)了一套IO調(diào)度機(jī)制,徹底取消原來IO路徑上的盤級互斥鎖,避免了IO下發(fā)時隊(duì)列鎖沖突,降低軟件開銷,實(shí)現(xiàn)最佳性能。

此外,華為OceanStor存儲Dorado系列全閃存在操作系統(tǒng)層面針對NVMe進(jìn)行了優(yōu)化,智能芯片、FlashLink智能算法,充分發(fā)揮了多核優(yōu)勢,并且通過智能學(xué)習(xí)統(tǒng)計(jì)IO規(guī)律,提升讀緩存命中率和縮短批處理時間,大幅提升了性能與效率。

為了讓數(shù)據(jù)的高速公路更加穩(wěn)定與可靠,華為OceanStor存儲Dorado系列全閃存在組件層提供了充足的保障。

例如,為增加端口可靠性,華為自研SSD支持原生雙端口技術(shù),而不是采用內(nèi)部Switch實(shí)現(xiàn)雙端口的方式,端口獨(dú)立、互不影響,為整個全閃存提供了牢固的硬件基礎(chǔ)和可靠性;此外,華為通過PCI-E多年的技術(shù)積累,具備完善的PCI-E鏈路管理、異常處理、熱插拔技術(shù),支持SSD盤在任何時間、任何方式拔出,并提供端到端PCI-E系統(tǒng)可靠性,保障單盤更換或發(fā)生故障時不擴(kuò)散。

針對大容量SSD使用容易造成數(shù)據(jù)丟失的情況,華為OceanStor存儲Dorado系列全閃存采用創(chuàng)新的RAID-TP軟件技術(shù),基于Erasure Code算法,在3塊盤同時失效的情況下能夠容忍數(shù)據(jù)不丟失、業(yè)務(wù)不中斷。華為成為業(yè)界唯三可以同時容忍3塊盤失效的廠商,并且是三家廠商中唯一可以實(shí)現(xiàn)15分鐘/TB 高效重構(gòu),重構(gòu)速度領(lǐng)先其他兩家廠商20倍。華為OceanStor存儲Dorado系列全閃存還擁有諸如快照、克隆、遠(yuǎn)程復(fù)制等完備的數(shù)據(jù)保護(hù)技術(shù)。

當(dāng)前, 華為通過十多年的技術(shù)積累,華為已經(jīng)擁有1000多個NVMe全閃存成功案例,用戶涵蓋到金融、政府、制造、能源等多個領(lǐng)域。

例如,成立于1996年的南華期貨,是全國期貨公司Top 10,主要從事期貨經(jīng)紀(jì)、資產(chǎn)管理、證券投資等業(yè)務(wù)。南華期貨在大交所、鄭商所、深交所、嘉興聯(lián)通、香港PCCW等行業(yè)數(shù)據(jù)中心和電信運(yùn)營商處租用VIP機(jī)房和機(jī)柜,就近部署交易系統(tǒng)。

這樣做的目的只有一個:“快人一步”。南華期貨的業(yè)務(wù)是典型的“時間就是金錢”,一點(diǎn)點(diǎn)時間差往往可能帶來利潤的大幅變動,這種交易型的業(yè)務(wù)決定了其對時延要求極低,通常需要小于1ms。南華期貨通過部署華為OceanStor存儲Dorado全閃存來承載綜合交易平臺,不僅穩(wěn)定可靠,性能還提升3倍,為投資者提供了極佳的用戶體驗(yàn)。

可以說,華為存儲的“快人一步”讓用戶在業(yè)務(wù)中也“快人一步”。

為技術(shù)創(chuàng)新的信仰打Call

十八年風(fēng)雨兼程,華為存儲如今已經(jīng)成長為全球Top 5、中國Top 1級別的廠商,在全球布局了12個研發(fā)中心,擁有超過4000名研發(fā)工程師、800多項(xiàng)存儲專利,服務(wù)了全球超過12000家涵蓋各個行業(yè)的用戶并且連續(xù)十九個季度位列中國市場第一,更是在全閃存領(lǐng)域連續(xù)多個季度實(shí)現(xiàn)全球增速第一。

在這十八年中,技術(shù)創(chuàng)新是華為存儲的信仰,技術(shù)創(chuàng)新的腳步永不停止讓華為在高端存儲架構(gòu)、NVMe、智能存儲等多個領(lǐng)域不斷實(shí)現(xiàn)突破,逐漸從市場的跟隨者成長為業(yè)界當(dāng)之無愧的技術(shù)領(lǐng)先者。去年,華為存儲更是首次針對數(shù)據(jù)基礎(chǔ)設(shè)施技術(shù)難題設(shè)置了“奧林帕斯獎”,鼓勵和獎勵全球在數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域取得突破性貢獻(xiàn)的科研工作者。

未來,隨著更多華為天才少年以及其他人才的不斷加入,華為存儲有望在舞臺中央施展更多精彩。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2020-08-10
華為天才少年主攻存儲領(lǐng)域研究
NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)

長按掃碼 閱讀全文