基礎設施橫向擴展能力，助力高性能對象存儲發(fā)展

原標題：基礎設施橫向擴展能力，助力高性能對象存儲發(fā)展

海量數(shù)據(jù)的增長催動著對象存儲的持續(xù)火熱，對于這一技術(shù)，最有趣的一點就是其用途的多樣性。雖然多數(shù)情況下，對象存儲常被用于歸檔存儲，或代替生產(chǎn)環(huán)境中的文件服務器，但實際上對象存儲的應用場景還有很多。如今，越來越多的供應商開始提供性能得到優(yōu)化的對象存儲系統(tǒng)，為對象存儲帶來了一條新的發(fā)展路線。

打造高性能的對象存儲，并不僅僅是把存儲系統(tǒng)中的機械硬盤替換為全閃存就可以。使用閃存盤對與性能的提升當然是大有幫助的，但對象存儲系統(tǒng)往往存有海量的元數(shù)據(jù)，會導致延遲的增加，無法有效利用閃存的性能。

除了元數(shù)據(jù)的問題外，打造高性能對象存儲系統(tǒng)還有一個大的挑戰(zhàn)，就是基礎設施的橫向擴展能力。對象存儲系統(tǒng)在進行容量升級時，會將節(jié)點添加到存儲集群中，每個節(jié)點的容量匯集到集群中，創(chuàng)建一個存儲池。在大規(guī)模的橫向擴展集群中，通常有幾十上百個節(jié)點。聚集和管理這些節(jié)點的延遲可能很高。

AI和深度學習的對象存儲挑戰(zhàn)

在探討高性能對象存儲架構(gòu)面臨的挑戰(zhàn)時，AI、深度學習這類擁有大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的工作負載是絕佳的例證。理論上，這些工作負載應該是理想的對象存儲應用場景，通常有數(shù)百萬、千萬、甚至數(shù)億的文件。存儲這些數(shù)據(jù)需要大量的容量空間，因此需要許多節(jié)點。與此同時，這些進程都是由吞吐量驅(qū)動的。

基于這些因素來看，AI和深度學習負載顯然非常適合采用典型的多節(jié)點對象存儲集群。大多數(shù)AI和深度學習框架，比如TensorFlow都常常會采用對象存儲架構(gòu)。從理論上講，對象存儲基礎設施應該能夠滿足AI和深度學習工作負載的需求。

但是利用對象存儲系統(tǒng)支撐AI工作負載，并不是簡單地搭建一個全閃存對象存儲系統(tǒng)。系統(tǒng)必須能夠解決一些現(xiàn)實問題，即可能會有幾十上百個節(jié)點，還有元數(shù)據(jù)帶來的問題，以及集群管理的挑戰(zhàn)。

如何應對元數(shù)據(jù)挑戰(zhàn)

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，它往往是對象存儲實現(xiàn)高性能的一大挑戰(zhàn)，原因有兩個：首先，對象存儲系統(tǒng)需要更多的時間來管理其豐富的元數(shù)據(jù)。由于大多數(shù)對象存儲供應商會在集群中指定一定數(shù)量的節(jié)點來管理和存儲元數(shù)據(jù)，因此管理更加復雜；在AI和深度學習工作負載中，專用的元數(shù)據(jù)控制器可能經(jīng)常會被元數(shù)據(jù)壓垮，成為性能瓶頸，因此導致閃存甚至機械硬盤都不能充分發(fā)揮它們的性能潛力。

元數(shù)據(jù)的第二個挑戰(zhàn)是集群通信。大多數(shù)向外擴展的NAS或塊存儲系統(tǒng)具有相對較小的節(jié)點數(shù)。在NAS和塊存儲場景中，只有6個節(jié)點的存儲集群都可以稱作是大型集群了，但在許多對象存儲部署中，6節(jié)點只是起步。節(jié)點間的通信成為一個大問題，特別是在十分考驗性能的用例中。

創(chuàng)建高性能的、大規(guī)模的對象存儲解決方案需要解決元數(shù)據(jù)性能和集群管理問題。下一代對象存儲將元數(shù)據(jù)分布在集群中的每個節(jié)點上，而不僅僅是幾個控制器上。元數(shù)據(jù)的分發(fā)，需要確保每個節(jié)點都擁有響應I/O請求所需的所有信息。

其他一些問題

對象存儲系統(tǒng)還必須解決節(jié)點間的網(wǎng)絡問題。在這種情況下，元數(shù)據(jù)的分布也很有幫助，因為它降低了東-西之間的通信量。供應商必須優(yōu)化節(jié)點間的網(wǎng)絡，這樣才不會造成性能瓶頸。多數(shù)情況下，供應商會通過優(yōu)化網(wǎng)絡通信以最小化傳輸頻率。

另一個需要優(yōu)化的領(lǐng)域是協(xié)議仿真。例如，大多數(shù)對象存儲系統(tǒng)支持NFS。NFS支持至關(guān)重要，因為許多物聯(lián)網(wǎng)設備使用的是NFS。其中的挑戰(zhàn)在于，許多對象存儲系統(tǒng)都掛在一個獨立的組件上，該組件在NFS和對象存儲之間進行轉(zhuǎn)換，而不是在它們的軟件中本機運行NFS。轉(zhuǎn)換的性能開銷非常大，并且往往表現(xiàn)在高性能場景下。

NFS在對象存儲代碼中的本地集成，可以提高性能并同時訪問相同的數(shù)據(jù)。并發(fā)訪問意味著物聯(lián)網(wǎng)設備可以通過NFS將數(shù)據(jù)發(fā)送到對象存儲卷，同時，AI能或深度學習框架可以通過對象存儲處理數(shù)據(jù)，而不需要復制或移動數(shù)據(jù)。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。