看聯(lián)想專家如何解釋大數(shù)據(jù)、云計算與HPC的關(guān)系

周志強(qiáng)曾在IBM任職18年，專攻HPC相關(guān)產(chǎn)品和項目，后來因System X來到聯(lián)想，仍然繼續(xù)著HPC的研發(fā)和推廣工作，對于HPC有著長期的實踐經(jīng)驗和理論認(rèn)識。在訪談中，周志強(qiáng)談到了HPC技術(shù)的演變、應(yīng)用場景、可能的發(fā)展突破口，以及大數(shù)據(jù)、云計算與HPC互相的影響關(guān)系等，觀點獨到，字字珠璣，給人不少啟發(fā)和思考。

下面，我們繼續(xù)直接將嘉賓觀點呈現(xiàn)給讀者，來看看周志強(qiáng)怎么看待HPC的現(xiàn)狀和未來發(fā)展前景。

01

Oct/2015

HPC在幾十年的發(fā)展過程中，有過不同的代表技術(shù)，比如向量計算機(jī)、多處理器共享內(nèi)存的HPC，以及用多個節(jié)點構(gòu)建的集群系統(tǒng)。從目前來看，因為各種各樣的原因，向量計算機(jī)和純內(nèi)存共享的HPC系統(tǒng)，逐步都被淘汰了，現(xiàn)在集群架構(gòu)是主流，而且具有絕對的統(tǒng)治地位，基本上90%的HPC都是這個架構(gòu)。

未來是否還會有新的技術(shù)來代替集群架構(gòu)呢？

應(yīng)該有，但我們現(xiàn)在還沒有看到。雖然我們有人在研究虛擬的內(nèi)存共享等新的協(xié)議，或者說下一代的HPC，但是有沒有一種新的革命性的架構(gòu)已經(jīng)證明了它比現(xiàn)有的集群架構(gòu)更優(yōu)越呢？從目前來看，我們還沒有發(fā)現(xiàn)。

所以在可預(yù)見的一段時間里，我們要做的事情就是把現(xiàn)有的架構(gòu)做好，增加單節(jié)點的能力，擴(kuò)大節(jié)點數(shù)量等。當(dāng)然，從表面上看，也就是所謂的CPU疊加、規(guī)模疊加等。但底層所代表的意義是不一樣的。

02

Oct/2015

HPC這種計算機(jī)技術(shù)是以硬件為主的，雖然可能包括一些基礎(chǔ)的系統(tǒng)軟件，但這不是應(yīng)用軟件的概念；另一方面，程序的運行速度是否夠快，不僅取決于硬件，還取決于軟件程序。畢竟，軟件的質(zhì)量決定了能發(fā)揮出硬件多少的能力。所以，有些人提到的應(yīng)用的優(yōu)化，不是由HPC廠商來進(jìn)行的，而應(yīng)該是使用者或者應(yīng)用編寫者的工作。

但我們說一個沒有做任何優(yōu)化的HPC系統(tǒng)和一個設(shè)計合理的HPC系統(tǒng)，在性能上很容易有10%~20%的差距，這個優(yōu)化是指什么呢？

首先是架構(gòu)本身的優(yōu)化。一個提供HPC產(chǎn)品的廠商，他所提交給客戶的系統(tǒng)、設(shè)計、方案本身應(yīng)該是優(yōu)化的。因為一旦依照架構(gòu)、方案設(shè)計、生產(chǎn)出機(jī)器設(shè)備，就很難再進(jìn)行改變或彌補(bǔ)，這直接決定了客戶的投入和產(chǎn)出問題。

其次是配置的優(yōu)化。HPC產(chǎn)品有很多參數(shù)，在同樣的成本限制條件下，怎么選擇參數(shù)并進(jìn)行軟、硬件的配置存在著優(yōu)化的空間。通常在客戶的程序和應(yīng)用不變的情況下，我們優(yōu)化過的系統(tǒng)可能會給客戶帶來10%~20%的性能提升或使用管理上的方便。

不過需要注意的是，HPC的應(yīng)用特點千差萬別，在架構(gòu)和配置方面的優(yōu)化也要根據(jù)用戶應(yīng)用的不同進(jìn)行，所以有時HPC廠商也要在具體工作時，與客戶協(xié)作來對應(yīng)用進(jìn)行優(yōu)化，所以整體而言優(yōu)化不單獨是HPC廠商或用戶某一家的事情。

03

Oct/2015

比如IBM的NextScale就是針對HPC市場特意制造的一種設(shè)備，去掉一些在HPC了用的不多的功能，從而獲得更小的體積。那我們是否能在保留所有功能的同時，做出一個更小的機(jī)器呢？現(xiàn)在看起來還不行，但未來或許可以。

比如Intel推出的基于MIC眾核架構(gòu)的Xeron Phi協(xié)處理器，他的發(fā)展目標(biāo)是希望能用眾核的方式做到不需要主處理器，從而自己實現(xiàn)、完成處理器的功能。如果能做到這一步，那么未來一個芯片就可以做到100個甚至更多的核，再把InfiniBand等種接口做到處理器芯片里，HPC的節(jié)點“盒子”的體積肯定會大大變小，當(dāng)然集群的性能也會大大提高。

但這種東西應(yīng)該就是針對于HPC而設(shè)計、專用的，因為去運行數(shù)據(jù)庫等商業(yè)軟件時，效率明顯會很低。所以我們說會有專門針對HPC市場的設(shè)備出現(xiàn)，但這應(yīng)該只是當(dāng)市場足夠大時，一種產(chǎn)品或者商業(yè)策略上的調(diào)整。

04

Oct/2015

所有的產(chǎn)品都是由兩個因素決定的，一是市場需求，另一個是技術(shù)。有需求但是技術(shù)無法滿足，就做不了；有技術(shù)但是市場不需要也沒人去做。對公有云里提供的HPC也是如此。

云計算里提供HPC服務(wù)，說明有著這樣的用戶，對突發(fā)性的計算能力有需求。比如一個動畫公司，接了一個單，要在三個月之內(nèi)以很大的計算能力來完成動畫的制作，當(dāng)然在三個月之后他就不需要這些能力了。那怎么辦？購買設(shè)備來維護(hù)的話，成本很高，這時候就可以到云服務(wù)提供商處申請一些資源。而如果一個企業(yè)7*24小時都要開機(jī)運行，每天都需要使用這種計算能力，那是否選擇云來提供這種高計算能力，只不過變成了誰來維護(hù)的問題。

所以有云計算服務(wù)商提供這種服務(wù)，說明了市場需求的存在。但這種服務(wù)是否能快速發(fā)展，還取決于多個條件，比如滿足這種需求時所投入的成本最購銷，獲得收益最夠高等等。當(dāng)然還有其他問題要考慮，比如HPC數(shù)據(jù)量通常都比較大，往來不好的話，傳輸數(shù)據(jù)都要花費很多時間，這樣不行；另外，加密的要求，管理制度的要求，這些也都會制約在云上使用HPC的需求。

05

Oct/2015

云計算、大數(shù)據(jù)這幾年很火，他們的發(fā)展會對HPC產(chǎn)生影響嗎？

其實這個問題的方向反了，應(yīng)該問HPC還能對大數(shù)據(jù)等帶來多少推動。大數(shù)據(jù)技術(shù)其實來源于HPC，所以它不大可能去反過來影響HPC。

HPC永遠(yuǎn)在用最新、最好的東西，尤其是在高端系統(tǒng)方面。簡單來說，在現(xiàn)有的架構(gòu)不變的情況下，為了把節(jié)點做得更強(qiáng)大，首先CPU要不斷發(fā)展，集成度更高、更節(jié)能，所以芯片的制程工藝可能會進(jìn)一步往11納米甚至7納米發(fā)展，然后還會有3D組裝技術(shù)的使用等；單個節(jié)點增強(qiáng)之后，就會對節(jié)點之間的數(shù)據(jù)通信能力提出進(jìn)一步要求，從而對網(wǎng)絡(luò)的發(fā)展起到推動作用等等。

所以說，HPC是很多新技術(shù)的試驗場，試驗出的新產(chǎn)品，好用、能用的產(chǎn)品，通常會再推廣到其他領(lǐng)域，HPC的發(fā)展，也會進(jìn)一步推動大數(shù)據(jù)的快速發(fā)展。

06

Oct/2015

最后說一下，如果我們要談HPC的普及和使用情況，不能脫離用戶的具體需求來說。高端的HPC應(yīng)用需要積累，一方面是技術(shù)的積累，另一方面則是經(jīng)驗的積累。比如目前國內(nèi)對計算規(guī)模要求比較大的氣象和石油勘探行業(yè)，假如他的程序在一千個核上能夠運行得很好，現(xiàn)在有了一萬個核是不是就一定能運行得更好呢？不一定，這個要看應(yīng)用的架構(gòu)設(shè)計能否很好地考慮到了資源擴(kuò)展的情況，并且能夠利用更多的資源。

從目前來看，國內(nèi)石油勘探的用戶現(xiàn)在的資源使用規(guī)?；旧显趲装賯€節(jié)點的水平，如果忽然得到兩千個節(jié)點的資源，而應(yīng)用對資源調(diào)度的能力又跟不上的話，相應(yīng)的石油勘探任務(wù)未必能完成；氣象也是如此，即便在擴(kuò)大網(wǎng)格之后，系統(tǒng)應(yīng)用能夠正常運行，還需要再花很長的時間在這個網(wǎng)格上去驗證這個數(shù)據(jù)是否正確，效率未必能夠得到極大的提高。

還有一個問題是，數(shù)據(jù)處理的整個周期還包括準(zhǔn)備、預(yù)處理和結(jié)果輸出等不同流程，如果我們僅是把數(shù)據(jù)處理，比如天氣預(yù)報這一部分的時間縮短，而沒有提高其他流程的效率，從整體上來看，效率提升還是有效，所以從應(yīng)用的角度來看，我們要從整體來考慮HPC的意義。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。