英偉達(dá)的“GPU共享抗疫法”,為什么沒能走進(jìn)中國方案?

原標(biāo)題:英偉達(dá)的“GPU共享抗疫法”,為什么沒能走進(jìn)中國方案?

它來了它來了,它帶著AI方案走來了!

海外疫情的日益嚴(yán)峻,AI投身抗疫的海外版也陸續(xù)上線。

在諸多項(xiàng)目中,共享算力方案聽起來格外耳熟。有點(diǎn)像中國人民“躺在家為國做貢獻(xiàn)”類似,英偉達(dá)號召游戲玩家們“開電腦為抗疫做貢獻(xiàn)”。,吁PC玩家們捐獻(xiàn)自家GPU/CPU的閑置算力,支援斯坦福大學(xué)的分布式計算Folding@home(FAH)項(xiàng)目,以彌補(bǔ)病毒研究算力的不足。

英特爾、MSI微星等巨頭和網(wǎng)友們也紛紛響應(yīng),表示自己準(zhǔn)備好了:為了拯救世界,多掏點(diǎn)電費(fèi)算什么!MSI甚至用了“復(fù)仇者聯(lián)盟”終局之戰(zhàn)的配圖,用“人人都是超級英雄”來瘋狂暗示。

不過,共享算力能否為抗擊新冠病毒起到作用?為何在中國抗疫方案中卻沒有見到它的身影呢?

共享算力:分布式計算的全民版本

想要了解共享算力對于抗擊新冠病毒的價值,要從斯坦福大學(xué) Pande 實(shí)驗(yàn)室發(fā)起的Folding@home說起。

所謂算力共享,是指依托建立的網(wǎng)絡(luò)信息中心,運(yùn)用云端分布式計算技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)算力的互聯(lián)共享,以達(dá)成分析計算。

比如這次用于抗擊新冠疫情的Folding@home,就是目前世界上最大的分布式計算計劃(2007年吉尼斯世界紀(jì)錄),主要用于疾病的AI研究,為蛋白質(zhì)折疊、聚合及由此引起的相關(guān)疾病,進(jìn)行藥物計算設(shè)計和其他分子動力學(xué)研究。

自2000年10月1日啟動以來,已經(jīng)吸引了英偉達(dá)、索尼等商業(yè)巨頭的參與,成功模擬5-10微秒的折疊過程。目前,F(xiàn)olding@home所有的 GPU 項(xiàng)目,也都瞄準(zhǔn)了COVID-19 ,旨在找到它的潛在藥物靶標(biāo),未來CPU項(xiàng)目也會盡快加入。

玩家的參與方式,需要在項(xiàng)目客戶端上選擇“Any disease”,就會收到相關(guān)需求,根據(jù)其進(jìn)行客戶端設(shè)置就好。然后Folding@home就會在后臺,以非常的優(yōu)先級,也就是在計算機(jī)空閑時來供給案例,不必?fù)?dān)心會影響游戲、視頻等正常的計算機(jī)體驗(yàn)。

而在疫情爆發(fā)之前,算力共享也已經(jīng)有了不少成熟應(yīng)用。

早在2002年就建立的項(xiàng)目“BOINC算力地球”,就號稱能夠幫助普通人的電腦實(shí)現(xiàn)和外星文明的“第五類接觸”。

C端用戶允許BOINC在閑置時調(diào)用個人的CPU 和 GPU 計算能力,支持?jǐn)?shù)學(xué)、醫(yī)學(xué)、天文學(xué)、氣象學(xué)等各個領(lǐng)域的科學(xué)研究。英國牛津大學(xué)就曾使用BOINC的算力來預(yù)測未來 100 年全球氣候變化。

過去十幾年間 BOINC 平臺的算力資源一直在持續(xù)增長。截至 2019 年3月,已經(jīng)有超過 440 萬的志愿用戶加入BOINC ,日活的主機(jī)大約 60 萬臺,貢獻(xiàn)出大概 30 PFLOPS 的算力。如果按照AWS服務(wù)器同等體量的算力租金來計算的話,共享一年的價值就相當(dāng)于全球PC用戶為科研捐出了5000萬美元。

而BOINC的創(chuàng)建者,正是加州大學(xué)伯克利分校分布式計算領(lǐng)域的著名科學(xué)家David Anderson。

BOINC支援過最大的項(xiàng)目,是加州大學(xué)伯克利分校發(fā)起的、搜索外星智能生物的計算資源共享計劃SETI@HOME。分析位于波多黎各阿雷西博天文臺和望遠(yuǎn)鏡,以及位于維吉尼亞州的綠岸天文望遠(yuǎn)鏡(Green Bank Telescope)所搜集到的無線電信號,來尋找外星高等智能生物存在的證據(jù),是一個龐大的運(yùn)算工程。

1999年5月17日啟動至今,吸引了全世界超過 500萬個用戶,有超過71萬臺活躍主機(jī),每天提供約30PetaFLOPS的運(yùn)算能力。

當(dāng)然,分布式計算平臺真正大規(guī)模走入人們的視野,還離不開“挖礦”的市場化洗禮。

2017-2018年,區(qū)塊鏈(尤其是數(shù)字貨幣)的火熱也帶動了“共享算力經(jīng)濟(jì)”,出現(xiàn)了眾多可以出租個人計算機(jī)資源的平臺。用戶將帶顯卡的機(jī)器托管到礦池里,把剩余算力租賃給“礦場”挖礦來獲得收益,平臺也得以降低虛擬幣的算力成本。

那么,共享算力作為分布式計算的“民主化版本”,究竟有哪些利與弊呢?

豐滿理想與骨感現(xiàn)實(shí):共享算力的真實(shí)面貌

國王說 :“親愛的大臣,昨晚我夢見一個數(shù)字,是190554261410902619,我不知道這個數(shù)是不是一個素數(shù),我需要最快知道答案?!?/p>

大臣回答 :“陛下,我也不知道,不過,我們剛給王國里的每個百姓按自然數(shù)順序編了身份證號碼,只要發(fā)布命令,讓每個人用自己的號碼去除國王所夢見的數(shù)字,很快就能得到答案?!?/p>

命令發(fā)布后的第二天,國王就收獲了兩個報告 ,一個是 456275009,另一個是 456275291。

這個故事中,就蘊(yùn)涵了分布式計算的思想。

一方面,信息技術(shù)的飛速發(fā)展、人工智能的產(chǎn)業(yè)化浪潮,讓處理、分析海量數(shù)據(jù)的算力,成了新的關(guān)鍵資源。

比如分析蛋白質(zhì)這類項(xiàng)目,涉及到復(fù)雜的模型結(jié)構(gòu)和龐大的計算量,即便是利用超級計算機(jī)也需要消耗很長的時間,以及高昂的服務(wù)器租賃成本。

如果能讓許多計算機(jī)參與到運(yùn)算過程中,將需要大量計算的項(xiàng)目分割成小塊,由由多臺計算機(jī)同時處理,再上傳運(yùn)算結(jié)果后統(tǒng)一合并得出數(shù)據(jù)結(jié)論,過程就能夠大為縮短。

而且,與中心化的商業(yè)云計算平臺不同,大量個人計算機(jī)的用戶都存在一定的資源閑置。

有統(tǒng)計顯示,全球的電腦年出貨量是2億臺,以每五年為一個更換周期來計算,全球大概有10億臺電腦隨時保持運(yùn)行的狀態(tài),但利用率只有20-30%,絕大部分時間都在閑置狀態(tài)。

如果讓它們成為分布式計算的節(jié)點(diǎn),以公益捐贈或者小成本購買的方式,那些因無力支付算力費(fèi)用而停滯的項(xiàng)目因此獲得支持,按需取用,豈不是人類的科技進(jìn)程都要加快很多?

當(dāng)然,共享算力這事兒出道多年,始終沒有收獲規(guī)?;?的個人用戶支持,背后一定是有其特殊的原因。

首先,共享算力一般會發(fā)生在高度公益屬性,或是具備高度經(jīng)濟(jì)收益的項(xiàng)目上。

個人閑置算力的確資源龐大,而且成本低廉,試問誰不想在這場算力圈地運(yùn)動中“一呼百應(yīng)”呢?畢竟云服務(wù)商自己搭建數(shù)據(jù)中心,還要投入機(jī)房、房租、電費(fèi)、運(yùn)維等等成本。如果讓全民為自己打工,這種場景你仔細(xì)想……你想得美!

要知道,就算平臺的信譽(yù)有所保證,用戶在共享閑置算力時電腦也要持續(xù)運(yùn)行,尤其是使用GPU計算時,會一直會保持在滿負(fù)載運(yùn)行狀態(tài),耗電量也必然會增大,有的還會占用軟件內(nèi)存導(dǎo)致卡頓,設(shè)備的耐久性和壽命也會因此打折扣。

所以除非有足夠的理由驅(qū)使,比如為了人類命運(yùn)共同體協(xié)力抗擊病毒,亦或是給予充分的經(jīng)濟(jì)回報,比如挖礦,否則很難調(diào)動起大多數(shù)人的積極性。

其次,就算是值得托付的項(xiàng)目/平臺,也未必能管理好共享資源。

一方面,分布式計算只適合那些能夠通過計算來解決全部或部分問題的研究,而且計算過程還需要容易被分割成個人計算機(jī)處理能力可接受的大小,這就限制了許多研究采用“共享模式”來進(jìn)行。

另一方面,項(xiàng)目方/平臺方需要管理海量用戶的GPU/CPU硬件資源,但商業(yè)競爭的關(guān)系,GPU的設(shè)計細(xì)節(jié)并未公開,不同廠商產(chǎn)品也存在很大的差異。而且算力上傳到云端虛擬化還會產(chǎn)生性能損耗,這都增加了其部署和管理的難度。

這也是為什么,在上線21年后,SETI @ Home決定在今年3月31日終止向志愿者分配作業(yè)。項(xiàng)目小組解釋,是因?yàn)橐呀?jīng)分析完所有需要的數(shù)據(jù),而且數(shù)據(jù)的分布式計算管理很費(fèi)事,專案小組決定把精力放在完成數(shù)據(jù)的后端分析,和撰寫論文上面。

第三,能將共享資源效率最大化的平臺,必然具備強(qiáng)大的技術(shù)能力,這也限制了共享項(xiàng)目的擴(kuò)張。

因?yàn)閷A總€人算力的云端虛擬化、調(diào)配,需要部署分布計算環(huán)境(也稱為中間件),用來提供公共服務(wù),支持分布式應(yīng)用,否則,項(xiàng)目人員就不得不解決多種操作系統(tǒng)、多種網(wǎng)絡(luò)協(xié)議、多種數(shù)據(jù)庫、性能、效率、安全等等,與業(yè)務(wù)本身沒有直接關(guān)系的難題。

比如虛擬化技術(shù),多核 CPU 和擁有大量核數(shù)的 GPU出現(xiàn),讓計算機(jī)性能得到數(shù)量級提高的同時,也加大了共享的部署難度,很容易造成GPU密集型負(fù)載的性能混亂和資源浪費(fèi),這就需要通過虛擬化來對豐富的計算資源進(jìn)行抽象和模擬,讓算力達(dá)到原生GPPU/CPU的性能,同時成千上萬個應(yīng)用相互之間沒有任何干擾。

這樣功能強(qiáng)大、穩(wěn)定統(tǒng)一的技術(shù),主要還是掌握在云計算廠商手中。

這或許也從某個層面,解釋了中國的AI抗疫動作里,暫時還沒有出現(xiàn)“全民共享GPU”這個選項(xiàng)。

方興未艾,自有擔(dān)當(dāng):中國云計算的今日景況

其一,中國云計算產(chǎn)業(yè)規(guī)模不斷增長,擁有相對充足的算力資源。

在過去的數(shù)年間,從國家政策到企業(yè)需求,推動了國內(nèi)云計算產(chǎn)業(yè)規(guī)模的高速增長。信通院、IDC等研究機(jī)構(gòu)發(fā)布的數(shù)據(jù)顯示,2018年,中國云計算產(chǎn)業(yè)規(guī)模達(dá)到962.8億元人民幣,較2017年增長39.2%,2019年產(chǎn)業(yè)規(guī)模則預(yù)計超過千億,達(dá)到1290.7億元人民幣。眾多省市都在建設(shè)超級計算中心,這為抗疫期間AI算力的緊缺需求,提供了高效戰(zhàn)略調(diào)動的前提。

第二,中國云服務(wù)廠商市場份額和技術(shù)能力趨于世界前列,在疫情危急關(guān)頭挺身而出開放算力。

IDC《全球公有云服務(wù)市場跟蹤》報告顯示,中國公有云服務(wù)整體市場規(guī)模(IaaS/PaaS/SaaS)超 40 億美金,中國云廠商占據(jù)了全球四強(qiáng)席位。

而這些科技企業(yè)的加入,也撐起了算力需求的江山。阿里云宣布向全球公共科研機(jī)構(gòu)免費(fèi)開放一切AI算力,百度研究院免費(fèi)開放線性時間算法LinearFold以及世界上現(xiàn)有最快的RNA結(jié)構(gòu)預(yù)測網(wǎng)站;滴滴云也免費(fèi)開放了GPU云計算資源和技術(shù)支持,用于抗擊疫情相關(guān)工作……此外,一些云服務(wù)廠商也在積極研發(fā),并無償開放多款專門針對疫情調(diào)研、排查、防控的智能服務(wù)產(chǎn)品,比如至少阿里、騰訊、字節(jié)跳動、華為等云協(xié)同辦公廠商先后免費(fèi)開放多項(xiàng)功能,上海經(jīng)信委與各運(yùn)營商商議提供6個月以上云辦公、云視頻會議的免費(fèi)服務(wù)……

有這么多算力巨無霸撐起了計算資源的硬核輸入,自然也就不需要號召全民開機(jī)、支持抗疫了。

從這個角度來說,爭分奪秒的“GPU抗疫”,既是對與新型冠狀病毒賽跑的科研人員的強(qiáng)有力支持,也是一個全球云計算業(yè)態(tài)的最佳側(cè)寫。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2020-03-19
英偉達(dá)的“GPU共享抗疫法”,為什么沒能走進(jìn)中國方案?
而在疫情爆發(fā)之前,算力共享也已經(jīng)有了不少成熟應(yīng)用。如果按照AWS服務(wù)器同等體量的算力租金來計算的話,共享一年的價值就相當(dāng)于全球PC用戶為科研捐出了5000萬美元。

長按掃碼 閱讀全文