中國工程院院士鄔賀銓:算力十問

3月13日消息(九九)在今天下午舉行的第二屆“華彩杯”算力大賽啟動會上,中國工程院院士鄔賀銓提出“算力十問”:

一問:如何準確衡量算力?鄔賀銓指出,現(xiàn)有測算方法難以精準衡量算力。國內(nèi)企業(yè)服務器的出貨量并不等于國內(nèi)市場的使用量,而且進口國外的服務器未統(tǒng)計在內(nèi);服務器出貨量也不等于上架量,更不等于已經(jīng)加電使用量。通常服務器集群的算力不等于集群內(nèi)服務器算力之和;通過問卷調(diào)研方法收集的數(shù)據(jù)也未必能全面反映目前實際使用情況。

二問:超算、通算、智算三類算力是否可以互相調(diào)劑?超算和通算可否承擔生成式大模型的訓練和推理任務?智算適合承擔目前超算和通算的任務嗎?建設兼具三類節(jié)點能力的融合算力中心會有利于三類算力的調(diào)度嗎?

三問:三類算力有無合理比例?鄔賀銓認為,不同地區(qū)需求不同,不可能有固定的比例。通常國家與區(qū)域創(chuàng)新中心城市對超算有較大需求;機密性和時延敏感性決定了城市政務數(shù)據(jù)和重要企業(yè)關(guān)鍵數(shù)據(jù)盡量在同城通算;東部地區(qū)的AI訓練任務重、智算比例高;西部算力樞紐也需要增加智算能力,但一般西部地區(qū)以配置通算為主。

四問:何謂合適的算存比?鄔賀銓強調(diào),存力與算力需配合,避免因存力短缺造成算力等待而影響處理效率。而存力按位于服務器內(nèi)外分為內(nèi)存與外存,對于CPU密集型計算任務,影響算力效率與性能的主要是內(nèi)存,據(jù)分析合理的算存比是GFlops/GB為1;對I/O密集計算任務,需頻繁訪問外存,如何考慮計入外存力的算存比合理取值,值得商榷。鄔賀銓同時指出,存力有HDD機械硬盤和SDD固態(tài)硬盤之分,后者可節(jié)能70%,但我國SDD僅占24.7%,不及美國一半。

五問:如何根據(jù)大模型參數(shù)量及訓練數(shù)據(jù)量來設計算力需求?AI模型參數(shù)是指深度神經(jīng)網(wǎng)絡各層神經(jīng)元間連接矩陣的權(quán)重和偏置,模型輸出值=權(quán)重*輸入值+偏置。

算力規(guī)模(峰值Flops)≈8*訓練數(shù)據(jù)(tokens Byte)*模型參數(shù)/訓練時間(秒)*算力利用率(0.3~0.55)。

存力規(guī)模(Byte)≈10*模型參數(shù)*計算精度(Byte)。

理論上可以通過增加訓練時長來降低對大模型訓練算力的需求,但訓練時長的增加意味算力芯片集群出錯的次數(shù)增加,為應對出錯所需存盤開銷也增加,計算效率顯著下降。據(jù)OpenAI的經(jīng)驗,模型大小和數(shù)據(jù)集大小及用于訓練的算力規(guī)模三個因素同時放大才有最佳效果,據(jù)分析,當不受其他兩個因素的制約時,大模型性能與單個因素都有冪律關(guān)系。

六問:如何利用邊緣與終端的算力?當邊緣/終端具有70億參數(shù)以上的推理能力時,邊緣/終端可離線進行推理任務,目前手機可支持130億參數(shù),2024年還會出現(xiàn)支持千億參數(shù)的手機。當邊緣/終端僅具有10億參數(shù)的推理能力時,需要與云端協(xié)同提供智能能力。鄔賀銓提出,單終端算力小,數(shù)以億計的終端算力集合就非??捎^,但跨終端的協(xié)同計算是否可行值得商榷。

七問:異地算力節(jié)點的協(xié)同可行嗎?鄔賀銓認為,將算力集群擴展到跨域,多個異地的算力節(jié)點共同承擔一個計算任務,實時性的交互要求光傳輸系統(tǒng)無損和確定性時延,任何丟包和抖動都無法保證計算效率;在異屬異構(gòu)的場景下異地協(xié)同計算的實施可操作性更是挑戰(zhàn)。他強調(diào),集約化建設大型算力節(jié)點比分布異地協(xié)同能夠顯著提升能效和算力效率,東數(shù)西算和數(shù)據(jù)災備都需要在異地算力樞紐間建立廣域連接,但這僅是算力任務的轉(zhuǎn)移而不是異地實時協(xié)同計算。

八問:算力的接入需要集中管理與指配嗎?不通過國家算力調(diào)度平臺能夠構(gòu)建全國一體化算力網(wǎng)和算力大市場嗎?或者可以由算力節(jié)點擁有方和需求方聯(lián)合建立算力服務聯(lián)盟,以市場機制來溝通供需。另外,在強調(diào)企業(yè)為主體發(fā)揮市場有效作用的前提下,還需要強化有為政府的角色,通過建立結(jié)對子等東西部聯(lián)動機制強化區(qū)域間算力協(xié)同。

九問:算網(wǎng)協(xié)同做什么和如何做?算力與網(wǎng)絡往往屬于不同的運營主體,跨運營商的協(xié)同調(diào)度也有管理難題。而且網(wǎng)絡通常并不感知所承載的數(shù)據(jù)屬性。當前,首先要厘清算網(wǎng)協(xié)同的標準與方法,發(fā)揮IPv6的分段選路、SRV6作為算網(wǎng)協(xié)同統(tǒng)一承載協(xié)議的作用,通過編程空間實現(xiàn)云網(wǎng)/算網(wǎng)的融通。

十問:如何解除中小企業(yè)使用算力的顧慮?鄔賀銓建議,政府站臺主導建設面向中小企業(yè)的云智平臺,降低企業(yè)利用算力的門檻和對安全的擔心。

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2024-03-14
中國工程院院士鄔賀銓:算力十問
中國工程院院士鄔賀銓:算力十問,C114訊 3月13日消息(九九)在今天下午舉行的第二屆華彩杯算力大賽啟動會上,中國工程院院士鄔賀銓

長按掃碼 閱讀全文