4月28日消息(九九)今天上午,以“算力網(wǎng)絡(luò)點亮AI新時代”為主題的中國移動算力網(wǎng)絡(luò)大會在蘇州開幕。在大會主論壇上,中國工程院院士鄭緯民指出,人工智能對算力產(chǎn)生爆發(fā)式需求,模型研發(fā)、模型訓(xùn)練、模型精調(diào)、模型推理都需要算力,算力存在于大模型生命周期的每一環(huán)。
鄭緯民進(jìn)一步指出,構(gòu)建基于國產(chǎn)AI卡的萬卡大模型訓(xùn)練平臺需要考慮到幾個問題:
一是半精度運(yùn)算性能與雙精度運(yùn)算性能的平衡
設(shè)計中不僅要考慮半精度運(yùn)算性能,還要考慮雙精度運(yùn)算能力,雙精度與半精度運(yùn)算性能之比為1:50-100為宜。根據(jù)科學(xué)計算(AI For Science)和大模型訓(xùn)練的發(fā)展趨勢,提出了變精度平衡設(shè)計的思想,為適應(yīng)科學(xué)計算和更廣泛的AI算法和應(yīng)用提供了保障。
二是網(wǎng)絡(luò)平衡設(shè)計
網(wǎng)絡(luò)設(shè)計不能針對CNN算法,還需考慮極大規(guī)模預(yù)訓(xùn)練模型對系統(tǒng)的需求。大規(guī)模預(yù)訓(xùn)練模型需要高帶寬低延遲網(wǎng)絡(luò)。并支持?jǐn)?shù)據(jù)并行,模型并行和專家平行模式。
三是體系結(jié)構(gòu)感知的內(nèi)存平衡設(shè)計
一方面訪問內(nèi)存的請求使網(wǎng)絡(luò)擁塞,降低吞吐量,反映到應(yīng)用程序上表現(xiàn)為訪存性能顯著下降;另一方面,多個訪問內(nèi)存的請求可能訪問同一存控對應(yīng)的內(nèi)存空間,負(fù)載不均,存控需要順序處理訪存請求。
四是IO子系統(tǒng)平衡設(shè)計
需要支持檢查點,增加SSD。另外,系統(tǒng)的本地nvme ssd僅通過本地文件系統(tǒng)訪問,限制了其應(yīng)用范圍,需要將每臺服務(wù)器上的快速本地nvme整合成應(yīng)用可見的全局分布式文件系統(tǒng)。
“大模型基礎(chǔ)設(shè)施平衡設(shè)計的幾點考慮做得好,別人要用1萬塊卡,我們用9000塊卡就可以了。”鄭緯民說。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 30億美元缺口已補(bǔ) 美國將全面拆除中國電信設(shè)備
- 30億美元缺口已補(bǔ) 美國將全面拆除中國電信設(shè)備
- 400G:骨干網(wǎng)的最新趨勢
- 三大運(yùn)營商11月成績單:用戶數(shù)據(jù)增幅放緩
- 2025年數(shù)字錢包:重塑金融生態(tài)的領(lǐng)先應(yīng)用
- 量子計算:商業(yè)世界的新前沿與設(shè)計思維的融合
- 什么是聚合交換機(jī)?
- 電池技術(shù)如何影響車輛性能
- 千家早報|庫克稱蘋果從未考慮過AI收費;OpenAI GPT-5“難產(chǎn)”:訓(xùn)練6個月花費5億美元,已落后原計劃半年——2024年12月23日
- 中國電信再次出讓三家金融機(jī)構(gòu)股權(quán) 價值規(guī)模近10億
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。