阿里云第八代企業(yè)級(jí)實(shí)例g8i上新：AI推理性能最高提升7倍、可支持72B大語言模型

1月11日消息，阿里云今日宣布其第八代企業(yè)級(jí)通用計(jì)算實(shí)例ECS g8i算力再升級(jí)，國(guó)內(nèi)首發(fā)代號(hào)Emerald Rapids的第五代英特爾至強(qiáng)可擴(kuò)展處理器，依托阿里云自研的“飛天+CIPU”架構(gòu)體系，ECS g8i實(shí)例的整機(jī)性能最高提升85%，AI推理性能最高提升7倍，可支撐高達(dá)72B參數(shù)的大語言模型，幫助中小規(guī)模模型起建成本降低50%。同時(shí)新實(shí)例還提供了端到端安全防護(hù)，為企業(yè)構(gòu)建可信AI應(yīng)用提供強(qiáng)有力的隱私增強(qiáng)算力支撐。

阿里云彈性計(jì)算產(chǎn)品線總經(jīng)理張獻(xiàn)濤表示，“阿里云ECS g8i實(shí)例的強(qiáng)勁表現(xiàn)，證明了以CPU為中心的計(jì)算體系同樣具備加速AI推理的巨大潛力，公共云不僅可勝任超大規(guī)模的AI模型，也為AI應(yīng)用加速落地開辟了新路徑?！?/p>

英特爾中國(guó)數(shù)據(jù)中心和人工智能集團(tuán)至強(qiáng)客戶解決方案事業(yè)部總經(jīng)理李亞東表示：“最新上市的第五代英特爾至強(qiáng)? 可擴(kuò)展處理器每個(gè)內(nèi)核均內(nèi)置 AI 加速功能，完全有能力處理要求嚴(yán)苛的 AI 工作負(fù)載。與上代相比，其AI訓(xùn)練性能提升多達(dá) 29%，AI推理能力提升高達(dá) 42%。我們希望借由阿里云第八代企業(yè)級(jí)實(shí)例（ECS g8i）共同助力開發(fā)者實(shí)現(xiàn)技術(shù)普惠，讓 AI 技術(shù)無處不在?！?/p>

通用算力再提升，整機(jī)性能提升85%

據(jù)介紹，作為企業(yè)級(jí)通用計(jì)算實(shí)例，ECS g8i實(shí)例在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全等能力得到了全方位提升。從關(guān)鍵參數(shù)上看，ECS g8i實(shí)例的L3緩存容量提升到320MB，內(nèi)存速率高達(dá)5600MT/s，整機(jī)性能提升85%，單核性能提升25%；存儲(chǔ)方面，ESSD云盤提供100萬 IOPS，全面搭載NVMe，存儲(chǔ)延遲低至百微秒；網(wǎng)絡(luò)方面，PPS高達(dá)3000萬，標(biāo)配阿里云自研eRDMA大規(guī)模加速能力，時(shí)延低至8微秒；安全方面，ECS g8i實(shí)例支持可信計(jì)算與加密計(jì)算等特性，全球率先支持機(jī)密虛擬機(jī)TDX技術(shù)，構(gòu)建了全面的安全防護(hù)。

在E2E場(chǎng)景下，ECS g8i實(shí)例可將MySQL性能提升最高達(dá)60%，Redis和Nginx的性能分別提升40%和24%，面向游戲、視頻直播、電商、金融、醫(yī)療、企業(yè)服務(wù)等行業(yè)提供強(qiáng)勁的算力支持，滿足其在數(shù)據(jù)庫(kù)、大數(shù)據(jù)、AI推理等應(yīng)用場(chǎng)景下對(duì)性能的嚴(yán)苛要求。

此外，ECS g8i實(shí)例還提供了多種硬件原生加速能力，包括QAT和IAA等加速器。阿里云通過自研技術(shù)，將硬件加速能力更細(xì)顆粒度透?jìng)髦翆?shí)例虛擬機(jī)，小規(guī)格的ECS g8i實(shí)例也同樣具備加速能力。其中，依托于QAT原生加解密加速器，ECS g8i實(shí)例在壓縮/解壓縮場(chǎng)景下性能最大可提升70倍，加解密性能提升4倍以上。

可支撐72B參數(shù)的大語言模型

生成式AI掀起的技術(shù)革命，正在推動(dòng)計(jì)算范式發(fā)生根本性的變化。當(dāng)前，AI大模型推理在算力上依然面臨諸多挑戰(zhàn)，例如首包延遲受限于并行處理能力與浮點(diǎn)運(yùn)算能力，吞吐性能則受限于內(nèi)存帶寬和網(wǎng)絡(luò)延遲。

據(jù)介紹，阿里云ECS g8i實(shí)例針對(duì)這些難題都進(jìn)行了相當(dāng)程度的優(yōu)化，包括內(nèi)置指令集從AVX512升級(jí)到了Intel AMX高級(jí)矩陣擴(kuò)展加速技術(shù)，可讓生成式AI更快地運(yùn)行。相對(duì)于AVX512指令集，啟用AMX AI加速后，ECS g8i 實(shí)例在int 8矩陣計(jì)算的性能最高提升7倍。

基于AMX AI加速能力，g8i可更迅速地響應(yīng)中小規(guī)模參數(shù)模型，運(yùn)行知識(shí)檢索、問答系統(tǒng)及摘要生成等AI工作負(fù)載時(shí)，起建成本相比A10 GPU云服務(wù)器下降50%。此外，配合阿里云平臺(tái)的Spot搶占式實(shí)例，成本優(yōu)勢(shì)將進(jìn)一步凸顯，進(jìn)一步降低AI推理成本。

與此同時(shí)，基于自研eRDMA超低延時(shí)彈性網(wǎng)絡(luò)，阿里云g8i實(shí)例集群擁有超低延時(shí)網(wǎng)絡(luò)和高彈性優(yōu)勢(shì)，可輕松支撐72B參數(shù)級(jí)別的大語言模型分布式推理，推理性能隨集群規(guī)模接近線性加速，并可支持超過32batchsize的超大參數(shù)規(guī)模的AI模型負(fù)載，運(yùn)行文生圖、AI生成代碼、虛擬助手以及創(chuàng)意輔助工具等AI工作負(fù)載。

以阿里云通義千問開源的Qwen-72B大模型為例，可在g8i實(shí)例eRDMA網(wǎng)絡(luò)構(gòu)建的集群實(shí)現(xiàn)高效運(yùn)行，在輸入小于500字情況下，首包延時(shí)小于3秒，每秒可生成7個(gè)Token。

最后，在安全方面，阿里云在全產(chǎn)品線構(gòu)建了端到端的安全防護(hù)，可保障數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸、數(shù)據(jù)計(jì)算的全流程安全。在最底層，基于CIPU的安全架構(gòu)搭載安全芯片TPM作為硬件可信根，實(shí)現(xiàn)服務(wù)器的可信啟動(dòng)，確保零篡改；虛擬化層面，支持虛擬可信能力vTPM，提供實(shí)例啟動(dòng)過程核心組件的校驗(yàn)?zāi)芰Γ辉趯?shí)例可信的基礎(chǔ)上支持不同平臺(tái)的機(jī)密計(jì)算能力，實(shí)現(xiàn)了運(yùn)行態(tài)的內(nèi)存數(shù)據(jù)隔離和加密的保護(hù)。

值得一提的是，此次升級(jí)的ECS g8i實(shí)例全量支持Trust Domain Extension TDX 技術(shù)能力，業(yè)務(wù)應(yīng)用無需更改，即可部署到 TEE 之中，極大降低了技術(shù)門檻，并以極低的性能損耗為大模型等AI應(yīng)用提供隱私增強(qiáng)算力，護(hù)航大模型的云上數(shù)據(jù)安全。

以Qwen-Chat-7B模型為例，啟用TDX后，既確保了模型推理的安全可信，也保護(hù)了數(shù)據(jù)的機(jī)密性和完整性。

“阿里云將不斷深耕技術(shù)、持續(xù)產(chǎn)品創(chuàng)新，為企業(yè)提供更加穩(wěn)定、強(qiáng)大、安全、彈性的計(jì)算服務(wù)，推動(dòng)各行業(yè)的AI應(yīng)用進(jìn)入全量爆發(fā)時(shí)代?！睆埆I(xiàn)濤表示。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。