2月21日至23日,計(jì)算機(jī)體系結(jié)構(gòu)頂會(huì)USENIX FAST 2023在美國(guó)圣克拉拉召開(kāi),阿里云4篇論文被頂會(huì)收錄,涉及分布式存儲(chǔ)架構(gòu)、云原生存儲(chǔ)、用戶(hù)態(tài)存儲(chǔ)引擎等多個(gè)領(lǐng)域。作為中國(guó)科技公司的代表,阿里云已屢次在FAST上斬獲佳績(jī),其中《Perseus:A Fail-Slow Detection Framework for Cloud Storage Systems》一文還斬獲了大會(huì)最佳論文獎(jiǎng),這也是中國(guó)企業(yè)首次獲此殊榮。
阿里云與上海交大合作論文獲大會(huì)最佳論文獎(jiǎng)
FAST(Conference on File and Storage Technologies)創(chuàng)辦于2002年,是由美國(guó)高等計(jì)算系統(tǒng)協(xié)會(huì)(USENIX)和美國(guó)計(jì)算機(jī)學(xué)會(huì)操作系統(tǒng)專(zhuān)業(yè)組織(ACM SIGOPS)聯(lián)合組織的聚焦存儲(chǔ)領(lǐng)域的頂級(jí)國(guó)際會(huì)議,代表了計(jì)算機(jī)存儲(chǔ)領(lǐng)域的國(guó)際最高水平。創(chuàng)辦二十多年來(lái),F(xiàn)AST推動(dòng)了如軟硬件結(jié)合、RAID、閃存文件系統(tǒng)、非易失內(nèi)存技術(shù)和分布式存儲(chǔ)等多項(xiàng)存儲(chǔ)相關(guān)技術(shù)的發(fā)展。
本次阿里云入選的 4 篇論文主要是圍繞飛天云計(jì)算操作系統(tǒng)核心組件之一的飛天盤(pán)古分布式文件存儲(chǔ)系統(tǒng),深入地描述了過(guò)去幾年在多個(gè)領(lǐng)域的創(chuàng)新以及為云存儲(chǔ)產(chǎn)品提升的競(jìng)爭(zhēng)力。使用通用的服務(wù)器和磁盤(pán)介質(zhì),在超大規(guī)模下解決數(shù)據(jù)不丟不錯(cuò)和高可用的難題,讓存儲(chǔ)更加穩(wěn)定可靠,擁有更大的容量和更高的性能,可承載不同的應(yīng)用負(fù)載, 覆蓋低延遲、高吞吐、高并發(fā)等多種復(fù)雜場(chǎng)景。
阿里云存儲(chǔ)資深專(zhuān)家儲(chǔ)道介紹阿里云盤(pán)古分布式存儲(chǔ)系統(tǒng)論文
具體來(lái)說(shuō),阿里云在《More Than Capacity: Performance-oriented Evolution of Pangu in Alibaba》一文中介紹了阿里云自研的盤(pán)古分布式文件存儲(chǔ)的新一代 2.0 系統(tǒng)的創(chuàng)新和演進(jìn)。通過(guò)基于介質(zhì)優(yōu)化的存儲(chǔ)引擎、高性能存儲(chǔ)網(wǎng)絡(luò)、全分布式元數(shù)據(jù)的管理、長(zhǎng)尾延遲優(yōu)化等技術(shù),極致釋放硬件的能力,利用 NVMe SSD和 RDMA 網(wǎng)絡(luò)的低延遲高帶寬性能,降低軟件系統(tǒng)的開(kāi)銷(xiāo),提高性能的穩(wěn)定性?;诒P(pán)古 2.0,阿里云實(shí)現(xiàn)了百微秒級(jí)平均延遲、毫秒級(jí)長(zhǎng)尾延遲,以及單存儲(chǔ)節(jié)點(diǎn)打滿(mǎn)200Gbps網(wǎng)絡(luò)的IOPS處理能力,有力支撐數(shù)據(jù)庫(kù)、搜索和推薦等眾多性能敏感型業(yè)務(wù)。
在《Perseus: A Fail-Slow Detection Framework for Cloud Storage Systems》一文中,阿里云與上海交通大學(xué)共同提出了一種精確的慢盤(pán)檢測(cè)框架Perseus,可將節(jié)點(diǎn)P9999長(zhǎng)尾延遲平均降低33%-64%,保證業(yè)務(wù)平穩(wěn)運(yùn)行。借助 Perseus 對(duì)慢盤(pán)檢測(cè)的主動(dòng)性和精確性,不僅提供了高性能高可靠的存儲(chǔ),也保障了性能的穩(wěn)定性,極大減少了性能的抖動(dòng),為客戶(hù)提供了可預(yù)期的平滑的服務(wù)質(zhì)量保障。本文因“其在理論研究上的創(chuàng)新性和實(shí)際落地應(yīng)用的巨大價(jià)值”,被大會(huì)評(píng)為 FAST 2023 的最佳論文。該項(xiàng)研究由阿里巴巴創(chuàng)新研究計(jì)劃(AIR)支持,旨在促進(jìn)計(jì)算機(jī)科學(xué)及相關(guān)領(lǐng)域的前沿研究,加速研究成果的應(yīng)用落地。
阿里云存儲(chǔ)專(zhuān)家答案介紹SMRStore新存儲(chǔ)引擎論文
在名為《SMRSTORE: A Storage Engine for Cloud Object Storage on HM-SMR Drives》論文中,阿里云介紹了疊瓦式磁盤(pán)HM-SMR的高性能存儲(chǔ)引擎——SMRStore,通過(guò)數(shù)據(jù)冷熱分離、端到端協(xié)同設(shè)計(jì)、流量打散等技術(shù),大幅降低SMR磁盤(pán)上的GC開(kāi)銷(xiāo),提供不亞于傳統(tǒng)CMR磁盤(pán)的性能。基于 SMRStore 存儲(chǔ)引擎的對(duì)象存儲(chǔ) OSS,標(biāo)準(zhǔn)和低頻類(lèi)型的存儲(chǔ)規(guī)格規(guī)?;褂?SMR 磁盤(pán),保障性能和穩(wěn)定性的同時(shí),降低了存儲(chǔ)成本。
面向云原生大規(guī)模分布式存儲(chǔ)的需求,阿里云在《Fisc: A Large-scale Cloud-native-oriented File System 》論文中提到了面向云原生的大規(guī)模文件系統(tǒng)Fisc,通過(guò)文件系統(tǒng)客戶(hù)端的硬件卸載技術(shù)高效支持多容器的高并發(fā)訪(fǎng)問(wèn),降低容器CPU和內(nèi)存的消耗,節(jié)約 20% 的資源;同時(shí)首次提出基于CIPU軟硬件協(xié)同的分布式存儲(chǔ)應(yīng)用層網(wǎng)關(guān),將大數(shù)據(jù)計(jì)算、AI訓(xùn)練等業(yè)務(wù)的存儲(chǔ)訪(fǎng)問(wèn)平均延遲降低到百微秒級(jí)別,P999延遲優(yōu)化到毫秒級(jí)別,展示了從 IO 虛擬化、多租戶(hù)隔離、高性能網(wǎng)絡(luò)、和高性能存儲(chǔ)系統(tǒng)的端到端的全棧優(yōu)化技術(shù)。
阿里云存儲(chǔ)團(tuán)隊(duì)亮相USENIX FAST 2023
此外,盤(pán)古在分布式數(shù)據(jù)冗余算法方面也進(jìn)行了持續(xù)的創(chuàng)新,支持跨數(shù)據(jù)中心、跨地域的多數(shù)據(jù)中心容災(zāi)策略,數(shù)據(jù)可靠性達(dá)到12個(gè)9,可用性高達(dá)5個(gè)9。在高性能存儲(chǔ)網(wǎng)絡(luò)方面也積累了一系列創(chuàng)新成果,自研的高性能RDMA存儲(chǔ)網(wǎng)絡(luò)(SIGCOMM 2022),HPCC流控算法(SIGCOMM 2019),RDMA網(wǎng)絡(luò)的大規(guī)模實(shí)踐和優(yōu)化(NSDI 2021),引領(lǐng)了云存儲(chǔ)進(jìn)入微秒延遲時(shí)代。
今天的阿里云盤(pán)古分布式存儲(chǔ)已經(jīng)廣泛部署在阿里云全球近百個(gè)可用區(qū),通過(guò)塊存儲(chǔ)EBS、對(duì)象存儲(chǔ)OSS、文件存儲(chǔ)NAS、文件存儲(chǔ)CPFS、表格存儲(chǔ)Tablestore、日志服務(wù)SLS、網(wǎng)盤(pán)與相冊(cè)服務(wù)PDS、備份容災(zāi)等服務(wù)云上數(shù)百萬(wàn)的客戶(hù),覆蓋政企、互聯(lián)網(wǎng)、金融、零售、制造、醫(yī)療等千行百業(yè)。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- ?新一代核心系統(tǒng)全面上線(xiàn)!中華財(cái)險(xiǎn)與阿里云達(dá)成數(shù)智化升級(jí)新合作
- 阿里云通過(guò)信通院首批企業(yè)用云治理能力成熟度評(píng)測(cè)
- 2025年云預(yù)測(cè):傳統(tǒng)漏洞、人工智能增長(zhǎng)和邊緣繁榮
- 云遣返:工作負(fù)載分配的關(guān)鍵戰(zhàn)略考慮因素
- 告別加班!華為云推薦數(shù)智員工“入職”會(huì)無(wú)憂(yōu)
- 阿里云支持疊紙新游《無(wú)限暖暖》全球多平臺(tái)開(kāi)服!
- Gartner:到2027年,90%的企業(yè)機(jī)構(gòu)將采用混合云
- Gartner:到2025年,全球公有云終端用戶(hù)支出將達(dá)到7230億美元
- AI熱潮推動(dòng)全球云計(jì)算市場(chǎng)增長(zhǎng),Q3支出增長(zhǎng)21%至820億美元
- 阿里云百煉上線(xiàn)百萬(wàn)長(zhǎng)文本模型Qwen2.5 -Turbo,百萬(wàn)tokens僅需0.3元
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。