華為北冥多樣性計(jì)算融合架構(gòu)重磅發(fā)布 助力極簡(jiǎn)開(kāi)發(fā)、高效部署、極致性能

9月25日，在華為全聯(lián)接2021上，華為副總裁、計(jì)算產(chǎn)品線總裁鄧泰華正式發(fā)布北冥多樣性計(jì)算融合架構(gòu)（簡(jiǎn)稱“北冥架構(gòu)”）。北冥架構(gòu)是為多樣性計(jì)算硬件及集群打造的完整軟件棧，可幫助開(kāi)發(fā)者在多樣算力環(huán)境下，實(shí)現(xiàn)與單機(jī)相同的應(yīng)用開(kāi)發(fā)和部署體驗(yàn)，并獲得遠(yuǎn)超單一算力的應(yīng)用性能。

大會(huì)上，華為計(jì)算產(chǎn)品線研發(fā)總裁熊彥分享了華為在多樣性計(jì)算軟件棧方面的技術(shù)創(chuàng)新。他指出，當(dāng)前多樣性計(jì)算已經(jīng)成為計(jì)算行業(yè)最重要的趨勢(shì)。未來(lái)數(shù)據(jù)中心中，除通用算力外的各種多樣性算力占比將越來(lái)越大，從單算力到多算力協(xié)同、從單機(jī)到集群、從傳統(tǒng)應(yīng)用到多樣性融合應(yīng)用，多樣性計(jì)算系統(tǒng)給新型應(yīng)用發(fā)展帶來(lái)巨大的潛力和空間，同時(shí)也給開(kāi)發(fā)者帶來(lái)極大的挑戰(zhàn)。

北冥架構(gòu)是為多樣性計(jì)算硬件及集群打造的使能軟件棧，簡(jiǎn)化多樣性計(jì)算環(huán)境下的開(kāi)發(fā)和部署，充分釋放算力性能。熊彥逐一介紹了北冥架構(gòu)的基礎(chǔ)使能、應(yīng)用使能、開(kāi)發(fā)使能的各個(gè)組件，并結(jié)合演示生動(dòng)展示了北冥架構(gòu)帶來(lái)的價(jià)值。

北冥基礎(chǔ)使能

北冥基礎(chǔ)使能

熊彥指出，多樣性計(jì)算系統(tǒng)給開(kāi)發(fā)者帶來(lái)了三大挑戰(zhàn)：首先，多樣性算力環(huán)境下的開(kāi)發(fā)，往往需要使用多種編程語(yǔ)言和工具，導(dǎo)致開(kāi)發(fā)生態(tài)碎片化。其次，同一應(yīng)用在不同處理器上部署，代碼難以重用，導(dǎo)致重復(fù)開(kāi)發(fā)。更為重要的是，多種算力間缺乏協(xié)同優(yōu)化手段，無(wú)法充分發(fā)揮系統(tǒng)的整體性能。北冥架構(gòu)的基礎(chǔ)使能軟件，即通過(guò)畢昇C++編程語(yǔ)言、畢昇編譯器、北冥融合加速庫(kù)，為多樣性計(jì)算系統(tǒng)提供通用、高效、高性能的開(kāi)發(fā)能力，助力開(kāi)發(fā)者更好地應(yīng)對(duì)上述挑戰(zhàn)：

畢昇C++支持SYCL異構(gòu)編程標(biāo)準(zhǔn)，實(shí)現(xiàn)了一種語(yǔ)言即可對(duì)鯤鵬、昇騰及業(yè)界主流算力進(jìn)行編程，大大降低了開(kāi)發(fā)者學(xué)習(xí)成本。同時(shí)，對(duì)不同算力的共性特征進(jìn)行了抽象，實(shí)現(xiàn)一套源碼在多樣算力上的重用。畢昇C++通過(guò)單語(yǔ)言、單源碼的開(kāi)發(fā)方式，為開(kāi)發(fā)者避免了多樣性計(jì)算系統(tǒng)的編程復(fù)雜性。

畢昇編譯器提供跨多樣算力統(tǒng)一編譯及融合優(yōu)化能力。它通過(guò)多指令集支持，實(shí)現(xiàn)了一套源碼在鯤鵬、昇騰等算力上的統(tǒng)一編譯，可直接生成融合多種算力代碼的fatbin可執(zhí)行程序，方便地在多樣性計(jì)算系統(tǒng)上部署運(yùn)行。畢昇編譯器通過(guò)多樣算力融合優(yōu)化技術(shù)打破了編譯器只能對(duì)單算力進(jìn)行編譯優(yōu)化的限制，實(shí)現(xiàn)了跨算力的聯(lián)合編譯優(yōu)化，在SPEC ACCEL基準(zhǔn)測(cè)試中性能提升30%以上。

北冥融合加速庫(kù)則為領(lǐng)域關(guān)鍵功能加速提供基于API的編程調(diào)用。它兼容主流應(yīng)用框架，實(shí)現(xiàn)已有應(yīng)用生態(tài)的良好對(duì)接。北冥融合加速庫(kù)為多算力提供統(tǒng)一的API接口，支持AI+大數(shù)據(jù)、HPC+AI、HPDA等融合應(yīng)用。同時(shí)，通過(guò)業(yè)界獨(dú)有的多算力協(xié)同能力，實(shí)現(xiàn)了加速庫(kù)性能的大幅提升。

北冥應(yīng)用使能

北冥應(yīng)用使能

在多樣性計(jì)算集群上開(kāi)發(fā)融合應(yīng)用，開(kāi)發(fā)者不僅要面對(duì)大規(guī)模并行應(yīng)用開(kāi)發(fā)的復(fù)雜性，還需要解決融合應(yīng)用跨算力部署的難題。更為挑戰(zhàn)的是，從單算力到多樣算力，從單機(jī)到集群，應(yīng)用的全棧性能優(yōu)化變得極其復(fù)雜和困難。北冥架構(gòu)通過(guò)多瑙統(tǒng)一調(diào)度器、元戎分布式并行開(kāi)發(fā)框架、昇思科學(xué)計(jì)算套件，幫助開(kāi)發(fā)者實(shí)現(xiàn)分布式應(yīng)用的極簡(jiǎn)開(kāi)發(fā)、融合應(yīng)用的高效部署以及多樣性計(jì)算系統(tǒng)的全棧效能最優(yōu)。

多瑙統(tǒng)一調(diào)度器為多樣性算力集群提供應(yīng)用與資源的最佳匹配。它在多樣性應(yīng)用統(tǒng)一調(diào)度、多樣性算力資源統(tǒng)一管理的基礎(chǔ)上，通過(guò)對(duì)應(yīng)用、算力、存儲(chǔ)、網(wǎng)絡(luò)和能耗的多層次深度感知，建模和智能調(diào)度算法創(chuàng)新，結(jié)合專家系統(tǒng)、實(shí)現(xiàn)跨域聯(lián)動(dòng)、進(jìn)一步提高了系統(tǒng)效率。未來(lái)，多瑙還將通過(guò)元調(diào)度器的分級(jí)調(diào)度能力支持跨數(shù)據(jù)中心的調(diào)度，為多樣性計(jì)算算力網(wǎng)絡(luò)的構(gòu)建提供關(guān)鍵技術(shù)支撐。

元戎是華為面向多樣性計(jì)算集群打造的分布式并行開(kāi)發(fā)框架，目標(biāo)是讓開(kāi)發(fā)者在多樣性計(jì)算集群上享受單機(jī)編程體驗(yàn)，讓大規(guī)模并行應(yīng)用的構(gòu)建像搭積木一樣快捷。當(dāng)前元戎已經(jīng)實(shí)現(xiàn)了對(duì)數(shù)據(jù)并行和算法并行兩類關(guān)鍵應(yīng)用開(kāi)發(fā)場(chǎng)景的支持， 大幅提升了分布式應(yīng)用開(kāi)發(fā)的效率。未來(lái)，元戎將支持多種計(jì)算模式的組合，幫助開(kāi)發(fā)者更加靈活地在多樣性計(jì)算集群中開(kāi)發(fā)分布式應(yīng)用。

多樣算力的廣泛部署也正在激發(fā)跨領(lǐng)域應(yīng)用融合，例如AI正在成為研究科學(xué)計(jì)算的新范式，為此，華為將昇思MindSpore拓展到科學(xué)計(jì)算領(lǐng)域，將昇思原有的AI計(jì)算引擎升級(jí)為AI與科學(xué)計(jì)算的統(tǒng)一引擎，并面向八大科學(xué)計(jì)算行業(yè)打造MindScience系列套件。這些行業(yè)套件包含業(yè)界領(lǐng)先的數(shù)據(jù)集、基礎(chǔ)模型、預(yù)置高精度模型和前后處理工具，加速科學(xué)行業(yè)的應(yīng)用開(kāi)發(fā)。

北冥開(kāi)發(fā)使能

北冥開(kāi)發(fā)使能

多樣性計(jì)算系統(tǒng)下的開(kāi)發(fā)調(diào)試，也給開(kāi)發(fā)者帶來(lái)了額外的壓力。因?yàn)椴煌幚砥鞯拈_(kāi)發(fā)工具鏈各不相同，開(kāi)發(fā)者在編程編譯、調(diào)試仿真、系統(tǒng)調(diào)優(yōu)、部署等各個(gè)環(huán)節(jié)，都會(huì)因?yàn)橄到y(tǒng)的多算力環(huán)境而遭遇開(kāi)發(fā)斷點(diǎn)，需要在工具鏈之間反復(fù)切換，體驗(yàn)差，效率低。多樣性計(jì)算系統(tǒng)開(kāi)發(fā)所需要的仿真與調(diào)測(cè)環(huán)境搭建也費(fèi)時(shí)費(fèi)力。更挑戰(zhàn)的是，由于缺乏多種算力協(xié)同的調(diào)試、調(diào)優(yōu)手段，開(kāi)發(fā)者往往需要手工在不同的工具鏈之間同步調(diào)試數(shù)據(jù)，反復(fù)拼接不同算力系統(tǒng)的調(diào)優(yōu)信息，嚴(yán)重限制了開(kāi)發(fā)生產(chǎn)力。

北冥架構(gòu)的MindStudio統(tǒng)一工具鏈，為開(kāi)發(fā)者提供統(tǒng)一集成開(kāi)發(fā)環(huán)境，實(shí)現(xiàn)開(kāi)發(fā)全流程連貫無(wú)斷點(diǎn)。通過(guò)插件化技術(shù)，MindStudio支持功能的靈活拼裝和開(kāi)發(fā)流程用戶自定義。為了解決多樣性計(jì)算系統(tǒng)開(kāi)發(fā)效率的問(wèn)題，MindStudio還專門為開(kāi)發(fā)者提供了跨算力聯(lián)合調(diào)試、全系統(tǒng)協(xié)同調(diào)優(yōu)、仿真環(huán)境按需集成和開(kāi)發(fā)資源一鍵獲取等功能，從而為多樣性計(jì)算系統(tǒng)提供開(kāi)發(fā)全流程的支持。

華為為多樣性計(jì)算打造的北冥架構(gòu)，將更好地幫助開(kāi)發(fā)者實(shí)現(xiàn)極簡(jiǎn)開(kāi)發(fā)、高效部署、極致性能。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。