華為昇騰師資培訓(xùn)沙龍·南京場 |華為昇騰 ACL 語言開發(fā)實(shí)踐全程干貨來了！看完就實(shí)操系列

自今年疫情以來，AI 技術(shù)加速進(jìn)入了人們的視線，在抗疫過程中發(fā)揮了重要作用，產(chǎn)業(yè)發(fā)展明顯提速，我國逐步走出了一條由需求導(dǎo)向引領(lǐng)商業(yè)模式創(chuàng)新、市場應(yīng)用倒逼基礎(chǔ)理論和關(guān)鍵技術(shù)創(chuàng)新的發(fā)展道路，AI 人才的爭奪戰(zhàn)也正式打響。

不僅如此，2020 年人工智能核心產(chǎn)業(yè)規(guī)模超1500 億，帶動相關(guān)產(chǎn)業(yè)規(guī)模超 1 萬億，而人才缺口卻高達(dá) 500 萬人。在產(chǎn)業(yè)結(jié)構(gòu)升級和新基建的推動下，AI 技術(shù)人才已經(jīng)到了供不應(yīng)求的時刻。就目前我國人工智能高端人才環(huán)境看來，大部分高校人工智能專業(yè)缺乏成熟的人才培養(yǎng)方案，新基建領(lǐng)域技術(shù)人才缺口巨大，薪資水平和發(fā)展空間也相當(dāng)優(yōu)越，同樣，AI 技術(shù)包含眾多的細(xì)分技術(shù)亦需要大量時間進(jìn)行研究與實(shí)踐，這對于新時代的開發(fā)者們而言也是更高的挑戰(zhàn)。 

為了助力高校人工智能領(lǐng)域人才培養(yǎng)及學(xué)科建設(shè)、以及人工智能領(lǐng)域優(yōu)秀人才持續(xù)且穩(wěn)定的輸入，科技巨頭華為特別發(fā)起了《華為昇騰師資培訓(xùn)沙龍》系列活動，面向廣大高校教師提供昇騰全棧全場景 AI 技術(shù)知識點(diǎn)培訓(xùn)，通過理論+案例實(shí)操的結(jié)構(gòu)，深入淺出地剖析昇騰能力及技術(shù)，讓與會高校老師能夠更加全面、深入地認(rèn)識昇騰、使用昇騰，從而可以將昇騰相關(guān)知識點(diǎn)融入學(xué)生培養(yǎng)體系，為人工智能人才培養(yǎng)打造良好的成長環(huán)境。

8 月 24 日，在華為昇騰師資培訓(xùn)沙龍·南京場上，華為南京研究所所長郭坤表示，在本次對業(yè)界做出生態(tài)能力開放前，華為內(nèi)部就建立了全員認(rèn)證及賦能活動，首先在在內(nèi)部將生態(tài)能力質(zhì)量打磨好，以加速相關(guān)推廣。而在芯片的使能和應(yīng)用使能兩個方面而言，華為南京研究所把自己定位成華為的 AI 使能能力中心，在該領(lǐng)域有著豐富的積累及完整的人員構(gòu)成，在芯片使能（異構(gòu)計(jì)算架構(gòu)）方面，深入研究如何達(dá)到軟硬件解耦、端邊云協(xié)同的高技能算子開發(fā)和圖融合技術(shù)，體現(xiàn)了華為在該領(lǐng)域扎實(shí)的布局。同時，華為南京研究所的品牌是活力和聚力，而生態(tài)的本質(zhì)也正是「活力」和「聚力」，華為也將繼續(xù)攜手眾高校，共創(chuàng)未來昇騰生態(tài)。

華為南京研究所所長 郭坤 

南京大學(xué)人工智能學(xué)院副院長黎銘表示，國內(nèi)人工智能人才供求比例嚴(yán)重失衡，人工智能作為第四次工業(yè)革命的重要推動力之一，人才短缺問題直接制約了我國各產(chǎn)業(yè)技術(shù)發(fā)展與提升。在這樣的大背景下，唯有人才「增量」方能從根本上解決問題。隨著我國發(fā)展進(jìn)入新時代，許多領(lǐng)域逐漸進(jìn)入「無處模仿、自主探索創(chuàng)新時期」，科教領(lǐng)域亦然。對于高校而言，應(yīng)該擔(dān)起為我國人工智能事業(yè)培養(yǎng)高水平專業(yè)人才的責(zé)任。

演講中，黎銘分享了南京大學(xué)人工智能學(xué)院在AI人才培養(yǎng)方面的思考與探索：高校應(yīng)面向科學(xué)前沿、國家需求、產(chǎn)業(yè)進(jìn)步，培養(yǎng)具備源頭創(chuàng)新能力、具備解決企事業(yè)單位關(guān)鍵技術(shù)難題能力的高水平人工智能專業(yè)人才。不同高?？筛鶕?jù)自己的培養(yǎng)目標(biāo)作出符合其自身特點(diǎn)的培養(yǎng)體系設(shè)置，但良好的數(shù)學(xué)基礎(chǔ)、扎實(shí)的計(jì)算/程序功底、全面的人工智能專業(yè)知識可能是高水平 AI 人才知識結(jié)構(gòu)應(yīng)具備的共性特征。

南京大學(xué) 人工智能學(xué)院副院長 黎銘

華為計(jì)算產(chǎn)品線高校教學(xué)合作總監(jiān)李鵬認(rèn)為，計(jì)算產(chǎn)業(yè)正面臨變革，驅(qū)動著計(jì)算架構(gòu)的創(chuàng)新，從芯片到系統(tǒng)之中需要系統(tǒng)級的人才，AI 人才培養(yǎng)的主要責(zé)任就落在了高校身上。未來的 20~30 年， AI 技術(shù)將與過去的蒸汽機(jī)、電力系統(tǒng)、互聯(lián)網(wǎng)技術(shù)齊平，成為新型的通用目的技術(shù)（GPT），深刻推動社會發(fā)展進(jìn)程，而如何讓專業(yè)人才快速將專業(yè)知識轉(zhuǎn)化為生產(chǎn)力，也是華為目前在積極探索的階段。為此，華為提出「沃土計(jì)劃 2.0」，與眾高校合作構(gòu)建智能基座，從硬件到軟件、從教材到社區(qū)、從平臺提供到項(xiàng)目實(shí)踐等方面提供全方位支持，旨在打造全棧、全場景型 AI 人才，持續(xù)賦能合作伙伴，真正培養(yǎng)出高水平、高價值人才。

華為計(jì)算產(chǎn)品線高校教學(xué)合作總監(jiān) 李鵬

活動當(dāng)天華為南京研究所AI全棧開放實(shí)驗(yàn)室在參加沙龍的江蘇、山東地區(qū)各大高校老師們的見證下由研究所所長及各分部部長完成揭牌開放。該實(shí)驗(yàn)室集中昇騰、NAIE、智慧工程等AI使能產(chǎn)品，作為面向客戶、中小創(chuàng)、高校老師等合作伙伴的參觀、聯(lián)調(diào)、測試、孵化的重要承載場所。所長郭坤帶領(lǐng)各位與會老師參觀，相關(guān)產(chǎn)品負(fù)責(zé)人給老師們做詳細(xì)介紹。

在為期兩天的沙龍中，來自華為的專家及合作伙伴帶來了華為全場景的AI技術(shù)環(huán)境及豐富的 AI平臺能力等內(nèi)容。其中，由華為海思技術(shù)專家譚濤帶來的《基于昇騰Ai1推理云服務(wù)的ACL開發(fā)實(shí)踐》的主題分享尤為精彩。在如今深度神經(jīng)網(wǎng)絡(luò)飛速發(fā)展、對芯片算力需求與日俱增的當(dāng)下，華為昇騰系列AI處理器芯片可以對整型數(shù)或浮點(diǎn)數(shù)提供強(qiáng)大高效的乘加計(jì)算力。華為昇騰 AI 處理器分為訓(xùn)練和推理兩種，其中推理芯片支持將訓(xùn)練好的離線模型通過ACL（昇騰計(jì)算語言） 編程框架部署到具體業(yè)務(wù)場景，并對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特殊優(yōu)化。

華為海思技術(shù)專家 譚濤

 ACL的基本概念

ACL 有三大主要能力：

1、模型推理

機(jī)器學(xué)習(xí)應(yīng)用的內(nèi)里模型等同于「黑匣子」的存在，開源框架訓(xùn)練出來的模型想要直接使用必須要在原有框架上進(jìn)行，無法直接在業(yè)務(wù)場景中使用，而 ACL則在應(yīng)用層面加載一個離線模型做推理，ACL 離線模型「離」的是訓(xùn)練時使用的框架，脫離框架的模型可以使用 ACL直接加載至?xí)N騰系列處理器做推理。

2、加載單算子做推理

除了驗(yàn)證算子的正確性以外，該能力還可以在某些情況下進(jìn)行模型的前處理、后處理做算子化，避免集成-驗(yàn)證的繁瑣步驟。

3、數(shù)據(jù)預(yù)處理

不僅如此，現(xiàn)下實(shí)現(xiàn)圖像預(yù)處理更多是通過通用計(jì)算 CPU進(jìn)行，效率較低。在昇騰里有專用的硬件和配套的軟件（DVPP）對數(shù)字圖像進(jìn)行軟件預(yù)處理，通過 ACL 可以調(diào)用此能力。

ACL 目前最成熟的是 C++版本（兼容 C 語言方式），但 Python 版本的使用方法也十分相像。通過 ACL 可調(diào)用計(jì)算資源（AI Core & AI CPU）、運(yùn)行管理器（Runtime）、GE執(zhí)行器等。

計(jì)算側(cè)旁路：

在算子的計(jì)算過程中，ACL 可對單算子進(jìn)行加速計(jì)算，節(jié)省掉算子計(jì)算過程中重復(fù)驗(yàn)證的步驟，大大減輕開發(fā)驗(yàn)證的壓力，并通過融合引擎（FE）進(jìn)行算子融合分析，得出往下層傳遞的原子算子；下層的張量加速引擎（Tensor Boost Engine）作為算子的兵工廠，支持多種類的算子計(jì)算，再由其往下分發(fā)給運(yùn)行時環(huán)境、任務(wù)調(diào)度、驅(qū)動等等，最后落到芯片上做實(shí)際計(jì)算。整體流程為：圖分析-融合分析-算子分析-硬件計(jì)算。

ACL 雖然可以用于直接構(gòu)建應(yīng)用，但更多地可以將能力進(jìn)行封裝后用于形成一系列行業(yè) SDK，這是華為智能計(jì)算產(chǎn)品線正在做的事情，也鼓勵行業(yè)伙伴一同擴(kuò)展Lab 庫。

ACL 定義的編程模型

在使用 ACL 之前，需要了解 ACL 定義的編程模型，理解各類運(yùn)行資源的概念及其相互關(guān)系。

1）初始化：需要初始化整個 ACL 的運(yùn)行時環(huán)境。首先需要動用一個接口 acl.init 值得注意的是，如果第一行有初始化，最后一行記得「去初始化」，否則結(jié)束時程序會崩潰。 

2）申請計(jì)算資源：計(jì)算資源總體分為 4 大部分：Dveice、Context、Stream、Event，在使用前需要先申請計(jì)算資源。正常情況下，只需要設(shè)置一個Dveice，系統(tǒng)會暫時隱式創(chuàng)建一套默認(rèn)的資源（剩下的三個資源），避免繁瑣操作。而在使用完資源后將資源進(jìn)行釋放即可。

3）加載模型：提供多個模型加載接口，支持從磁盤中加載離線模型及加載內(nèi)存中模型。且模型加載到內(nèi)存后可以選擇管理位置或托管給 ACL 。 

4）獲取模型信息：上一級模型是一串二進(jìn)制數(shù)據(jù)，模型描述需要特殊的數(shù)據(jù)類型，需要使用指定的函數(shù)來獲取該數(shù)據(jù)類型，獲取到模型類型后，還需要根據(jù)該類型來獲取模型的輸入輸出個數(shù)，這樣既可獲取模型，又可獲取模型的各種相關(guān)信息。

Host 與Device概念

5）申請Device內(nèi)存：Host 用于加載、數(shù)據(jù)收集，而收集完的數(shù)據(jù)需要上傳至Device進(jìn)行計(jì)算并保存 ，所以要對 Device 進(jìn)行內(nèi)存申請。需要提醒的是，手動申請的內(nèi)存一定要手動釋放，程序自動申請的可以不用再度操作。

6）數(shù)據(jù)傳輸：將數(shù)據(jù)從 Host 側(cè)拷貝至 Device 側(cè)，參數(shù)的順序是：目的內(nèi)存地址、目的內(nèi)存量大小、源內(nèi)存地址、拷貝長度、拷貝方向，Direction拷貝方向當(dāng)前支持四種：host>host、host>device、device>host、device>device。

7）準(zhǔn)備推理數(shù)據(jù)：在數(shù)據(jù)傳輸之前還需要準(zhǔn)備推理所需數(shù)據(jù)結(jié)構(gòu)，模型推理所需的輸入輸出數(shù)據(jù)，是經(jīng)過一種特定的叫「Dataset」的數(shù)據(jù)結(jié)構(gòu)來組織的，即所有的輸入組成了一個 Dataset ；而其中的每一個輸入叫「DataBuffer」，所有的 DataBuffer構(gòu)成了一個 DataSet。至此就準(zhǔn)備好了模型的輸入和輸出。

模型推理實(shí)例

8）推理：所有素材準(zhǔn)備好后，模型推理已經(jīng)是順理成章的事情了。最終的推理往往只需要一行代碼。

9）申請 Host 內(nèi)存：在前面的步驟中，使用了 Device 進(jìn)行了數(shù)據(jù)計(jì)算，但數(shù)據(jù)無法直接在 Device 側(cè)上進(jìn)行使用，所以需要申請 Host 內(nèi)存，讓數(shù)據(jù)從 Device 側(cè)上返回 Host 側(cè)才能使用。

在 main 函數(shù)中依次執(zhí)行以上流程，即可獲取完整的 ACL 圖片分類推理結(jié)果（支持多張圖片推理）。

華為秉承實(shí)踐知真理原則

全方位賦能合作伙伴加速 AI 人才輸出

對于高校合作伙伴而言，華為提供的全棧全場景的 AI 算力平臺及豐富的社區(qū)、工具資源，讓開發(fā)者們能夠獲得全方位系統(tǒng)化的支持，更好地學(xué)習(xí)及實(shí)踐。同時，開發(fā)者及 AI 專業(yè)的同學(xué)們也可以通過 ACL 語言走進(jìn) AI 應(yīng)用大門，通過實(shí)踐、社區(qū)學(xué)習(xí)/輸出得到多層面結(jié)構(gòu)的成長。華為昇騰將繼續(xù)與各方力量攜手，共同為社會持續(xù)輸出高端高質(zhì)量的 AI 人才。

如果覺得本次的內(nèi)容聽的還不夠過癮，想要了解更多華為昇騰相關(guān)技術(shù)實(shí)踐，不用著急，《華為昇騰師資培訓(xùn)沙龍》接下來將在成都、西安、北京展開系列培訓(xùn)，點(diǎn)擊鏈接https://bss.csdn.net/m/topic/hwst_live，即刻報名！

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。