對于AI企業(yè)來說，GPU等計(jì)算資源昂貴，如何提高資源利用率，保護(hù)計(jì)算力投資?如何解決資源搶占，保證資源使用公平合理?如何減少等待時(shí)間，提高模型訓(xùn)練效率……這些問題都關(guān)系著研發(fā)創(chuàng)新的進(jìn)度。且看浪潮AIStation人工智能開發(fā)平臺用三招“組合拳”打破計(jì)算力壁壘，加速企業(yè)AI開發(fā)進(jìn)程。
某企業(yè)AI開發(fā)面臨的問題
某企業(yè)有四臺8卡GPU服務(wù)器供50位開發(fā)人員使用，典型的人多資源少。具體來說，有以下幾大問題：
人均不足一張GPU卡，GPU使用需要相互協(xié)調(diào)，開發(fā)效率低;每十多人為一個(gè)小組共用一個(gè)GPU節(jié)點(diǎn)，可能使有的小組資源空閑而有的小組卻無資源可用，造成資源孤島;缺乏優(yōu)先機(jī)制，重要任務(wù)無法得到及時(shí)提交;在白天GPU卡幾乎全部用于開發(fā)環(huán)境創(chuàng)建，開發(fā)人員只能在晚上提交訓(xùn)練任務(wù)，模型訓(xùn)練數(shù)量非常有限。
AIStation三招解決企業(yè)算力問題
AIStation是面向AI企業(yè)開發(fā)場景的人工智能資源平臺，可通過資源配額、GPU共享、排隊(duì)托管三招“組合拳”，智能化分配GPU計(jì)算資源，提高資源利用率，幫助用戶提高開發(fā)效率。
首先，AIStation收攏分散的計(jì)算資源，提供集群式的池化管理，并設(shè)置資源配額策略，實(shí)現(xiàn)多用戶公平均衡使用資源。
AIStation將開發(fā)用戶劃分為5個(gè)用戶組，每個(gè)用戶組10人，并根據(jù)業(yè)務(wù)需求設(shè)置每組和每個(gè)用戶的使用配額，如可設(shè)置每組使用6張GPU卡、40個(gè)CPU核。并對每個(gè)用戶的開發(fā)環(huán)境使用時(shí)長、同時(shí)提交任務(wù)數(shù)量進(jìn)行限制。
其次，AIStation通過GPU共享策略，可以讓多人共用一張GPU卡且互不影響。
AIStation統(tǒng)一管理4臺GPU節(jié)點(diǎn)，將其中2個(gè)節(jié)點(diǎn)的16張GPU卡設(shè)置為開發(fā)資源組，用于開發(fā)環(huán)境創(chuàng)建，剩下16張GPU卡為訓(xùn)練資源組，用于模型訓(xùn)練。通過共享策略，AIStation可將開發(fā)資源組的每張GPU卡切分為8份，每份使用4G顯存。這樣原來的16張GPU卡相當(dāng)于變?yōu)榱?28張卡。并且通過設(shè)置CPU超線程策略擴(kuò)展CPU核數(shù)，滿足50個(gè)用戶同時(shí)創(chuàng)建開發(fā)環(huán)境的需求。用戶也可以根據(jù)自己的模型設(shè)置batchsize和顯存使用的大小。
GPU共享模式
最后，AIStation通過任務(wù)排隊(duì)托管、定義任務(wù)優(yōu)先級，充分利用空閑時(shí)間訓(xùn)練任務(wù)，并且可根據(jù)優(yōu)先級調(diào)度任務(wù)排隊(duì)運(yùn)行。
用戶可同時(shí)提交多個(gè)訓(xùn)練任務(wù)，資源不足時(shí)排隊(duì)等待，一個(gè)任務(wù)訓(xùn)練結(jié)束后自動釋放資源給排隊(duì)等待的任務(wù)，從而可以充分利用夜間、周末訓(xùn)練任務(wù)，延長GPU的使用時(shí)間。同時(shí)用戶可設(shè)置優(yōu)先級，讓重要任務(wù)優(yōu)先訓(xùn)練。
開發(fā)用戶任務(wù)托管
AIStation取得顯著效果
GPU使用時(shí)間加大近1倍。原來單個(gè)GPU節(jié)點(diǎn)分配給一個(gè)用戶小組使用，每卡每天的平均使用時(shí)間僅為14.4小時(shí)。AIStation通過GPU共享、任務(wù)托管，解決資源孤島，將每卡每天的平均使用時(shí)間提升到22.8小時(shí)。
一天周期內(nèi)集群GPU使用情況
GPU利用率提升50%。原來用戶在開發(fā)階段獨(dú)占一張GPU，GPU利用率僅為10%，訓(xùn)練階段可達(dá)90%，每天每卡的平均利用率為30%。使用AIStation后，開發(fā)階段8人共用一張GPU卡，GPU利用率可上升為80%，訓(xùn)練階段為90%，每天每卡的利用率可達(dá)到80%。
GPU使用情況對比
每周訓(xùn)練任務(wù)的數(shù)量增大一倍多。假設(shè)提交一個(gè)ImageNet數(shù)據(jù)集和一個(gè)ResNet50模型，使用1張Tesla V100 GPU卡訓(xùn)練任務(wù)，每個(gè)任務(wù)的訓(xùn)練時(shí)間大概為12小時(shí)。
原來因?yàn)槿司粔蛞粡埧ǎ?白天GPU卡用于創(chuàng)建開發(fā)環(huán)境，晚上才能訓(xùn)練任務(wù)，那么一個(gè)工作日可以完成的任務(wù)數(shù)最多為32個(gè)，即一周可以完成160個(gè)任務(wù)。
而AIStation支持任務(wù)排隊(duì)，可以最大限度的使用GPU資源。一周可以完成368個(gè)任務(wù)數(shù)，效率提升2.3倍。假設(shè)開發(fā)團(tuán)隊(duì)單個(gè)項(xiàng)目平均需要訓(xùn)練的任務(wù)數(shù)為50，那么每個(gè)月的項(xiàng)目完成數(shù)從3個(gè)提升到7個(gè)。
可以看出，浪潮AIStation通過對計(jì)算資源的高效管理、調(diào)度，在GPU使用時(shí)間、利用率和訓(xùn)練任務(wù)數(shù)量上，相比原方案均實(shí)現(xiàn)了大幅提升，最大化地優(yōu)化了資源使用。
浪潮AIStation人工智能資源平臺面向AI企業(yè)開發(fā)場景，致力于幫助企業(yè)構(gòu)建一體化的AI開發(fā)平臺，為AI開發(fā)工程師提供高效的計(jì)算力支撐、精準(zhǔn)的資源管理和調(diào)度、敏捷的數(shù)據(jù)整合及加速、流程化的AI開發(fā)業(yè)務(wù)整合，助力AI企業(yè)提高開發(fā)效率和產(chǎn)品上市速度，增強(qiáng)企業(yè)競爭力。
除了高效的資源管理，AIStation在開發(fā)環(huán)境創(chuàng)建、數(shù)據(jù)管理、開發(fā)流程管理等方面也表現(xiàn)出色。在后續(xù)文章中，我們將結(jié)合實(shí)際應(yīng)用場景為大家詳細(xì)介紹，敬請關(guān)注。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
