數(shù)據(jù)爆炸與復(fù)雜模型讓AI計(jì)算迎來(lái)更多創(chuàng)新機(jī)會(huì)

  

blob.png

隨著人工智能首次寫入政府工作報(bào)告并且國(guó)務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,人工智能產(chǎn)業(yè)被視作新的重要經(jīng)濟(jì)增長(zhǎng)點(diǎn),人工智能技術(shù)應(yīng)用成為改善民生的新途徑??梢哉f,以人工智能技術(shù)為代表的第四次工業(yè)革命撲面而來(lái),以前所未有的方式對(duì)人們的生活帶來(lái)巨大改變。

人工智能將重構(gòu)所有行業(yè)

縱觀人工智能近幾年的發(fā)展,可以觀察到一個(gè)顯著趨勢(shì)就是人工智能和各行各業(yè)的連接越來(lái)越密切。從長(zhǎng)期來(lái)看,人工智能擁有令人難以置信的力量,將重構(gòu)幾乎所有行業(yè)。

在搜索引擎業(yè)務(wù)中,無(wú)論是文本、圖片搜索還是語(yǔ)音搜索,我們會(huì)發(fā)現(xiàn)機(jī)器似乎變得越來(lái)越聰明;在醫(yī)療保健行業(yè),人工智能對(duì)醫(yī)學(xué)影像來(lái)說帶來(lái)了很大的改變;在金融行業(yè),人工智能在投資組合設(shè)計(jì)、金融產(chǎn)品營(yíng)銷以及金融安全保障領(lǐng)域都有應(yīng)用;在汽車制造行業(yè),谷歌、Uber、百度等科技公司以及戴姆勒、福特等眾多的汽車廠商正在開發(fā)智能駕駛;在天氣預(yù)報(bào)領(lǐng)域,人工智能的技術(shù)目前在雷達(dá)外推短臨預(yù)報(bào)上已得到應(yīng)用;在石油勘探領(lǐng)域,神經(jīng)網(wǎng)絡(luò)和模糊邏輯相結(jié)合被成功應(yīng)用到了裂隙性油藏的分析,以及選擇最佳的測(cè)井?dāng)?shù)據(jù)對(duì)油藏特征進(jìn)行研究之中。

AI技術(shù)發(fā)展:大數(shù)據(jù)+大模型+大計(jì)算

人工智能在今天得以快速的發(fā)展,跟數(shù)據(jù)、算法、計(jì)算的發(fā)展息息相關(guān)。

目前,全球數(shù)據(jù)量正以平均年增長(zhǎng)率50%的速度增長(zhǎng),預(yù)計(jì)到2020年全球數(shù)據(jù)總量將超過40ZB,而2020年中國(guó)的數(shù)據(jù)總量將占全球數(shù)據(jù)總量比例的20%,成為世界第一數(shù)據(jù)資源大國(guó)和全球數(shù)據(jù)中心。

同時(shí),人工智能深度神經(jīng)網(wǎng)絡(luò)也在快速的發(fā)展,更深更大的算法模型、更復(fù)雜的架構(gòu)正在成為趨勢(shì)。卷積網(wǎng)絡(luò)曾是最大最深的神經(jīng)網(wǎng)絡(luò)架構(gòu)之一,但如今,它被抽象成了大多數(shù)新架構(gòu)中的一小部分。

最后,數(shù)據(jù)的增大、模型的復(fù)雜,將為計(jì)算帶來(lái)更大的挑戰(zhàn)空間,當(dāng)如此龐大的數(shù)據(jù)用于人工智能的訓(xùn)練學(xué)習(xí)時(shí),數(shù)據(jù)量將超出內(nèi)存和處理器的承載上限,如果計(jì)算力不能相應(yīng)增長(zhǎng),整個(gè)學(xué)習(xí)過程將變得無(wú)比漫長(zhǎng),甚至完全無(wú)法實(shí)現(xiàn)最基本的人工智能。

AI計(jì)算迎來(lái)更多創(chuàng)新機(jī)會(huì)

從人工智能的三要素來(lái)看,如何更好的將爆炸式增長(zhǎng)的海量數(shù)據(jù)用于模型訓(xùn)練,已成為人工智能未來(lái)發(fā)展的關(guān)鍵環(huán)節(jié)。數(shù)據(jù)與模型的快速發(fā)展,為計(jì)算帶來(lái)了挑戰(zhàn)的同時(shí),也提供了更多的創(chuàng)新機(jī)會(huì)。

那么在人工智能計(jì)算創(chuàng)新方面,則應(yīng)從強(qiáng)調(diào)構(gòu)建AI系統(tǒng)能力與價(jià)值著眼,在硬件創(chuàng)新、軟件實(shí)現(xiàn)、框架優(yōu)化和應(yīng)用加速4個(gè)維度賦能AI,這四個(gè)維度形成了一個(gè)完整的“4S”組合:硬件創(chuàng)新是“Server”,加上軟件實(shí)現(xiàn)構(gòu)成“System”,再加上框架優(yōu)化就是“Solution”,最后加上應(yīng)用加速即是“Services”,這也是浪潮今年提出的AI端到端解決方案。

復(fù)雜的人工智能應(yīng)用環(huán)境是進(jìn)行人工智能硬件創(chuàng)新開發(fā)時(shí)要考慮的重要因素。人工智能在模型訓(xùn)練時(shí)對(duì)計(jì)算需求大更依賴GPU,而當(dāng)產(chǎn)品服務(wù)上線后,計(jì)算需求減少,吞吐量需求增大,要考慮低延遲的產(chǎn)品。今年,浪潮與百度在AI計(jì)算上聯(lián)合開發(fā)的SR-AI整機(jī)柜服務(wù)器,就是根據(jù)百度的AI模型訓(xùn)練需求開發(fā)的。我們將CPU和GPU分開成兩個(gè)BOX,CPU主要負(fù)責(zé)管理和控制,GPU主要負(fù)責(zé)AI運(yùn)算,通過專用的線纜將2個(gè)部分高速的連起來(lái),隨著模型復(fù)雜度的增加和規(guī)模的增加,計(jì)算量會(huì)增加,如果一個(gè)GPU BOX不夠的話,就可以擴(kuò)展多個(gè)GPU BOX。目前,我們開發(fā)的這款SR-AI整機(jī)柜服務(wù)器可以實(shí)現(xiàn)單節(jié)點(diǎn)16卡、單物理集群64卡的超高密度擴(kuò)展能力,已經(jīng)應(yīng)用在百度無(wú)人車之中,具備千億樣本、萬(wàn)億參數(shù)級(jí)別的AI計(jì)算能力。同時(shí),在前端推理方面,浪潮、科大訊飛和Altera公司共同發(fā)起了一項(xiàng)基于FPGA在智能語(yǔ)音識(shí)別領(lǐng)域的合作,三方完成了基于OpenCL的FPGA線上深度學(xué)習(xí)語(yǔ)音識(shí)別加速方案。

在AI系統(tǒng)管理方面,深度學(xué)習(xí)的模型訓(xùn)練往往流程較長(zhǎng)、開發(fā)環(huán)境較復(fù)雜,涉及數(shù)據(jù)準(zhǔn)備和處理、特征工程、建模、調(diào)參等多個(gè)步驟及多個(gè)框架和模型,每個(gè)框架依賴環(huán)境不同且有可能交叉使用。更大的“痛點(diǎn)”在于,深度學(xué)習(xí)模型在訓(xùn)練時(shí)往往耗時(shí)較長(zhǎng),短則數(shù)小時(shí)長(zhǎng)則數(shù)天,以往在訓(xùn)練完成后才意識(shí)到模型存在問題,大大耗費(fèi)了用戶的精力和時(shí)間。浪潮根據(jù)此需求設(shè)計(jì)開發(fā)的AIStation管理軟件可以提供從數(shù)據(jù)準(zhǔn)備到分析訓(xùn)練結(jié)果的完整深度學(xué)習(xí)業(yè)務(wù)流程,支持Caffe、TensorFlow、CNTK等多種計(jì)算框架和GoogleNet、VGG、ResNet等多種模型,有效的提高計(jì)算資源的利用率和生產(chǎn)率,為深度學(xué)習(xí)用戶提供高效易用的平臺(tái)。

深度學(xué)習(xí)框架可以幫助用戶更好更快的開發(fā)深度學(xué)習(xí)模型,浪潮主導(dǎo)開發(fā)的全球首個(gè)集群并行版的Caffe深度學(xué)習(xí)計(jì)算框架Caffe-MPI,目前已在Github上開源公布所有代碼。在基于國(guó)際通行的Imagenet數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)模型訓(xùn)練時(shí),Caffe-MPI表現(xiàn)出良好的并行擴(kuò)展,其性能是Google最新深度學(xué)習(xí)框架TensorFlow的近兩倍。

AI應(yīng)用優(yōu)化是浪潮極為重視的一項(xiàng)核心能力。浪潮與奇虎360合作開展了針對(duì)圖片搜索技術(shù)的GPU架構(gòu)移植,基于K-means無(wú)監(jiān)督聚類算法串行版本,完成GPUMPI集群版本的實(shí)現(xiàn),節(jié)點(diǎn)內(nèi)使用CPU+GPU協(xié)同計(jì)算,大幅降低了計(jì)算時(shí)間。

人工智能是當(dāng)前人類所面對(duì)的最為重要的技術(shù)社會(huì)變革,可以全面提升一個(gè)國(guó)家的實(shí)力,全球許多國(guó)家都對(duì)AI充滿了憧憬與渴望。中國(guó)作為快速成長(zhǎng)的數(shù)據(jù)資源大國(guó),并且連續(xù)多年成為全球服務(wù)器增長(zhǎng)最快的市場(chǎng),在發(fā)展人工智能上具備得天獨(dú)厚的數(shù)據(jù)優(yōu)勢(shì)與計(jì)算優(yōu)勢(shì),這將讓中國(guó)有能力成為人工智能的技術(shù)強(qiáng)國(guó)、應(yīng)用大國(guó)。

作者胡雷鈞為浪潮集團(tuán)副總裁

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2017-10-03
數(shù)據(jù)爆炸與復(fù)雜模型讓AI計(jì)算迎來(lái)更多創(chuàng)新機(jī)會(huì)
  隨著人工智能首次寫入政府工作報(bào)告并且國(guó)務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,人工智能產(chǎn)業(yè)被視作新的重要經(jīng)濟(jì)增長(zhǎng)點(diǎn),人工智能技術(shù)應(yīng)用成為改善民生的新途徑。

長(zhǎng)按掃碼 閱讀全文