數(shù)據(jù)爆炸與復雜模型讓AI計算迎來更多創(chuàng)新機會

  

blob.png

隨著人工智能首次寫入政府工作報告并且國務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,人工智能產(chǎn)業(yè)被視作新的重要經(jīng)濟增長點,人工智能技術(shù)應(yīng)用成為改善民生的新途徑??梢哉f,以人工智能技術(shù)為代表的第四次工業(yè)革命撲面而來,以前所未有的方式對人們的生活帶來巨大改變。

人工智能將重構(gòu)所有行業(yè)

縱觀人工智能近幾年的發(fā)展,可以觀察到一個顯著趨勢就是人工智能和各行各業(yè)的連接越來越密切。從長期來看,人工智能擁有令人難以置信的力量,將重構(gòu)幾乎所有行業(yè)。

在搜索引擎業(yè)務(wù)中,無論是文本、圖片搜索還是語音搜索,我們會發(fā)現(xiàn)機器似乎變得越來越聰明;在醫(yī)療保健行業(yè),人工智能對醫(yī)學影像來說帶來了很大的改變;在金融行業(yè),人工智能在投資組合設(shè)計、金融產(chǎn)品營銷以及金融安全保障領(lǐng)域都有應(yīng)用;在汽車制造行業(yè),谷歌、Uber、百度等科技公司以及戴姆勒、福特等眾多的汽車廠商正在開發(fā)智能駕駛;在天氣預(yù)報領(lǐng)域,人工智能的技術(shù)目前在雷達外推短臨預(yù)報上已得到應(yīng)用;在石油勘探領(lǐng)域,神經(jīng)網(wǎng)絡(luò)和模糊邏輯相結(jié)合被成功應(yīng)用到了裂隙性油藏的分析,以及選擇最佳的測井數(shù)據(jù)對油藏特征進行研究之中。

AI技術(shù)發(fā)展:大數(shù)據(jù)+大模型+大計算

人工智能在今天得以快速的發(fā)展,跟數(shù)據(jù)、算法、計算的發(fā)展息息相關(guān)。

目前,全球數(shù)據(jù)量正以平均年增長率50%的速度增長,預(yù)計到2020年全球數(shù)據(jù)總量將超過40ZB,而2020年中國的數(shù)據(jù)總量將占全球數(shù)據(jù)總量比例的20%,成為世界第一數(shù)據(jù)資源大國和全球數(shù)據(jù)中心。

同時,人工智能深度神經(jīng)網(wǎng)絡(luò)也在快速的發(fā)展,更深更大的算法模型、更復雜的架構(gòu)正在成為趨勢。卷積網(wǎng)絡(luò)曾是最大最深的神經(jīng)網(wǎng)絡(luò)架構(gòu)之一,但如今,它被抽象成了大多數(shù)新架構(gòu)中的一小部分。

最后,數(shù)據(jù)的增大、模型的復雜,將為計算帶來更大的挑戰(zhàn)空間,當如此龐大的數(shù)據(jù)用于人工智能的訓練學習時,數(shù)據(jù)量將超出內(nèi)存和處理器的承載上限,如果計算力不能相應(yīng)增長,整個學習過程將變得無比漫長,甚至完全無法實現(xiàn)最基本的人工智能。

AI計算迎來更多創(chuàng)新機會

從人工智能的三要素來看,如何更好的將爆炸式增長的海量數(shù)據(jù)用于模型訓練,已成為人工智能未來發(fā)展的關(guān)鍵環(huán)節(jié)。數(shù)據(jù)與模型的快速發(fā)展,為計算帶來了挑戰(zhàn)的同時,也提供了更多的創(chuàng)新機會。

那么在人工智能計算創(chuàng)新方面,則應(yīng)從強調(diào)構(gòu)建AI系統(tǒng)能力與價值著眼,在硬件創(chuàng)新、軟件實現(xiàn)、框架優(yōu)化和應(yīng)用加速4個維度賦能AI,這四個維度形成了一個完整的“4S”組合:硬件創(chuàng)新是“Server”,加上軟件實現(xiàn)構(gòu)成“System”,再加上框架優(yōu)化就是“Solution”,最后加上應(yīng)用加速即是“Services”,這也是浪潮今年提出的AI端到端解決方案。

復雜的人工智能應(yīng)用環(huán)境是進行人工智能硬件創(chuàng)新開發(fā)時要考慮的重要因素。人工智能在模型訓練時對計算需求大更依賴GPU,而當產(chǎn)品服務(wù)上線后,計算需求減少,吞吐量需求增大,要考慮低延遲的產(chǎn)品。今年,浪潮與百度在AI計算上聯(lián)合開發(fā)的SR-AI整機柜服務(wù)器,就是根據(jù)百度的AI模型訓練需求開發(fā)的。我們將CPU和GPU分開成兩個BOX,CPU主要負責管理和控制,GPU主要負責AI運算,通過專用的線纜將2個部分高速的連起來,隨著模型復雜度的增加和規(guī)模的增加,計算量會增加,如果一個GPU BOX不夠的話,就可以擴展多個GPU BOX。目前,我們開發(fā)的這款SR-AI整機柜服務(wù)器可以實現(xiàn)單節(jié)點16卡、單物理集群64卡的超高密度擴展能力,已經(jīng)應(yīng)用在百度無人車之中,具備千億樣本、萬億參數(shù)級別的AI計算能力。同時,在前端推理方面,浪潮、科大訊飛和Altera公司共同發(fā)起了一項基于FPGA在智能語音識別領(lǐng)域的合作,三方完成了基于OpenCL的FPGA線上深度學習語音識別加速方案。

在AI系統(tǒng)管理方面,深度學習的模型訓練往往流程較長、開發(fā)環(huán)境較復雜,涉及數(shù)據(jù)準備和處理、特征工程、建模、調(diào)參等多個步驟及多個框架和模型,每個框架依賴環(huán)境不同且有可能交叉使用。更大的“痛點”在于,深度學習模型在訓練時往往耗時較長,短則數(shù)小時長則數(shù)天,以往在訓練完成后才意識到模型存在問題,大大耗費了用戶的精力和時間。浪潮根據(jù)此需求設(shè)計開發(fā)的AIStation管理軟件可以提供從數(shù)據(jù)準備到分析訓練結(jié)果的完整深度學習業(yè)務(wù)流程,支持Caffe、TensorFlow、CNTK等多種計算框架和GoogleNet、VGG、ResNet等多種模型,有效的提高計算資源的利用率和生產(chǎn)率,為深度學習用戶提供高效易用的平臺。

深度學習框架可以幫助用戶更好更快的開發(fā)深度學習模型,浪潮主導開發(fā)的全球首個集群并行版的Caffe深度學習計算框架Caffe-MPI,目前已在Github上開源公布所有代碼。在基于國際通行的Imagenet數(shù)據(jù)集進行深度學習模型訓練時,Caffe-MPI表現(xiàn)出良好的并行擴展,其性能是Google最新深度學習框架TensorFlow的近兩倍。

AI應(yīng)用優(yōu)化是浪潮極為重視的一項核心能力。浪潮與奇虎360合作開展了針對圖片搜索技術(shù)的GPU架構(gòu)移植,基于K-means無監(jiān)督聚類算法串行版本,完成GPUMPI集群版本的實現(xiàn),節(jié)點內(nèi)使用CPU+GPU協(xié)同計算,大幅降低了計算時間。

人工智能是當前人類所面對的最為重要的技術(shù)社會變革,可以全面提升一個國家的實力,全球許多國家都對AI充滿了憧憬與渴望。中國作為快速成長的數(shù)據(jù)資源大國,并且連續(xù)多年成為全球服務(wù)器增長最快的市場,在發(fā)展人工智能上具備得天獨厚的數(shù)據(jù)優(yōu)勢與計算優(yōu)勢,這將讓中國有能力成為人工智能的技術(shù)強國、應(yīng)用大國。

作者胡雷鈞為浪潮集團副總裁

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2017-10-03
數(shù)據(jù)爆炸與復雜模型讓AI計算迎來更多創(chuàng)新機會
  隨著人工智能首次寫入政府工作報告并且國務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,人工智能產(chǎn)業(yè)被視作新的重要經(jīng)濟增長點,人工智能技術(shù)應(yīng)用成為改善民生的新途徑。

長按掃碼 閱讀全文