近年來,我國(guó)人工智能產(chǎn)業(yè)發(fā)展迅猛,圖像識(shí)別、語音識(shí)別、視頻分析與大數(shù)據(jù)處理等技術(shù)創(chuàng)新應(yīng)用進(jìn)入世界先進(jìn)行列,我國(guó)人工智能發(fā)明專利授權(quán)總量居全球第一,核心產(chǎn)業(yè)規(guī)模持續(xù)增長(zhǎng),已形成覆蓋技術(shù)層和應(yīng)用層的完整產(chǎn)業(yè)鏈和應(yīng)用生態(tài),并不斷創(chuàng)造出新市場(chǎng)、新發(fā)展機(jī)會(huì)。數(shù)據(jù)顯示,截至去年底,全球人工智能產(chǎn)業(yè)規(guī)模達(dá)1565億美元,同比增長(zhǎng)12.3%;我國(guó)產(chǎn)業(yè)規(guī)模為434億美元,同比增長(zhǎng)13.75%,超過全球增速。在全球人工智能競(jìng)爭(zhēng)格局中,中國(guó)已躋身第一梯隊(duì)。
人工智能的發(fā)展將給交通、金融、工業(yè)、能源、媒體等行業(yè)帶來數(shù)字化升級(jí)的新思路和新解法,甚至已經(jīng)開始重塑行業(yè)面貌,進(jìn)而影響人類社會(huì)的未來。人工智能的飛速發(fā)展,離不開產(chǎn)、學(xué)、研、用各方的共同努力,尤其離不開學(xué)、研界的前瞻研究。
科研先行 夯實(shí)產(chǎn)業(yè)發(fā)展學(xué)術(shù)根基
東南大學(xué)自動(dòng)化學(xué)院籌建于1957年,是國(guó)內(nèi)最早設(shè)立自動(dòng)化專業(yè)的院系之一,是國(guó)家“985工程”和“211工程”建設(shè)重點(diǎn)支持單位,曾于2017年入選國(guó)家首批“雙一流”建設(shè)學(xué)科。學(xué)院開設(shè)有控制理論與控制工程等國(guó)家重點(diǎn)學(xué)科專業(yè),建有控制科學(xué)與工程一級(jí)學(xué)科博士后流動(dòng)站和長(zhǎng)江學(xué)者特聘教授崗位,還設(shè)有“復(fù)雜工程系統(tǒng)測(cè)量與控制”教育部重點(diǎn)實(shí)驗(yàn)室,承擔(dān)了一大批國(guó)家級(jí)和省部級(jí)基礎(chǔ)研究和科技攻關(guān)項(xiàng)目,在網(wǎng)絡(luò)控制、智能控制、集群控制、極地科考等領(lǐng)域已取得具有國(guó)際水平的研究成果,SCI、EI論文收錄均列全國(guó)前列,在國(guó)際和國(guó)內(nèi)控制界具有較大影響,有力地夯實(shí)了產(chǎn)業(yè)發(fā)展的學(xué)術(shù)根基。
近年來,隨著AI技術(shù)的加速發(fā)展,安防監(jiān)控,無人機(jī),手機(jī)終端等大量以圖片視頻為主的數(shù)據(jù)量激增,視頻分析與大數(shù)據(jù)處理是成為人工智能的重點(diǎn)發(fā)展方向。
緊跟產(chǎn)業(yè)發(fā)展趨勢(shì),在公共安全領(lǐng)域,東南大學(xué)自動(dòng)化學(xué)院針對(duì)網(wǎng)絡(luò)監(jiān)控視頻分析、車載監(jiān)控視頻分析、無人機(jī)航拍視頻分析等關(guān)鍵技術(shù),面向網(wǎng)絡(luò)監(jiān)控視頻、車載監(jiān)控視頻、無人機(jī)航拍監(jiān)控視頻、多型號(hào)飛機(jī)試飛視頻等,進(jìn)行海量視頻智能分析與環(huán)境感知的基礎(chǔ)研究與工程應(yīng)用工作。
科研高性能大數(shù)據(jù)平臺(tái)建設(shè)面臨重重挑戰(zhàn)
基于視頻大數(shù)據(jù)分析的基礎(chǔ)研究與工程應(yīng)用離不開高性能的計(jì)算平臺(tái)支持,高性能的計(jì)算平臺(tái)是助推學(xué)科快速發(fā)展及產(chǎn)業(yè)結(jié)合的關(guān)鍵。此外,上述項(xiàng)目多為與國(guó)內(nèi)多家重點(diǎn)單位合作的國(guó)家級(jí)重點(diǎn)科研項(xiàng)目,數(shù)據(jù)量已超過100TB,且對(duì)數(shù)據(jù)保密的剛性要求極高,須使用網(wǎng)絡(luò)隔離的專用的獨(dú)立計(jì)算平臺(tái)。
東南大學(xué)自動(dòng)化學(xué)院副教授、碩士研究生導(dǎo)師夏思宇教授表示,科研高性能大數(shù)據(jù)平臺(tái)不僅要提供滿足科研任務(wù)需求的算法支撐,還要提供一整套包括數(shù)據(jù)安全存儲(chǔ)、數(shù)據(jù)分析,數(shù)據(jù)管理的解決方案。
大數(shù)據(jù)分析平臺(tái)作為系統(tǒng)建設(shè)的核心,承擔(dān)著對(duì)指定視頻文件進(jìn)行基于內(nèi)容的快速分析比對(duì),從海量標(biāo)簽化、內(nèi)容特征化的視頻片段庫中快速分析、搜索、比對(duì)、匹配出相似內(nèi)容特征的視頻文件,為大并發(fā)場(chǎng)景提供強(qiáng)大的計(jì)算分析能力的任務(wù)。以和國(guó)網(wǎng)合作進(jìn)行視頻分析與大數(shù)據(jù)處理項(xiàng)目為例,數(shù)據(jù)通常先由GPU節(jié)點(diǎn)對(duì)視頻實(shí)現(xiàn)切片、特征提取、標(biāo)注、入庫工作。同時(shí)標(biāo)注后的視頻數(shù)據(jù)將為AI算法模型的構(gòu)建、學(xué)習(xí)、迭代提供數(shù)據(jù)集支撐。訓(xùn)練完成后的模型將部署在GPU節(jié)點(diǎn),為實(shí)時(shí)視頻接入時(shí)的在線推理、分析處理提供算法支撐;而大數(shù)據(jù)分析節(jié)點(diǎn)作為核心,將對(duì)數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)進(jìn)行讀取、比對(duì)分析、處理、回寫等操作,為大并發(fā)場(chǎng)景提供強(qiáng)大的計(jì)算分析能力。該項(xiàng)目因數(shù)據(jù)為分辨率不低于1200萬像素的高清原始視頻及分析后的切片等,要求大數(shù)據(jù)平臺(tái)還須提供海量存儲(chǔ)空間及高性能的IO訪問能力。
同樣的需求廣泛存在于智能制造、醫(yī)療、體育運(yùn)動(dòng)、健康等行業(yè),需要對(duì)數(shù)據(jù)進(jìn)行全生命周期的管理,夏思宇補(bǔ)充到。
浪潮K1 Power以三高一強(qiáng)特性打造高性能大數(shù)據(jù)平臺(tái)
簡(jiǎn)而言之,東南大學(xué)科研高性能大數(shù)據(jù)平臺(tái)首先要具備強(qiáng)大的計(jì)算能力和大內(nèi)存容量,以實(shí)現(xiàn)毫秒級(jí)的快速響應(yīng),高主頻、多線程的處理器有利于縮短計(jì)算時(shí)間,提升并發(fā)處理能力;此外,還須具備TB級(jí)或者PB級(jí)的海量存儲(chǔ)能力,且須保證較大的IO帶寬;最重要的,該大數(shù)據(jù)平臺(tái)還須滿足長(zhǎng)時(shí)間7*24不間斷穩(wěn)定運(yùn)行,特別是核心計(jì)算設(shè)備,需要保證單機(jī)的可靠性達(dá)到5個(gè)9,每年計(jì)劃外宕機(jī)不超過5分鐘。
通過綜合選型,東南大學(xué)最終確定了以浪潮K1 Power服務(wù)器打造科研高性能大數(shù)據(jù)平臺(tái)。
在該科研高性能大數(shù)據(jù)平臺(tái)解決方案中,配置了1臺(tái)浪潮K1 Power FP5280G2做為整個(gè)集群管理節(jié)點(diǎn),同時(shí)部署國(guó)產(chǎn)浪潮InsightHD大數(shù)據(jù)管理平臺(tái);配置了2臺(tái)浪潮K1 Power FP5280G2做為業(yè)務(wù)管理節(jié)點(diǎn),并采用Master/Slave主備模式部署Namenode(HDFS元數(shù)據(jù))、HBase Master/Standby、ResourceManager(YARN資源管理)等業(yè)務(wù)管理組件。
值得一提的是,該大數(shù)據(jù)平臺(tái)解決方案對(duì)計(jì)算及存儲(chǔ)資源采用了分層、分區(qū)設(shè)計(jì),針對(duì)在線數(shù)據(jù)分析計(jì)算過程對(duì)內(nèi)存容量、存儲(chǔ)IO帶寬有較高要求,采用計(jì)算存儲(chǔ)融合模式,配置12臺(tái)浪潮IPS FP5280G2節(jié)點(diǎn),既作為計(jì)算分析節(jié)點(diǎn),同時(shí)也作為高速HDFS(SSD)存儲(chǔ)節(jié)點(diǎn),提供23TB可用存儲(chǔ)空間,可對(duì)15個(gè)左右的鐵塔1天的視頻數(shù)據(jù)進(jìn)行在線分析。針對(duì)大容量數(shù)據(jù)的存儲(chǔ)需求,配置3臺(tái)浪潮IPS FP5466G2分布式存儲(chǔ)節(jié)點(diǎn),構(gòu)建海量存儲(chǔ)空間,為SPARK、MR、HBASE提供不低于192TB存儲(chǔ)空間,可以與在線數(shù)據(jù)間實(shí)現(xiàn)分級(jí)存儲(chǔ),同時(shí)采用雙口100G網(wǎng)絡(luò),為數(shù)據(jù)訪問提供20GB/s的前端接口,防止數(shù)據(jù)瓶頸。利用HDFS分層策略,保證數(shù)據(jù)主副本在計(jì)算存儲(chǔ)融合節(jié)點(diǎn)SSD高速存儲(chǔ)HDFS空間,其他副本在存儲(chǔ)節(jié)點(diǎn)提供大容量HDFS空間,并根據(jù)SSD使用率自動(dòng)完成數(shù)據(jù)向后端遷移。
在平臺(tái)軟件層面則采用浪潮IsightHD大數(shù)據(jù)平臺(tái)軟件,包含Hadoop生態(tài)、Spark生態(tài)、全文檢索生態(tài)等主要組件,提供海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、分析挖掘、數(shù)據(jù)操作、管理監(jiān)控、和數(shù)據(jù)安全等能力,以滿足用戶高性能大數(shù)據(jù)運(yùn)算平臺(tái)的需求。
經(jīng)投產(chǎn)實(shí)踐檢驗(yàn),采用浪潮K1 Power架構(gòu)的高性能大數(shù)據(jù)平臺(tái)憑借其高性能、高IO帶寬及每核的多線程等優(yōu)勢(shì),保證了海量視頻數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與分析,高可靠、高安全特性亦滿足了業(yè)務(wù)7*24的不間斷運(yùn)行;無限拓展的容量滿足了海量視頻庫的PB級(jí)存儲(chǔ)需要,并實(shí)現(xiàn)了在線數(shù)據(jù)間的存儲(chǔ)分級(jí)。此外,還兼容了平臺(tái)既有的Linux操作系統(tǒng)、C/C++開發(fā)語言及編譯環(huán)境、不限于HDFS、YARN、SPARK、MR、HBASE等大數(shù)據(jù)生態(tài)組件和基礎(chǔ)環(huán)境,滿足科研需求的同時(shí),培養(yǎng)了大量科研人才,并建立起完整的科研隊(duì)伍,促進(jìn)了學(xué)科和產(chǎn)業(yè)界的良性發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
