近年來,我國人工智能產(chǎn)業(yè)發(fā)展迅猛,圖像識別、語音識別、視頻分析與大數(shù)據(jù)處理等技術創(chuàng)新應用進入世界先進行列,我國人工智能發(fā)明專利授權(quán)總量居全球第一,核心產(chǎn)業(yè)規(guī)模持續(xù)增長,已形成覆蓋技術層和應用層的完整產(chǎn)業(yè)鏈和應用生態(tài),并不斷創(chuàng)造出新市場、新發(fā)展機會。數(shù)據(jù)顯示,截至去年底,全球人工智能產(chǎn)業(yè)規(guī)模達1565億美元,同比增長12.3%;我國產(chǎn)業(yè)規(guī)模為434億美元,同比增長13.75%,超過全球增速。在全球人工智能競爭格局中,中國已躋身第一梯隊。
人工智能的發(fā)展將給交通、金融、工業(yè)、能源、媒體等行業(yè)帶來數(shù)字化升級的新思路和新解法,甚至已經(jīng)開始重塑行業(yè)面貌,進而影響人類社會的未來。人工智能的飛速發(fā)展,離不開產(chǎn)、學、研、用各方的共同努力,尤其離不開學、研界的前瞻研究。
科研先行 夯實產(chǎn)業(yè)發(fā)展學術根基
東南大學自動化學院籌建于1957年,是國內(nèi)最早設立自動化專業(yè)的院系之一,是國家“985工程”和“211工程”建設重點支持單位,曾于2017年入選國家首批“雙一流”建設學科。學院開設有控制理論與控制工程等國家重點學科專業(yè),建有控制科學與工程一級學科博士后流動站和長江學者特聘教授崗位,還設有“復雜工程系統(tǒng)測量與控制”教育部重點實驗室,承擔了一大批國家級和省部級基礎研究和科技攻關項目,在網(wǎng)絡控制、智能控制、集群控制、極地科考等領域已取得具有國際水平的研究成果,SCI、EI論文收錄均列全國前列,在國際和國內(nèi)控制界具有較大影響,有力地夯實了產(chǎn)業(yè)發(fā)展的學術根基。
近年來,隨著AI技術的加速發(fā)展,安防監(jiān)控,無人機,手機終端等大量以圖片視頻為主的數(shù)據(jù)量激增,視頻分析與大數(shù)據(jù)處理是成為人工智能的重點發(fā)展方向。
緊跟產(chǎn)業(yè)發(fā)展趨勢,在公共安全領域,東南大學自動化學院針對網(wǎng)絡監(jiān)控視頻分析、車載監(jiān)控視頻分析、無人機航拍視頻分析等關鍵技術,面向網(wǎng)絡監(jiān)控視頻、車載監(jiān)控視頻、無人機航拍監(jiān)控視頻、多型號飛機試飛視頻等,進行海量視頻智能分析與環(huán)境感知的基礎研究與工程應用工作。
科研高性能大數(shù)據(jù)平臺建設面臨重重挑戰(zhàn)
基于視頻大數(shù)據(jù)分析的基礎研究與工程應用離不開高性能的計算平臺支持,高性能的計算平臺是助推學科快速發(fā)展及產(chǎn)業(yè)結(jié)合的關鍵。此外,上述項目多為與國內(nèi)多家重點單位合作的國家級重點科研項目,數(shù)據(jù)量已超過100TB,且對數(shù)據(jù)保密的剛性要求極高,須使用網(wǎng)絡隔離的專用的獨立計算平臺。
東南大學自動化學院副教授、碩士研究生導師夏思宇教授表示,科研高性能大數(shù)據(jù)平臺不僅要提供滿足科研任務需求的算法支撐,還要提供一整套包括數(shù)據(jù)安全存儲、數(shù)據(jù)分析,數(shù)據(jù)管理的解決方案。
大數(shù)據(jù)分析平臺作為系統(tǒng)建設的核心,承擔著對指定視頻文件進行基于內(nèi)容的快速分析比對,從海量標簽化、內(nèi)容特征化的視頻片段庫中快速分析、搜索、比對、匹配出相似內(nèi)容特征的視頻文件,為大并發(fā)場景提供強大的計算分析能力的任務。以和國網(wǎng)合作進行視頻分析與大數(shù)據(jù)處理項目為例,數(shù)據(jù)通常先由GPU節(jié)點對視頻實現(xiàn)切片、特征提取、標注、入庫工作。同時標注后的視頻數(shù)據(jù)將為AI算法模型的構(gòu)建、學習、迭代提供數(shù)據(jù)集支撐。訓練完成后的模型將部署在GPU節(jié)點,為實時視頻接入時的在線推理、分析處理提供算法支撐;而大數(shù)據(jù)分析節(jié)點作為核心,將對數(shù)據(jù)存儲中的數(shù)據(jù)進行讀取、比對分析、處理、回寫等操作,為大并發(fā)場景提供強大的計算分析能力。該項目因數(shù)據(jù)為分辨率不低于1200萬像素的高清原始視頻及分析后的切片等,要求大數(shù)據(jù)平臺還須提供海量存儲空間及高性能的IO訪問能力。
同樣的需求廣泛存在于智能制造、醫(yī)療、體育運動、健康等行業(yè),需要對數(shù)據(jù)進行全生命周期的管理,夏思宇補充到。
浪潮K1 Power以三高一強特性打造高性能大數(shù)據(jù)平臺
簡而言之,東南大學科研高性能大數(shù)據(jù)平臺首先要具備強大的計算能力和大內(nèi)存容量,以實現(xiàn)毫秒級的快速響應,高主頻、多線程的處理器有利于縮短計算時間,提升并發(fā)處理能力;此外,還須具備TB級或者PB級的海量存儲能力,且須保證較大的IO帶寬;最重要的,該大數(shù)據(jù)平臺還須滿足長時間7*24不間斷穩(wěn)定運行,特別是核心計算設備,需要保證單機的可靠性達到5個9,每年計劃外宕機不超過5分鐘。
通過綜合選型,東南大學最終確定了以浪潮K1 Power服務器打造科研高性能大數(shù)據(jù)平臺。
在該科研高性能大數(shù)據(jù)平臺解決方案中,配置了1臺浪潮K1 Power FP5280G2做為整個集群管理節(jié)點,同時部署國產(chǎn)浪潮InsightHD大數(shù)據(jù)管理平臺;配置了2臺浪潮K1 Power FP5280G2做為業(yè)務管理節(jié)點,并采用Master/Slave主備模式部署Namenode(HDFS元數(shù)據(jù))、HBase Master/Standby、ResourceManager(YARN資源管理)等業(yè)務管理組件。
值得一提的是,該大數(shù)據(jù)平臺解決方案對計算及存儲資源采用了分層、分區(qū)設計,針對在線數(shù)據(jù)分析計算過程對內(nèi)存容量、存儲IO帶寬有較高要求,采用計算存儲融合模式,配置12臺浪潮IPS FP5280G2節(jié)點,既作為計算分析節(jié)點,同時也作為高速HDFS(SSD)存儲節(jié)點,提供23TB可用存儲空間,可對15個左右的鐵塔1天的視頻數(shù)據(jù)進行在線分析。針對大容量數(shù)據(jù)的存儲需求,配置3臺浪潮IPS FP5466G2分布式存儲節(jié)點,構(gòu)建海量存儲空間,為SPARK、MR、HBASE提供不低于192TB存儲空間,可以與在線數(shù)據(jù)間實現(xiàn)分級存儲,同時采用雙口100G網(wǎng)絡,為數(shù)據(jù)訪問提供20GB/s的前端接口,防止數(shù)據(jù)瓶頸。利用HDFS分層策略,保證數(shù)據(jù)主副本在計算存儲融合節(jié)點SSD高速存儲HDFS空間,其他副本在存儲節(jié)點提供大容量HDFS空間,并根據(jù)SSD使用率自動完成數(shù)據(jù)向后端遷移。
在平臺軟件層面則采用浪潮IsightHD大數(shù)據(jù)平臺軟件,包含Hadoop生態(tài)、Spark生態(tài)、全文檢索生態(tài)等主要組件,提供海量數(shù)據(jù)的采集、存儲、計算、分析挖掘、數(shù)據(jù)操作、管理監(jiān)控、和數(shù)據(jù)安全等能力,以滿足用戶高性能大數(shù)據(jù)運算平臺的需求。
經(jīng)投產(chǎn)實踐檢驗,采用浪潮K1 Power架構(gòu)的高性能大數(shù)據(jù)平臺憑借其高性能、高IO帶寬及每核的多線程等優(yōu)勢,保證了海量視頻數(shù)據(jù)的實時存儲與分析,高可靠、高安全特性亦滿足了業(yè)務7*24的不間斷運行;無限拓展的容量滿足了海量視頻庫的PB級存儲需要,并實現(xiàn)了在線數(shù)據(jù)間的存儲分級。此外,還兼容了平臺既有的Linux操作系統(tǒng)、C/C++開發(fā)語言及編譯環(huán)境、不限于HDFS、YARN、SPARK、MR、HBASE等大數(shù)據(jù)生態(tài)組件和基礎環(huán)境,滿足科研需求的同時,培養(yǎng)了大量科研人才,并建立起完整的科研隊伍,促進了學科和產(chǎn)業(yè)界的良性發(fā)展。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
