世界人工智能大會建立醫(yī)療AI標(biāo)準(zhǔn)數(shù)據(jù)集,AI發(fā)展仍需解決數(shù)據(jù)問題

7月9日,為期三天的2020世界人工智能大會在上海世博中心開幕。此屆世界人工智能大會以“智聯(lián)世界、共同家園”為主題,聚焦“AI技術(shù)趨勢”、“AI賦能經(jīng)濟(jì)”以及“AI溫暖家園”三大議題。

作為全新的產(chǎn)業(yè)變革核心驅(qū)動力,人工智能正重構(gòu)生產(chǎn)、分配、交換、消費等一系列經(jīng)濟(jì)活動各環(huán)節(jié),形成從宏觀到微觀各領(lǐng)域的智能化新需求,催生新技術(shù)、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式,尤其是在醫(yī)療領(lǐng)域,AI正重構(gòu)大健康。

相比與過去的兩屆WAIC,今年的大會更為包羅萬象,寧光、孫春蘭、張文宏、吳凡,諸多行走在新冠疫情抗疫一線的領(lǐng)袖人物也齊聚于此,大會的話題變得更為多元。

大會之后,動脈網(wǎng)對整個WAIC 2020大會中對醫(yī)療的影響進(jìn)行了全面的梳理,同時采訪了部分參與本次大會的企業(yè)與機(jī)構(gòu),希望從眾多信息之中找到醫(yī)療AI發(fā)展的方向。

全國首個數(shù)據(jù)眼科庫發(fā)布,人工測評公共服務(wù)平臺建立

2019年4月,國務(wù)院發(fā)布的《新一代人工智能的發(fā)展規(guī)劃》提出了大數(shù)據(jù)時代,群體智能、跨媒體智能、人機(jī)混合增強(qiáng)智能、自主智能系統(tǒng)五個新的方向,無疑為中國人工智能技術(shù)的發(fā)展打下了一個堅實的基礎(chǔ)。而隨著技術(shù)的推進(jìn),人工智能正不斷拓寬其可應(yīng)用的范圍,醫(yī)療領(lǐng)域便是其中之一。

在眾多細(xì)分領(lǐng)域之中,“AI+醫(yī)療影像”因最貼近于醫(yī)生的日常工作而收獲了最多的關(guān)注,同時也受到最為嚴(yán)格的監(jiān)管。但無論如今已經(jīng)頗具規(guī)模的醫(yī)療影像、建設(shè)之中的智慧醫(yī)院,還是探索之中的新藥研發(fā),所有與AI相關(guān)的領(lǐng)域,都逃不開數(shù)據(jù)的標(biāo)準(zhǔn)問題。

為了解決數(shù)據(jù)的標(biāo)準(zhǔn)化問題,保障人工智能應(yīng)用的系統(tǒng)安全性、兼容性、可靠性等能力,國家藥監(jiān)局器審中心、信通院等機(jī)構(gòu)深入?yún)⑴c標(biāo)注制定、產(chǎn)品審評之中,嘗試規(guī)范醫(yī)療人工智能的發(fā)展。

在過去的兩年之中,藥監(jiān)局陸續(xù)制定了《深度學(xué)習(xí)輔助決策軟件審評要點》、《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件》、《醫(yī)療器械軟件注冊技術(shù)審查指導(dǎo)原則》、《醫(yī)療器械網(wǎng)絡(luò)安全注冊技術(shù)審查指導(dǎo)原則》等技術(shù)規(guī)范制定評測方案,同時成立了人工智能醫(yī)療器械創(chuàng)新合作平臺。從2020年1月起,已經(jīng)陸續(xù)有多款A(yù)I軟件通過上述方案獲得了器械三類證。

國家信通院也在積極推進(jìn)人工智能數(shù)據(jù)標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)數(shù)據(jù)庫建設(shè)等項目發(fā)展,在本次WAIC上, 中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟常務(wù)副秘書長王愛華依次介紹了創(chuàng)新平臺近期的三個成果。

第一個成果為糖尿病視網(wǎng)膜病變AI數(shù)據(jù)庫的建立,該成果來源于協(xié)和醫(yī)院負(fù)責(zé)的真實世界數(shù)據(jù)應(yīng)用工作組?;鶞?zhǔn)數(shù)據(jù)集及算法評估測試平臺的重要意義不可忽視,它將是推動人工智能模型在醫(yī)療健康領(lǐng)域應(yīng)用有效性、可靠性、魯棒性、安全性的基礎(chǔ)保障,也是推進(jìn)人工智能醫(yī)療行業(yè)可持續(xù)發(fā)展的重要依托。

第二個成果是協(xié)和醫(yī)院進(jìn)行了相關(guān)數(shù)據(jù)規(guī)范、第三方數(shù)據(jù)庫規(guī)范等形成的糖尿病視網(wǎng)膜病變第三方資質(zhì)的認(rèn)證。同時,信通院搭建了醫(yī)療人工測評公共服務(wù)平臺,出臺了兩項人工智能產(chǎn)品的技能指標(biāo)及測試方法。

第三個成果則是建立醫(yī)療人工測評公共服務(wù)平臺,為了向大眾提供一個權(quán)威、安全、可追溯的平臺,收集不同醫(yī)院、不同醫(yī)療機(jī)構(gòu)的不同病種數(shù)據(jù),進(jìn)而驗證不同的人工智能相應(yīng)產(chǎn)品。當(dāng)然,平臺的搭建方還需針對不同產(chǎn)品和系統(tǒng)制作相應(yīng)的測試方法,并生成報告。

傳統(tǒng)的醫(yī)療器械在上市前必須通過一系列的檢測測評,同時還要經(jīng)歷長達(dá)6個月的臨床試驗,這一產(chǎn)品才有可能獲批上市。王愛華表示:“對于更新、迭代速度較慢的傳統(tǒng)醫(yī)療器械而言,這套程序的合理性已經(jīng)經(jīng)過多年驗證,但對于人工智能這樣更新快、迭代快的新興技術(shù)而言,則會存在較大的問題。如果按照傳統(tǒng)器械的程序,每次更新都進(jìn)行相應(yīng)臨床試驗的話,沒有產(chǎn)品能夠在審批上跑通。有了這個平臺之后,我們便能幫助企業(yè)快速進(jìn)行臨床數(shù)據(jù)補(bǔ)充,產(chǎn)品迭代時的臨床試驗?zāi)軌蚝芸焱瓿伞_@便是這一平臺的最大不同點。”

作為第三方平臺,安全性是其正常運行最為重要的前提。王愛華認(rèn)為,第三方平臺的安全性包含兩個方面,其一源于第三方的數(shù)據(jù)的知識產(chǎn)權(quán)問題,因此在構(gòu)建平臺時,信通院會建立虛擬專用通道對數(shù)據(jù)和產(chǎn)品進(jìn)行加密,嚴(yán)格遵守“只進(jìn)不出”、“無人工干預(yù)”和“測后即焚”三大原則。這樣第三方數(shù)據(jù)以及相關(guān)測試產(chǎn)品的安全性才足以得到保障。其二則是測試的可追溯性,以便于對出現(xiàn)問題的測試進(jìn)行清查與修正。

肺炎AI影像輔診大考,成績單首次公布

標(biāo)準(zhǔn)制定之外,在工信部科技司的指導(dǎo)下,中國信通院、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟、醫(yī)學(xué)人工智能研究與驗證工信部重點實驗室聯(lián)合舉行的“肺炎AI影像輔助診斷產(chǎn)品評測”結(jié)果公布。通過現(xiàn)場測試和材料審查兩種方式對參評產(chǎn)品的各項指標(biāo)進(jìn)行綜合評價,嚴(yán)格參考國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和國家藥監(jiān)局相關(guān)技術(shù)審評原則。同時,專門組建評測專家委員會,建立權(quán)威評測標(biāo)準(zhǔn)。

最終,上海依圖醫(yī)療技術(shù)有限公司、上海深睿博聯(lián)醫(yī)療科技有限公司、北京安德醫(yī)智科技有限公司、杭州健培科技有限公司、平安科技深圳有限公司、上海皓樺科技股份有限公司、上海聯(lián)影智能醫(yī)療科技有限公司7家醫(yī)療AI企業(yè)的肺炎AI影像輔助診斷產(chǎn)品從參評的17家醫(yī)療AI公司中脫穎而出。

這次評測,可謂是打破了之前醫(yī)療AI行業(yè)自說自話、各自為戰(zhàn)的局面,這不僅是首次由官方舉辦的醫(yī)療AI影像輔助診斷產(chǎn)品的同臺競技,更是特殊歷史時刻的“人工智能抗疫產(chǎn)品”測評,意義非同小可。

為了保證此次測評的權(quán)威性,此次評測分為功能審查、性能評測、專家評審三部分,其中,功能審查主要評測肺炎AI產(chǎn)品的功能完備性、系統(tǒng)安全性、可靠性、易用性和兼容性;性能測評主要采用已標(biāo)注測試數(shù)據(jù)進(jìn)行客觀測試,對肺炎AI產(chǎn)品臨床診斷性能進(jìn)行指標(biāo)評價(準(zhǔn)確率、靈敏度、特異度和Kappa系數(shù));專家評審則是邀請國內(nèi)權(quán)威臨床專家從產(chǎn)品體驗性、實用性、產(chǎn)品創(chuàng)新性,以及合理性對產(chǎn)品進(jìn)行評價,同時綜合考慮創(chuàng)新性的特殊功能評價。

據(jù)中國信通院相關(guān)人士介紹,測試數(shù)據(jù)是此次測評的另一大亮點。具體而言,此次測評使用了1000例肺炎(包括新冠肺炎和其它各種肺炎),參評的各家醫(yī)療AI企業(yè)用各自的模型(產(chǎn)品)測試。首先,數(shù)據(jù)全部來源于上海市公衛(wèi)臨床中心等7家新冠肺炎定點醫(yī)療機(jī)構(gòu),在采集過程中充分考慮了采集設(shè)備和配置、數(shù)據(jù)多樣化和病例分布三個維度指標(biāo)。

同時,考慮到魯棒性和抗干擾因素,加入了在實際臨床中經(jīng)常出現(xiàn)的70例非標(biāo)準(zhǔn)影像數(shù)據(jù)。此外,在數(shù)據(jù)標(biāo)注規(guī)范方面,由組織方制定數(shù)據(jù)標(biāo)注起草流程,各數(shù)據(jù)提供醫(yī)院組織標(biāo)注,匯總后由專委會統(tǒng)一確認(rèn),這就有效地避免了因標(biāo)注不統(tǒng)一而可能產(chǎn)生的不合理性。

“性能測試部分是拉開差距的主要原因”,中國信通院相關(guān)負(fù)責(zé)人介紹,性能測試包含“是否肺炎”、“是否新冠”、“病灶位置”。根據(jù)測評結(jié)果顯示,大部分企業(yè)產(chǎn)品都能較好地篩查出“是否肺炎”,但在“新冠肺炎鑒別診斷”方面,僅有3家的準(zhǔn)確率、靈敏度、特異性在80%以上,其中部分指標(biāo)在90%以上。

6月19日,工業(yè)和信息化部科技司就公布了在科技支撐抗擊新冠肺炎疫情中表現(xiàn)突出的人工智能企業(yè)名單。以在名單中的安德醫(yī)智為例,根據(jù)疫情期間《人民日報》公開報道情況,“這套新冠AI定性診斷系統(tǒng)不僅能夠?qū)崿F(xiàn)‘肺炎診斷’,還能實現(xiàn)新冠肺炎與其他肺炎(病毒性肺炎、細(xì)菌性肺炎等)的進(jìn)一步鑒別診斷。”、“在實現(xiàn)肺炎檢出敏感性接近100%的基礎(chǔ)上,新冠肺炎的鑒別診斷準(zhǔn)確率(與核酸檢測陽性結(jié)果符合率)也能夠達(dá)到97.8%以上?!?/p>

根據(jù)中國信通院的總體評價,此次測評中脫穎而出的國內(nèi)醫(yī)療AI企業(yè)的肺炎AI產(chǎn)品已達(dá)到較高水平,產(chǎn)品功能已相對成熟和完善,小部分產(chǎn)品實現(xiàn)了針對新冠肺炎的識別。但是,需要注意的是,只有個別產(chǎn)品能夠識別的超過十種肺炎種類,對于病灶的定位精確度尚待進(jìn)一步提升,性能功能需要通過更多標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。

123下一頁>

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2020-07-13
世界人工智能大會建立醫(yī)療AI標(biāo)準(zhǔn)數(shù)據(jù)集,AI發(fā)展仍需解決數(shù)據(jù)問題
7月9日,為期三天的2020世界人工智能大會在上海世博中心開幕。此屆世界人工智能大會以“智聯(lián)世界、共同家園”為主題,聚焦“AI技術(shù)趨勢”、“AI賦能經(jīng)濟(jì)”以及“AI溫暖家園”三大議題。

長按掃碼 閱讀全文