科大訊飛、北航新研究入選ACM MM 2022，首個X光下的小樣本檢測基準(zhǔn)和弱特征增強網(wǎng)絡(luò)

“百尺竿頭須進步，十方世界是全身。”科大訊飛X光安檢系統(tǒng)自2018年至今，已斬獲業(yè)界多個榮譽獎項，研發(fā)技術(shù)團隊在科研之路上久久為功，孜孜不倦地進行技術(shù)研發(fā)和驗證。近日，科大訊飛X光安檢團隊與北航合作的論文被ACM MM2022接收，是雙方合作的階段性成果之一。未來，科大訊飛研究院還將繼續(xù)在X光安檢領(lǐng)域深耕，研發(fā)前沿技術(shù)，積累科研成果，也會以實際需求作為驅(qū)動力，探索更多技術(shù)落地的應(yīng)用場景。

近日，計算機多媒體頂級會議ACM Multimedia 2022接收論文結(jié)果已經(jīng)正式公布，會議接收了一篇由北京航空航天大學(xué)、科大訊飛研究院共同完成的工作。這項工作以X光安檢場景為例，針對一些危險品類別出現(xiàn)頻率較低導(dǎo)致樣本難以獲取的現(xiàn)實情況，構(gòu)建了X-ray FSOD數(shù)據(jù)集，為X光下小樣本檢測任務(wù)提供模型檢測能力評估基準(zhǔn)。

研究者在構(gòu)建評估基準(zhǔn)的基礎(chǔ)上提出了微弱特征增強網(wǎng)絡(luò)，利用原型學(xué)習(xí)和特征調(diào)和的思想緩解微弱特征帶來的性能損失，為小樣本檢測帶來新的思考。

小樣本檢測任務(wù)（few-shot detection）旨在解決真實工業(yè)場景中樣本獲取困難情況下模型泛化能力差的痛點，嘗試通過少量的訓(xùn)練樣本獲得具有泛化能力的模型。小樣本檢測任務(wù)一直是學(xué)術(shù)界研究的焦點，傳統(tǒng)的方法主要聚焦于自然光數(shù)據(jù)，在常見的COCO數(shù)據(jù)集上進行評估。由于自然光數(shù)據(jù)樣本通常具有顏色鮮艷、目標(biāo)清晰等特點，即便樣本數(shù)量有限，卷積神經(jīng)網(wǎng)絡(luò)依然可以提取到較為可靠的辨識度特征。

在真實的工業(yè)場景下，例如X光安檢場景，由于一些危險品類別的出現(xiàn)頻率較低，導(dǎo)致樣本獲取十分困難，是一個典型的小樣本檢測問題。然而，由于X光成像的特殊性，樣本普遍具有色彩單調(diào)、目標(biāo)模糊等特點，這些因素使得真實工業(yè)場景下的小樣本檢測任務(wù)面臨新的困境，即低辨識度導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)提取到的微弱特征難以支撐決策。目前，真實工業(yè)場景下的小樣本檢測任務(wù)很少被研究者們關(guān)注到。

開源鏈接：https://github.com/wytbwytb/WEN

一、X光下小樣本檢測評估基準(zhǔn)（X-ray FSOD數(shù)據(jù)集）

評估基準(zhǔn)的構(gòu)建對于一項任務(wù)的研究是必不可少的。本文針對X光安檢場景下的小樣本檢測任務(wù)，提出了首個工業(yè)場景下的小樣本檢測任務(wù)評估基準(zhǔn)，X-ray FSOD 數(shù)據(jù)集。

在構(gòu)建基準(zhǔn)的過程中，本文遵循了經(jīng)典的小樣本檢測數(shù)據(jù)集Pascal VOC的設(shè)置（類別總數(shù)為20，其中15類為基類，5類為新類），從現(xiàn)有公開的數(shù)據(jù)集中選擇了14個類別，其中5個類來自O(shè)PIXray數(shù)據(jù)集（ACM MM2020），5個類來自HiXray數(shù)據(jù)集（ICCV 2021），剩余4個類來自EDS數(shù)據(jù)集（CVPR 2022），并新貢獻了額外的6個類別，組建了一個總計20個類別的X光安檢場景下的標(biāo)準(zhǔn)小樣本檢測任務(wù)評估基準(zhǔn)。X-ray FSOD數(shù)據(jù)集中各個類別在自然光和X光下的對照圖如圖1所示。

二、微弱特征增強網(wǎng)絡(luò)

由于遮擋嚴(yán)重、顏色匱乏等原因，X光下的小樣本檢測任務(wù)面臨著目標(biāo)特征非常微弱的問題。由于判別信息微弱，傳統(tǒng)的小樣本檢測方法在該場景下很難達到令人滿意的效果。受原型學(xué)習(xí)聚合辨識度信息的啟發(fā)，本文提出的微弱特征增強網(wǎng)絡(luò)。微弱特征增強網(wǎng)絡(luò)包含兩個核心模塊，即原型感知模塊（PA）和特征調(diào)和模塊（FR）。原型感知模塊對待檢測目標(biāo)周圍的關(guān)鍵區(qū)域進行聚合，進而提取目標(biāo)本身的可依據(jù)特征，并建立類別原型庫以生成每個類別的可依據(jù)特征。特征調(diào)和模塊自適應(yīng)地調(diào)整不同類別相對應(yīng)原型的影響程度，將原型感知模塊提取出的辨識度信息選擇性地融合至特定對象本身的特征中。

原型感知模塊（PA）

原型感知模塊的主要任務(wù)是通過聚合生成類別原型，建立全局原型庫的方式，來提取出不同類別的可依據(jù)特征。首先，該模塊將屬于不同目標(biāo)的候選框特征根據(jù)與目標(biāo)真實標(biāo)注框的IoU值加權(quán)聚合，形成目標(biāo)的特征原型，公式如下：

隨后，該模塊將屬于相同類別的目標(biāo)特征原型聚合。緊接著，利用得到的類別原型集合建立并更新全局原型庫中對應(yīng)類別的原型，公式如下：

為了進一步增強不同類別之間提取出可依據(jù)特征的區(qū)別，研究者們對全局原型庫設(shè)計了損失函數(shù)，計算每兩個類別特征原型之間余弦相似度的平均值，通過最小化損失函數(shù)可以讓不同類別原型的特征向量趨于正交，公式如下：

特征調(diào)和模塊（FR）

特征調(diào)和模塊（FR）所做的是將原型庫中存儲的類別原型特征與候選框特征進行不同程度融合，從而增強主干網(wǎng)絡(luò)提取出的表示特征。

調(diào)和過程首先需要確定的是由主干網(wǎng)絡(luò)生成的候選框特征需要融合全局原型庫中對應(yīng)的哪一種類別特征原型。研究者們采取的類別選取方式為：在訓(xùn)練階段，將候選框特征所屬目標(biāo)的類別標(biāo)簽作為融合類別；在測試階段，計算候選框特征f_R與全局原型庫中每個類別特征原型之間的余弦相似度并比較，將相似度最高的類別原型作為融合類別。

類別特征原型的融合方式采用了兩種方式，第一種是樸素融合方式，公式如下：

而由于X光場景下不同類別的信息丟失程度不同，因此不同類別對類別原型中包含的可依據(jù)特征的需求程度也不同，因此僅僅用樸素的融合方式很難達到令人滿意的效果，該模塊設(shè)計了卷積的融合方式，公式如下：

三、實驗

實驗部分首先在VOC輪廓數(shù)據(jù)集上證明了微弱特征會導(dǎo)致少樣本目標(biāo)檢測模型的性能下降（微弱特征影響實驗）；其次，在真實弱特征場景（X-ray FSOD數(shù)據(jù)集）、模擬弱特征（VOC輪廓數(shù)據(jù)集）以及傳統(tǒng)場景（Pascal VOC數(shù)據(jù)集）下進行了對比試驗，充分說明了模型的有效性；最后進行分離實驗。實驗對比的模型包括TFA（ICML 2020）、FSCE(CVPR 2021)、DeFRCN(ICCV 2021)、DCNet(CVPR 2021)等SOTA方法。

微弱特征影響實驗

對比試驗

（1）X-ray FSOD數(shù)據(jù)集

（2）VOC輪廓數(shù)據(jù)集

（3）Pascal VOC數(shù)據(jù)集

分離實驗

四、總結(jié)

本文中，研究者們指出X光場景下的小樣本檢測任務(wù)往往面臨著由于遮擋嚴(yán)重、顏色

匱乏等原因?qū)е碌哪繕?biāo)特征非常微弱的困境。因此，傳統(tǒng)的小樣本檢測方法在這些場景下存在嚴(yán)重性能下降的問題。

為了給上述重要問題的研究提供支持，來自北航、訊飛的研究人員構(gòu)建了首個X光場景下的小樣本檢測數(shù)據(jù)集——X-ray FSOD數(shù)據(jù)集。同時，提出了微弱特征增強網(wǎng)絡(luò)，通過聚合目標(biāo)周圍的關(guān)鍵區(qū)域來提取目標(biāo)本身的可依據(jù)特征，并建立類別原型庫以生成每個類別的可依據(jù)特征，再將提取出的類別可依據(jù)特征融合至特定對象本身的特征中。研究者們在 X 光場景下的 X-ray FSOD數(shù)據(jù)集與常見場景下的 Pascal VOC 數(shù)據(jù)集上做了大量的實驗，并證明了提出的 WEN 模型優(yōu)于其他小樣本檢測模型。

五、參考文獻

Renshuai Tao, Hainan Li, Tianbo Wang, Yanlu Wei, Yifu Ding, Bowei Jin, Hongping Zhi, Xianglong Liu, Aishan Liu. Exploring Endogenous Shift for Cross-domain Detection: A Large-scale Benchmark and Perturbation Suppression Network. IEEE CVPR 2022.

Renshuai Tao, Yanlu Wei, Xiangjian Jiang, Hainan Li, Haotong Qin, Jiakai Wang, Yuqing Ma, Libo Zhang, Xianglong Liu. Towards Real-world X-ray Security Inspection: A High-Quality Benchmark And Lateral Inhibition Module For Prohibited Items Detection. IEEE ICCV 2021.

Renshuai Tao, Tianbo Wang, Ziyang Wu, Cong Liu, Aishan Liu, Xianglong Liu. Few-shot X-ray Prohibited Item Detection: A Benchmark and Weak-feature Enhancement Network. ACM MM 2022.

Yanlu Wei, Renshuai Tao, Zhangjie Wu, Yuqing Ma, Libo Zhang, Xianglong Liu. Occluded Prohibited Items Detection: An X-ray Security Inspection Benchmark and De-occlusion Attention Module. ACM Multimedia 2020.

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。