本文為將門技術(shù)社群第227期talk直播的文字內(nèi)容整理分享嘉賓：曠視南京研究院研究員 趙冰辰
眾所周知，參加頂會競賽是當(dāng)今AI研究人員鍛煉自身、驗證已有學(xué)術(shù)成果的一大舞臺。從2017年到現(xiàn)在，曠視研究院在全球頂會累計榮獲28項世界冠軍，好奇的同學(xué)們肯定想知道其中的經(jīng)驗與技巧。為此我們很榮幸邀請到曠視南京研究院研究員—趙冰辰，與大家分享其團隊在 CVPR 2020 iWildCam 項目奪冠的經(jīng)歷，同時也介紹了他們在本次比賽中針對 Camera Trap 數(shù)據(jù)的特點設(shè)計的方法及冠軍方案。
值得一提的是，雖然曠視南京研究院在整個參賽過程中持續(xù)領(lǐng)先，但就在最終截止日期前5天，F(xiàn)acebook突然大比分反超。經(jīng)過對現(xiàn)有模型的快速分析，團隊通過序列和日期信息大幅提升了模型性能近10個點，在48小時內(nèi)重新登頂，并奪得iWildCam的全球冠軍。
本文回顧了此次比賽的基本背景、團隊方案，并介紹了團隊總結(jié)的參賽經(jīng)驗，希望能為同學(xué)們帶來啟發(fā)。
背景
iWildCam競賽隸屬于 CVPR 2020 FGVC workshop， 其目的是利用部署在野外無人操縱的 Camera Trap 來識別野生動物，從而輔助對野生動物的研究與保護。該比賽的難點在于，由于 Camera Trap 的拍攝機制是通過熱感或運動來觸發(fā)相機，因此成像效果與ImageNet或者是iNaturalist中的圖像有很大區(qū)別。
一個典型的camera trap設(shè)備 例如下圖，每張圖片中都存在動物，但是由于 camera trap 無人操縱的特性，獲取的畫面會受到光照、模糊、小ROI、遮擋、奇異視角、或者動物本身保護色等諸多因素的干擾。 可以發(fā)現(xiàn)，定位到這些動物并且給出正確分類，即使對人類來說也比較困難。
Camera Trap數(shù)據(jù)的另外一個特點在于畫面背景。由于camera trap固定在某個區(qū)域進行拍攝，因此由特定camera trap所采集到的圖片背景相似度極高。如下圖，Camera－1和Camera－2分別對應(yīng)部署在兩個位置的camera trap，可以發(fā)現(xiàn)同一個camera拍到的圖片背景基本一致。而相應(yīng)的，不同camera獲取的背景差異顯著。
因此，這對分類模型的泛化性提出了極高的要求。iWildCam數(shù)據(jù)集總共包括263個類別，28萬張圖片，其中訓(xùn)練集441個camera trap，測試集111個camera trap。主辦方將全部552個位置的camera trap分成為train set 441個，和test set 111個，這也就是說測試集圖片全部來自訓(xùn)練集之外的camera trap 。 另外，類別數(shù)據(jù)的長尾分布也是必須考慮的問題。 因此可以總結(jié)，在Camera Trap場景下，主要存在三個問題： Camera Trap無人操作導(dǎo)致的圖像模糊，遮擋等問題。來自訓(xùn)練與測試集不同背景所導(dǎo)致的泛化問題。野生動物分布帶來的長尾問題。 針對上述問題，曠視南京研究院在此次參賽中進行了逐項攻克。 挑戰(zhàn)一：ROI尺寸過小 如前所述，iWildCam的第一個挑戰(zhàn)來自于camera trap所捕獲的畫面，即動物圖片經(jīng)常存在過小或者被遮擋等問題。 因此比賽主辦方提供了Mega Detector（一個微軟提供的Camera Trap動物檢測器，輸出類別只有animal和background）。 因此，曠視南京研究院用Mega Detector來提取圖像的ROI區(qū)域，從輔助進一步的分類工作。
1234下一頁>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
