近日，在ICCV2021舉辦的LVIS Challenge Workshop比賽中，騰訊優(yōu)圖實(shí)驗(yàn)室榮獲冠軍，同時(shí)被授予該項(xiàng)目的最佳創(chuàng)新獎(jiǎng)。LVIS Challenge 2021 是大規(guī)模長(zhǎng)尾數(shù)據(jù)的實(shí)例分割任務(wù)，是本屆ICCV的重磅比賽之一，吸引了眾多國(guó)內(nèi)外知名企業(yè)和高校參加。此次競(jìng)賽的核心技術(shù)方案也將應(yīng)用于工業(yè)AI質(zhì)檢的場(chǎng)景中，進(jìn)一步地提高缺陷檢測(cè)與分割的精準(zhǔn)度，用最核心的技術(shù)支持產(chǎn)業(yè)落地。
圖1比賽最終榜單，騰訊優(yōu)圖排名第一
LVIS是包含1k+類別的大規(guī)模長(zhǎng)尾分布數(shù)據(jù)集，相較于常見(jiàn)的實(shí)例分割數(shù)據(jù)集，LVIS具有更精細(xì)的標(biāo)注和更多的類別，從而其分布更加接近自然場(chǎng)景。據(jù)統(tǒng)計(jì)，尾部類別的實(shí)例數(shù)量?jī)H僅占比總實(shí)例數(shù)量的約0.41%，這對(duì)現(xiàn)有的實(shí)例分割算法提出了極大的挑戰(zhàn)。另外，不同于以往的比賽，本次LVIS比賽采用了Boundary AP替代Mask AP作為評(píng)價(jià)指標(biāo)，對(duì)分割精度提出了更高的要求。
圖2. LVIS競(jìng)賽介紹
針對(duì)上述挑戰(zhàn)，騰訊優(yōu)圖團(tuán)隊(duì)提出了平衡分布，優(yōu)化邊緣的實(shí)例分割方法，在測(cè)試集上取得了48.1%AP的結(jié)果。值得一提的是，在本次Workshop會(huì)議中，RossGirshick指出優(yōu)圖此次方法的APr與APf的結(jié)果非常相近!
圖3.Workshop會(huì)議競(jìng)賽結(jié)果宣布Apr與APf接近
具體技術(shù)細(xì)節(jié)如下：
騰訊優(yōu)圖團(tuán)隊(duì)將Hybrid Task Cascade(HTC)實(shí)例分割算法作為baseline, 采用了表征能力更強(qiáng)的Swin-Transformer作為基礎(chǔ)骨干網(wǎng)絡(luò)，同時(shí)，基于CBNetV2，復(fù)合鏈接兩個(gè)相同的Swin-Transformer網(wǎng)絡(luò)，作為最終的骨干網(wǎng)絡(luò)來(lái)加強(qiáng)性能。
圖4. Strongbaseline
針對(duì)長(zhǎng)尾問(wèn)題，騰訊優(yōu)圖提出了分布平衡模塊，包括數(shù)據(jù)平衡和損失平衡處理，從而提升網(wǎng)絡(luò)訓(xùn)練過(guò)程中對(duì)尾部稀有類別實(shí)例的關(guān)注。其中，數(shù)據(jù)平衡方法包括RFS, Balanced Copy-Paste和Balanced Mosaic，增加尾部類別數(shù)據(jù)出現(xiàn)的概率，兼顧了image-level和instance-level的數(shù)據(jù)平衡性。同時(shí)，優(yōu)圖采用了Seesaw Loss，在訓(xùn)練中動(dòng)態(tài)地抑制尾部類別上過(guò)量的負(fù)樣本梯度，并補(bǔ)充對(duì)誤分類樣本的懲罰。
為了更好的優(yōu)化分割效果，騰訊優(yōu)圖提出了精細(xì)分割模塊，包含Mask Scoring和RefineMask方法?；贛ask Scoring方法，解耦了分類置信度與實(shí)例分割得分，用新的網(wǎng)絡(luò)分枝學(xué)習(xí)實(shí)例預(yù)測(cè)的質(zhì)量，從而避免了分類置信度與分割質(zhì)量不匹配的問(wèn)題。針對(duì)邊緣分割精度優(yōu)化，騰訊優(yōu)圖采用了RefineMask方法，融合多階段的細(xì)粒度的上采樣語(yǔ)義特征，從而產(chǎn)生高質(zhì)量分割結(jié)果?？紤]時(shí)間和精度的平衡，優(yōu)圖實(shí)驗(yàn)室僅將pipeline中最后一個(gè)Mask head替換為Refinemask head。由此可見(jiàn)，騰訊優(yōu)圖的方法仍然具有提升的空間。
除此之外，基于騰訊優(yōu)圖對(duì)訓(xùn)練過(guò)程的觀察，創(chuàng)新性地采用了頭尾部性能平衡的訓(xùn)練策略，不僅提升了整體的AP結(jié)果，更加極大地拉進(jìn)了尾部與頭部類別性能的差距。最終，優(yōu)圖團(tuán)隊(duì)以48.1%AP排名第一。
圖5.(a)分布平衡模塊 (b)精細(xì)分割模塊
作為騰訊旗下頂尖的人工智能實(shí)驗(yàn)室，優(yōu)圖實(shí)驗(yàn)室聚焦計(jì)算機(jī)視覺(jué)，專注人臉識(shí)別、圖像識(shí)別、OCR等領(lǐng)域開(kāi)展技術(shù)研發(fā)和行業(yè)落地，在推動(dòng)產(chǎn)業(yè)數(shù)字化升級(jí)過(guò)程中，始終堅(jiān)持基礎(chǔ)研究、產(chǎn)業(yè)落地兩條腿走路的發(fā)展戰(zhàn)略，與騰訊云與智慧產(chǎn)業(yè)深度融合，挖掘客戶痛點(diǎn)，切實(shí)為行業(yè)降本增效。未來(lái)，騰訊優(yōu)圖實(shí)驗(yàn)室也將繼續(xù)深耕CV技術(shù)，并將持續(xù)探索更多的應(yīng)用場(chǎng)景和應(yīng)用空間，讓更多的用戶享受到科技帶來(lái)的紅利。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
