From：Arxiv 編譯：T．R
時(shí)空行為檢測是計(jì)算視覺領(lǐng)域重要的研究方向，在安防監(jiān)控、視頻標(biāo)注、運(yùn)動(dòng)分析等方面具有重要的應(yīng)用?，F(xiàn)存的行為動(dòng)作流檢測方法大多針對(duì)獨(dú)立幀進(jìn)行檢測，而后進(jìn)行幀間運(yùn)動(dòng)銜接，雖然有基于片段的短時(shí)行為檢測，但卻在檢測精度、計(jì)算資源消耗和穩(wěn)定性上還面臨著一系列問題。
為了實(shí)現(xiàn)更加準(zhǔn)確高效的視頻行為檢測，來自南京大學(xué)的研究人員提出了一種移動(dòng)中心檢測器（moving center detector）的架構(gòu)，通過將行為實(shí)例轉(zhuǎn)化為運(yùn)動(dòng)點(diǎn)軌跡來簡化運(yùn)動(dòng)信息并輔助行為流管檢測（action tubelet detection），在運(yùn)動(dòng)實(shí)例中心幀檢測與分類、相鄰幀運(yùn)動(dòng)偏移估計(jì)以及目標(biāo)實(shí)例檢測框回歸的共同努力下實(shí)現(xiàn)了可達(dá)25fps的高效行為流管檢測，同時(shí)保證了長時(shí)間視頻級(jí)行為檢測的流管融合精度，在幀級(jí)和視頻級(jí)任務(wù)上都取得了優(yōu)異的mAP結(jié)果。
基于運(yùn)動(dòng)點(diǎn)的行為檢測
這一工作的主要目標(biāo)在對(duì)短視頻幀序列進(jìn)行行為流管（action tubelt，ACT）檢測。視頻中實(shí)例的運(yùn)動(dòng)信息天然地描述了人類的運(yùn)動(dòng)行為，所以每一個(gè)動(dòng)作行為實(shí)例可以被描述為一系列運(yùn)動(dòng)點(diǎn)的軌跡，同時(shí)也可以基于軌跡來實(shí)現(xiàn)行為分類。在這樣獨(dú)特的視角下，研究人員將ACT表示為短視頻幀序列中關(guān)鍵幀中心點(diǎn)，以及相鄰幀中實(shí)例中心相對(duì)于其中心點(diǎn)的偏移量。
為了實(shí)現(xiàn)有效的行為管道檢測，研究人員將整個(gè)任務(wù)分解為了三個(gè)相對(duì)簡單的子任務(wù)，包括定位關(guān)鍵幀中的目標(biāo)中心點(diǎn)、估計(jì)相鄰幀中實(shí)例相對(duì)于中心點(diǎn)的位移，并在每一幀計(jì)算出的新中心點(diǎn)周圍實(shí)現(xiàn)實(shí)例包圍框的回歸計(jì)算。解耦后的框架不僅更為緊致，優(yōu)化也更為容易，同時(shí)也提高了檢測的精度與效率。
模型架構(gòu)主要分為四個(gè)部分，短視頻片段幀被送入主干網(wǎng)絡(luò)進(jìn)行特征抽取，而后將特征分別送入三個(gè)子任務(wù)分支進(jìn)行處理。其中中心分支用于檢測關(guān)鍵幀中的動(dòng)作中心點(diǎn)和動(dòng)作分類；移動(dòng)分支針對(duì)所有幀檢測動(dòng)作相對(duì)于其中心點(diǎn)的偏移量；bbox分支則用于為每一幀預(yù)測相對(duì)于其動(dòng)作中心的實(shí)例包圍框。這種設(shè)計(jì)使得三個(gè)子任務(wù)可以有效協(xié)作生成ACT檢測結(jié)果。最終通過將這些ACT結(jié)果進(jìn)行銜接可以得到視頻級(jí)別的長程行為檢測結(jié)果。
MOC－detector
模型的第一部分是從輸入視頻序列中抽取特征的主干網(wǎng)絡(luò)。其中輸入為K幅WxH大小的幀，輸出為W／rxH／rxKx64的特征，r為空間下采樣率。為了保障輸入序列的時(shí)序結(jié)構(gòu)在時(shí)間維度上保持了原來的幀數(shù)。在對(duì)比了多種網(wǎng)絡(luò)后，基于精度與效率的權(quán)衡研究人員選擇了DLA－34作為抽取特征的主干網(wǎng)絡(luò)。這一架構(gòu)采用了編碼器－解碼器架構(gòu)來從每一幀中獨(dú)立地抽取特征，并在空間上進(jìn)行4倍的下采樣，抽取的特征被后續(xù)三個(gè)分支共享。
中心預(yù)測分支
中心預(yù)測分支的主要目的在于從中央關(guān)鍵幀預(yù)測出行為流管的中心，并識(shí)別出行為的分類。為了從關(guān)鍵幀中檢測出行為實(shí)例的中心，需要中心分支有效地抽取時(shí)域信息來進(jìn)行動(dòng)作識(shí)別。所以這一部分主要由時(shí)域模塊構(gòu)成來估計(jì)動(dòng)作中心?；赪／r×H／r×K×64的視頻特征估計(jì)出W／r×H／r×C的中心熱力圖L？ ，其中C代表了行為類別的數(shù)目，L？ 值代表了在（x， y）位置檢測到某種行為實(shí)例的似然大小，更高的值意味著更大的可能性。為了有效的捕捉時(shí)域結(jié)構(gòu)，研究人員使用了3D全卷積操作和sigmoid非線性激活來估計(jì)中心熱力圖。
位移估計(jì)分支
模型的第二部分將針對(duì)所有幀，聯(lián)系相鄰幀與關(guān)鍵幀來估計(jì)出相對(duì)于中心的偏移。首先需要將中央關(guān)鍵幀的中心點(diǎn)平移到所有相鄰幀中，而后估計(jì)出相鄰幀中實(shí)例中心相對(duì)于關(guān)鍵幀中心的偏移。位移分支同樣利用了時(shí)域信息來估計(jì)出中心點(diǎn)的偏移量，其輸入特征為共享的W／r×H／r×K×64的視頻特征，輸出位移預(yù)測圖M為W／r×H／r×2K，其中2K代表了K幀上中心分別在x，y方向上的位移。在給定關(guān)鍵幀中心（xkey，ykey）的情況下，Mxkey，ykey，2j：2j＋2 編碼了從關(guān)鍵幀到第j幀的中心位移。
為了有效地捕捉動(dòng)作中心的移動(dòng)，研究人員提出了三種不同的實(shí)現(xiàn)方法。一種是基于累積移動(dòng)策略來連續(xù)地預(yù)測相鄰幀間的位移而不是相對(duì)于關(guān)鍵幀的位移，但這種方法在預(yù)測的時(shí)候會(huì)帶來累積誤差影響精度。第二種方法是基于代價(jià)空間估計(jì)中心位移，通過構(gòu)建當(dāng)前幀與關(guān)鍵幀的代價(jià)空間直接計(jì)算中心位移，但代價(jià)空間的構(gòu)建是的這種方法的精度和速度都沒有太好的表現(xiàn)；第三種方法就是本文中使用的中心移動(dòng)法，通過利用三維卷積操作來直接回歸出當(dāng)前幀與關(guān)鍵幀之間的中心位移，這種策略雖然簡單但是在實(shí)驗(yàn)中卻得到了良好的精度和計(jì)算效率。
bbox估計(jì)
包圍框估計(jì)分支主要基于每一幀計(jì)算出的中心點(diǎn)，聚焦于幀的空間信息來對(duì)其中的動(dòng)作實(shí)例進(jìn)行檢測，并回歸出包圍框的長寬。包圍框分支是行為流管檢測的最后一步，主要集中于對(duì)于行為實(shí)例空間信息的分析。與先前兩個(gè)部分不同的是，這一部分假設(shè)bbox 檢測只依賴于當(dāng)前幀的信息。
研究發(fā)現(xiàn)時(shí)域信息無助于與分類無關(guān)bbox的回歸結(jié)果，而只會(huì)帶來而外的計(jì)算負(fù)擔(dān)。這一分支針對(duì)每一幀進(jìn)行bbox估計(jì)，直接估計(jì)出框的大小和形狀預(yù)測圖S？ ∈ W／r×H／r×K×2，其值定義了在第j幀中的對(duì)應(yīng)位置中心位于（x， y）bbox的大小。
行為管道銜接
在通過MOC檢測器得到了短序列片段的結(jié)果后，就可以實(shí)現(xiàn)長程視頻級(jí)行為流管的檢測了。雖然可以改變k來適應(yīng)長程多幀的視頻，但由于GPU的顯存限制是的K的最大幀數(shù)不能超過10，在對(duì)視頻片段進(jìn)行檢測后需要利用銜接銜接算法將不同片段間的動(dòng)作微管（tubelet）進(jìn)行融合實(shí)現(xiàn)視頻級(jí)行為管道（tube）檢測。
在融合過程中使用了與先前方法相同的銜接算法（linking algorithm），并通過初試步驟的非極大值抑制、融合步驟的有條件銜接、終止步驟的判斷來實(shí)現(xiàn)視頻級(jí)別的行為管道檢測。這一銜接算法與ACTdetection中的算法相同。附注 ACT－detecitor；Action Tubelet Detector for Spatio－Temporal Action Localization
實(shí)驗(yàn)結(jié)果
在構(gòu)建好整套行為管道檢測體系后，研究人員在兩個(gè)較為常用的動(dòng)作行為數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試，主要包括了UCF101數(shù)據(jù)集和HMDB51數(shù)據(jù)集的子集。他們還提出了幀級(jí)別的AP和視頻級(jí)別的AP指標(biāo)進(jìn)行比較，其中幀級(jí)別與銜接算法獨(dú)立，注重bbox的回歸精度，而視頻級(jí)別與所有幀相關(guān)并與銜接算法緊密聯(lián)系。而后通過定量和定性的分析對(duì)MOC檢測器中各個(gè)部分和每個(gè)分支的性能進(jìn)行了有效的消融性分析。
研究人員首先對(duì)比了三種不同行為微管檢測的策略，分別是
無位移（no movement）
包圍框位移（box movement）
中心平移（center movement，MOC）
其中無位移的策略假設(shè)主體在局域幀內(nèi)的中心位移相較于動(dòng)作幅度來說很小，它直接去掉了位移分支，直接為每一幀基于關(guān)鍵幀中心生成bbox，所有的bbox共享相同的中心僅僅尺寸不同。包圍框進(jìn)行位移的策略假設(shè)bbox的尺寸對(duì)中心點(diǎn)位置不敏感，它首先基于關(guān)鍵幀中心點(diǎn)回歸出bbox，而后再根據(jù)位移分支的預(yù)測結(jié)果對(duì)每一幀bbox進(jìn)行移動(dòng)。
MOC策略則是本文中所采用的方法，它認(rèn)為目標(biāo)的中心是會(huì)變化的，中心的變化也會(huì)帶來bbox尺寸的變化。利用位移分支的預(yù)測結(jié)果將每一幀的中心點(diǎn)從關(guān)鍵幀中心移動(dòng)到自身的動(dòng)作中心點(diǎn)上來，而后基于自身的中心來計(jì)算bbox。它與包圍框移動(dòng)策略不同在于它們基于不同的中心點(diǎn)生成bbox，中心點(diǎn)方法基于當(dāng)前幀中心生成而包圍框方法則基于關(guān)鍵幀中心生成。
下圖顯示了三種策略的檢測結(jié)果，可以看到無位移策略的bbox為了包圍整個(gè)目標(biāo)其尺寸更大，而通過調(diào)整每一幀中心點(diǎn)的位置和尺寸則有效地提高了非關(guān)鍵幀目標(biāo)的檢測精度。下圖顯示了MOC方法檢測出的bbox其IoU更高，針對(duì)較遠(yuǎn)的非關(guān)鍵幀移動(dòng)策略的優(yōu)勢更為明顯。
下表中同時(shí)顯示了包圍框移動(dòng)策略和中心移動(dòng)策略的差異，MOC方法能夠更有效地適應(yīng)運(yùn)動(dòng)目標(biāo)的檢測。
此外還分析了位移分支的不同設(shè)計(jì)策略，包括基于關(guān)鍵幀的累積位移策略，基于代價(jià)空間的移動(dòng)策略，基于中心的移動(dòng)策略。下表顯示了三種方式的結(jié)果。
可以看到由于累積誤差的影響，累積位移策略表現(xiàn)較差；同時(shí)由于代價(jià)空間計(jì)算僅僅依賴于當(dāng)前幀與關(guān)鍵幀的相關(guān)性圖，而確實(shí)了整個(gè)序列的信息造成了精度下降，此外代價(jià)空間的計(jì)算只包含了相關(guān)性而無額外參數(shù)使得其收斂較為困難，所以這兩種方式都弱于中心位移的策略。
為了得到最佳的輸入序列長度，研究人員比較了K＝1－9的輸出長度，通過權(quán)衡速度與精度決定使用k＝7作為輸入序列的長度，并可以實(shí)現(xiàn)25fps的預(yù)測速度。
最終研究人員將本方法與目前最先進(jìn)的檢測方法在兩個(gè)數(shù)據(jù)集上進(jìn)行了比較，結(jié)果顯示本方法在視頻級(jí)和幀級(jí)的mAP都明顯超越了先前的方法：
最后研究人員還對(duì)本方法的檢測有效性進(jìn)行了可視化，可以看到K＝7時(shí)可更有效的檢測出目標(biāo)，漏檢率更低；同時(shí)基于微行為管的檢測使得分類誤差也較?。?/p>
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
