2318
5
0
2019-11-03 13:47:32
2021-09-02
行人分類研究在計(jì)算機(jī)視覺領(lǐng)域具有重要的理論研究意義及應(yīng)用價(jià)值。由于遠(yuǎn)紅外圖像相對(duì)于可見光圖像來講，有著不受天氣、光照因素影響的獨(dú)特優(yōu)勢(shì)，因此受到了相關(guān)學(xué)者的廣泛關(guān)注。紅外行人分類可以為駕駛輔助系統(tǒng)提供關(guān)鍵技術(shù)支撐，圖1給出了駕駛輔助系統(tǒng)的結(jié)構(gòu)圖。從圖中可發(fā)現(xiàn)，行人分類結(jié)果是行車安全評(píng)估的重要依據(jù)，在實(shí)際應(yīng)用中行人分類錯(cuò)誤可能會(huì)導(dǎo)致嚴(yán)重的交通事故。
圖1 駕駛輔助系統(tǒng)的結(jié)構(gòu)圖
遠(yuǎn)紅外圖像雖然在行人分類中具有獨(dú)特的優(yōu)勢(shì)，但是其存在分辨率低以及顏色信息缺失的問題，導(dǎo)致可用信息非常有限。由于遠(yuǎn)紅外圖像是根據(jù)物體的溫度差異成像，其中行人區(qū)域的像素強(qiáng)度值會(huì)隨著季節(jié)與溫度的變化而變化，來自背景的噪聲給紅外行人分類帶來了巨大的挑戰(zhàn)?；谏疃葘W(xué)習(xí)的紅外行人分類算法雖然能通過加深網(wǎng)絡(luò)來提高算法性能，但深度神經(jīng)網(wǎng)絡(luò)的計(jì)算時(shí)間以及空間復(fù)雜度也會(huì)隨之增加，使其在工業(yè)應(yīng)用的成本耗費(fèi)相當(dāng)巨大。
綜上所述，研究如何以較低的代價(jià)實(shí)現(xiàn)深度學(xué)習(xí)分類性能的提升是十分必要的。并且，深度學(xué)習(xí)在紅外行人分類任務(wù)上容易受到背景噪聲的干擾，從而導(dǎo)致了行人分類準(zhǔn)確率的下降。考慮到自然圖像摳圖技術(shù)提供了一種從雜亂背景中精確分離前景的工具，因此智能算法實(shí)驗(yàn)室提出了一種基于自動(dòng)摳圖增強(qiáng)的紅外行人分類算法。目前，本研究成果已在算法應(yīng)用領(lǐng)域的國(guó)際權(quán)威期刊Applied Soft Computing發(fā)表。下面讓我們一起回顧該項(xiàng)工作的發(fā)展進(jìn)程與相關(guān)成果。
圖2 基于自動(dòng)摳圖增強(qiáng)的紅外行人分類算法結(jié)構(gòu)框圖
圖2給出了該算法的結(jié)構(gòu)框圖，算法的核心是基于全自動(dòng)摳圖的紅外行人預(yù)處理，主要通過自動(dòng)生成紅外目標(biāo)的三分圖來對(duì)紅外圖像精確摳圖。該預(yù)處理過程實(shí)現(xiàn)了對(duì)前景目標(biāo)的增強(qiáng)以及對(duì)無(wú)關(guān)背景的抑制，一方面使分類器能“專注于”感興趣的前景物體的特征；另一方面可實(shí)現(xiàn)前景目標(biāo)的標(biāo)準(zhǔn)化來抑制噪聲對(duì)行人分類的影響。接下來，我們將通過介紹傳統(tǒng)的自然圖像摳圖技術(shù)，來引出該算法預(yù)處理過程的提出目的和優(yōu)勢(shì)所在。
圖3 自然圖像摳圖效果示意圖
圖3展示了一個(gè)自然圖像摳圖效果的示例圖，在自然圖像摳圖技術(shù)中三分圖給出了部分的前景區(qū)域（白色部分）與部分的背景區(qū)域（黑色部分），指定了用戶想要“摳”的區(qū)域以及不感興趣的區(qū)域。然而目前流行的摳圖算法中三分圖的生成依賴人工輔助，需通過一次或多次的用戶交互生成，因此嚴(yán)重限制了摳圖在圖像分類等自動(dòng)化場(chǎng)景中的應(yīng)用。
圖4 紅外行人三分圖自動(dòng)生成算法基本流程示意圖
為了克服摳圖中三分圖生成依賴人工的問題，本文提出了紅外行人三分圖自動(dòng)生成算法。該算法假設(shè)輸入的圖像中包含行人，利用行人在紅外圖像中成像特點(diǎn)估計(jì)行人的頭部區(qū)域以及軀干位置，并依據(jù)兩者的位置生成三分圖。紅外行人三分圖自動(dòng)生成算法的基本流程如圖4所示。
圖5 基于自動(dòng)摳圖的紅外行人預(yù)處理效果圖
圖5展示了基于自動(dòng)摳圖的紅外行人預(yù)處理效果圖。從摳圖結(jié)果不難看出，通過提出的行人自動(dòng)摳圖方法，正樣本中行人輪廓得到了增強(qiáng)，雜亂的背景得到了有效抑制，而負(fù)樣本中的物體輪廓與行人輪廓差異更為顯著。我們將處理后的樣本作為AlexNet神經(jīng)網(wǎng)絡(luò)的輸入，從而構(gòu)建出一個(gè)低計(jì)算代價(jià)的紅外行人分類算法。下面我們將通過三個(gè)問題從不同角度來對(duì)本算法做實(shí)驗(yàn)性能分析。
Q1：提出的紅外行人分類性能如何？
表1匯總了基于自動(dòng)摳圖增強(qiáng)的紅外行人分類算法在LSI、RIFIR 以及KAIST數(shù)據(jù)集上與5 個(gè)流行的紅外行人分類算法的分類性能定量比較結(jié)果。實(shí)驗(yàn)結(jié)果表明，盡管采用的只是相對(duì)簡(jiǎn)單的 8 層 AlexNet網(wǎng)絡(luò)，但本文所提出的紅外行人分類算法在三個(gè)數(shù)據(jù)集上幾乎所有的性能指標(biāo)均優(yōu)于其他分類算法的結(jié)果。
表1 基于自動(dòng)摳圖增強(qiáng)的紅外行人分類算法在LSI、RIFIR 以及KAIST 數(shù)據(jù)集上與5 個(gè)現(xiàn)有的紅外行人分類算法的分類性能定量比較
Q2：預(yù)處理對(duì)紅外行人分類有什么影響？
為了驗(yàn)證基于自動(dòng)摳圖的紅外行人預(yù)處理在紅外行人分類任務(wù)上的性能影響，我們進(jìn)一步分析了該預(yù)處理過程在深度學(xué)習(xí)分類算法上的性能，主要通過與未作預(yù)處理的深度學(xué)習(xí)分類算法做對(duì)比分析。前者在訓(xùn)練及測(cè)試中，使用經(jīng)過預(yù)處理得到的摳圖結(jié)果作為輸入圖像，而后者則使用原始的遠(yuǎn)紅外圖像作為輸入圖像。圖6展示了經(jīng)過預(yù)處理的深度神經(jīng)網(wǎng)絡(luò)分類算法在三個(gè)數(shù)據(jù)集上的ROC 曲線，以及同經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)分類算法的實(shí)驗(yàn)結(jié)果對(duì)比。從結(jié)果可以看出，在LSI 及RIFIR 數(shù)據(jù)集處理上，經(jīng)過預(yù)處理的深度神經(jīng)網(wǎng)絡(luò)分類算法（實(shí)線部分）的AUC 指標(biāo)均顯著優(yōu)于未作預(yù)處理的深度學(xué)習(xí)方法，因此采取基于自動(dòng)摳圖的紅外行人預(yù)處理算法，可以有效提高深度學(xué)習(xí)算法在紅外行人分類任務(wù)上的性能。
(a)在LSI數(shù)據(jù)集上獲得的ROC 曲線對(duì)比
(b)在RIFIR數(shù)據(jù)集上獲得的ROC 曲線對(duì)比
(c)在KAIST 數(shù)據(jù)集上獲得的ROC 曲線對(duì)比
圖6 基于自動(dòng)摳圖的紅外行人預(yù)處理的深度學(xué)習(xí)分類算法以及流行的深度學(xué)習(xí)分類算法在三個(gè)測(cè)試集上ROC 曲線對(duì)比
Q3：預(yù)處理帶來顯著性能提升的同時(shí)會(huì)增加多少計(jì)算量？
本文通過實(shí)驗(yàn)對(duì)經(jīng)過預(yù)處理的深度神經(jīng)網(wǎng)絡(luò)分類算法，以及經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)方法的計(jì)算時(shí)間及內(nèi)存消耗進(jìn)行了對(duì)比，將LSI數(shù)據(jù)集中隨機(jī)選擇的1000 張圖像作為實(shí)驗(yàn)數(shù)據(jù)展開實(shí)驗(yàn)。表2展示了不同方法在數(shù)據(jù)上的平均耗時(shí)及平均最大內(nèi)存消耗量的結(jié)果。與經(jīng)典的深度學(xué)習(xí)算法相比，經(jīng)過預(yù)處理后的深度學(xué)習(xí)算法在處理相同的數(shù)據(jù)時(shí)，最后平均耗時(shí)僅增加了0.02 秒。結(jié)果表明，基于自動(dòng)摳圖的紅外行人預(yù)處理算法能夠以非常低的計(jì)算代價(jià)，來獲得紅外行人分類性能上長(zhǎng)足的進(jìn)展。
表2 基于自動(dòng)摳圖的紅外行人預(yù)處理的深度學(xué)習(xí)分類算法以及經(jīng)典的深度學(xué)習(xí)分類算法計(jì)算耗時(shí)及最大內(nèi)存消耗量對(duì)比
本文以紅外行人分類任務(wù)為例討論了摳圖中三分圖的自動(dòng)生成問題，利用紅外行人分類領(lǐng)域的專家知識(shí)實(shí)現(xiàn)了三分圖自動(dòng)生成的功能，擴(kuò)展了自然圖像摳圖技術(shù)在紅外行人分類領(lǐng)域的應(yīng)用前景。在自然圖像摳圖的基礎(chǔ)上，通過人體頭部及軀干定位的三分圖自動(dòng)生成，實(shí)現(xiàn)了基于自動(dòng)摳圖的紅外行人預(yù)處理，并將其與數(shù)據(jù)驅(qū)動(dòng)的紅外行人分類算法有機(jī)結(jié)合，提出了基于自動(dòng)摳圖增強(qiáng)的紅外行人分類算法。
此外，通過將紅外行人預(yù)處理得到的透明度遮罩作為訓(xùn)練的輸入數(shù)據(jù)，使現(xiàn)有的先進(jìn)深度神經(jīng)網(wǎng)絡(luò)在紅外行人分類任務(wù)上的性能得到顯著提高。同時(shí)，自動(dòng)生成的三分圖給紅外行人分類任務(wù)提供了一致的行人輪廓特性，也實(shí)現(xiàn)了一種低成本提升深度神經(jīng)網(wǎng)絡(luò)性能的解決方案。該技術(shù)有望應(yīng)用于強(qiáng)噪聲環(huán)境下的目標(biāo)分類、數(shù)據(jù)不均衡條件下的數(shù)據(jù)標(biāo)準(zhǔn)化處理、醫(yī)學(xué)圖像中自動(dòng)血管提取等應(yīng)用場(chǎng)景。
參考文獻(xiàn)
[1] Huang H, Liang Y, Yang X, et al. Pixel-level DiscreteMultiobjective Samplingfor Image Matting[J]. IEEE Transactions on Image Processing, 2019. [DOI:10.1109/TIP.2019.2902830].
[2] Liang Y, Huang H, Cai Z, et al. Multiobjective evolutionary optimization basedon fuzzy multi-criteria evaluation and decomposition for image matting[J], IEEETransactions on Fuzzy Systems, 2019. 27(5): 1100-1111.
[3] Liang Y, Huang H, Cai Z, et al. Deep infrared pedestrian classification basedon automatic image matting[J]. Applied Soft Computing, 2019, 77: 484-496.
[4] Cai Z Q, Lv L, Huang H, et al. Improving sampling-based image matting withcooperative coevolution differential evolution algorithm[J]. Soft Computing,2017, 21(15): 4417-4430.
[5] Liang Y, Huang H, Cai Z, et al. Particle Swarm Optimization with ConvergenceSpeed Controller for Sampling-Based Image Matting[C]//International Conferenceon Intelligent Computing. Springer, Cham, 2018: 656-668.
-END-
文字：梁椅輝、劉子釗
校稿：馮夫健
圖：梁椅輝
