本站小編為你精心準(zhǔn)備了神經(jīng)網(wǎng)絡(luò)模型的人臉檢索方法參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:

針對(duì)大規(guī)模人臉檢索問題,提出了一種帶相關(guān)反饋的基于深度神經(jīng)網(wǎng)絡(luò)模型的人臉檢索方法.首先利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉進(jìn)行特征提取,再利用傳統(tǒng)的檢索方法進(jìn)行人臉檢索,在檢索環(huán)節(jié)之后加入相關(guān)反饋環(huán)節(jié).根據(jù)用戶反饋的結(jié)果,將樣本分成正例和負(fù)例,作為反饋環(huán)節(jié)的訓(xùn)練樣本,完成反饋環(huán)節(jié)的訓(xùn)練.實(shí)驗(yàn)表明,該方法能夠顯著提高人臉檢索的準(zhǔn)確率.

關(guān)鍵詞:

人臉檢索;卷積神經(jīng)網(wǎng)絡(luò);哈希檢索;相關(guān)反饋

近些年來,隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展,計(jì)算機(jī)視覺(CV)問題越來越受到人們的關(guān)注,例如物體識(shí)別[1,2]、圖像檢索[3,4]、圖像匹配[5,6]等,而在所有的計(jì)算機(jī)視覺問題中,人臉識(shí)別與檢索方法由于其與人身份的密切聯(lián)系而受到研究者更加廣泛的關(guān)注.目前的人臉檢索方法主要包括三個(gè)部分,人臉圖像預(yù)處理,人臉特征提取,特征檢索.而這其中人臉特征提取部分得到的人臉特征的優(yōu)劣直接決定整個(gè)人臉檢索系統(tǒng)的性能.也正是由于這一點(diǎn),多年來研究者們紛紛提出了多種多樣的特征提取方法.總結(jié)這些特征提取方法,主要有兩個(gè)研究方向,一是人工設(shè)計(jì)特征,(如LBP[7],SIFT[8]等),另一個(gè)是學(xué)習(xí)特征.人工設(shè)計(jì)特征是根據(jù)圖像自然具有的顏色,紋理,形狀等特征,通過一定的數(shù)學(xué)方法,設(shè)計(jì)出來的一種特征抽取方法,sift特征便是這其中較為出色的特征抽取方法.人工特征雖然具有理論基礎(chǔ)清晰的優(yōu)點(diǎn),但是,人工特征的設(shè)計(jì)需要大量的理論知識(shí)和深厚的數(shù)學(xué)功底,這制約了該方法的進(jìn)一步發(fā)展.2006年,以GeoffreyHinton在Science發(fā)表文獻(xiàn)[9],提出深度置信網(wǎng)絡(luò)(DeepBeliefNetworks,DBN)可使用非監(jiān)督的逐層貪心算法來訓(xùn)練為標(biāo)志,研究人員開始將深度學(xué)習(xí)用于圖像特征提取,并在圖像分類問題上取得了驚人的效果.

2014年,XiaogangWang,XiaoouTang等人發(fā)表文章[10],利用多層卷積神經(jīng)網(wǎng)絡(luò)提取人臉圖像的特征,并在LFW上驗(yàn)證其分類效果,實(shí)驗(yàn)表明,文中提出的深度網(wǎng)絡(luò)進(jìn)一步提高了人臉分類的準(zhǔn)確率.2014年,XiaogangWang,XiaoouTang等人發(fā)表文章[10],利用多層卷積神經(jīng)網(wǎng)絡(luò)提取人臉圖像的特征,并在LFW上驗(yàn)證其分類效果,實(shí)驗(yàn)表明,文中提出的深度網(wǎng)絡(luò)進(jìn)一步提高了人臉分類的準(zhǔn)確率.基于上述人臉特征提取方法,本文提出了一種帶相關(guān)反饋的深度學(xué)習(xí)人臉檢索方法,該方法設(shè)計(jì)了一種多層的CNN網(wǎng)絡(luò),利用打好類別標(biāo)簽的人臉圖片數(shù)據(jù)集訓(xùn)練該網(wǎng)絡(luò),此深度網(wǎng)絡(luò)能提取人臉圖像的特征,基于此特征,再利用傳統(tǒng)的檢索方法,得出待檢索人臉的檢索結(jié)果.我們發(fā)現(xiàn),該結(jié)果雖然比以往的基于人工特征的檢索方法具有更好的檢索準(zhǔn)確率,但是仍然具有較大的提升空間,因此,在檢索之后,加入反饋環(huán)節(jié),利用相關(guān)反饋算法獲取帶標(biāo)簽數(shù)據(jù),對(duì)該反饋網(wǎng)絡(luò)進(jìn)行訓(xùn)練,最終得到一個(gè)帶反饋的深度學(xué)習(xí)網(wǎng)絡(luò).

1相關(guān)概念

1.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)ConvolutionalNeuralNetworks(CNN)是一種特殊的深層神經(jīng)網(wǎng)絡(luò)模型,它的特殊性體現(xiàn)在兩個(gè)方面,一方面它的神經(jīng)元間的連接是非全連接的,另一方面,同一層中某些神經(jīng)元之間的連接權(quán)重是共享的.卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器,這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性.

1.2相關(guān)反饋算法人臉檢索領(lǐng)域的反饋即是使用一種判別標(biāo)準(zhǔn)(如人工判斷)對(duì)檢索結(jié)果的正確性進(jìn)行判別,再將判別結(jié)果回送到檢索系統(tǒng),優(yōu)化檢索系統(tǒng)參數(shù),從而起到對(duì)檢索結(jié)果不斷修正的作用.相關(guān)反饋算法,一方面,通過對(duì)最佳的查詢方向估計(jì)來調(diào)整查詢的方向,使其不斷向用戶反饋的正例靠近,而遠(yuǎn)離反例;另一方面,利用反饋信息修改距離公式中各分量的權(quán)值,突出重要的分量[11,12].

2帶相關(guān)反饋的基于深度神經(jīng)網(wǎng)絡(luò)模型的人臉檢索方法

根據(jù)文獻(xiàn)[10]的思想,我們?cè)O(shè)計(jì)了一個(gè)8層的卷積神經(jīng)網(wǎng)絡(luò),利用這一網(wǎng)絡(luò)結(jié)構(gòu)來實(shí)現(xiàn)人臉圖像特征的提取.網(wǎng)絡(luò)結(jié)構(gòu)包含1個(gè)輸入層,2個(gè)卷積層,2個(gè)下采樣層,2個(gè)全連接層和1個(gè)輸出層.網(wǎng)絡(luò)中的卷積層和下采樣層是經(jīng)過專門設(shè)計(jì)來提取局部特征和全局特征的.最終抽取出一個(gè)256維的特征向量用來表示輸入的人臉圖片.網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示?；谏鲜鼍W(wǎng)絡(luò)結(jié)構(gòu)得到的人臉特征進(jìn)行人臉檢索,我們利用文獻(xiàn)[13]中的有監(jiān)督哈希檢索方法.該文獻(xiàn)的思想是將高維數(shù)據(jù)投影成二進(jìn)制碼,通過對(duì)帶有相關(guān)性標(biāo)簽的訓(xùn)練樣本對(duì)的學(xué)習(xí),相似樣本對(duì)之間的漢明距離最小,而不相似的樣本對(duì)之間的漢明距離最大.將上述方法應(yīng)用到人臉檢索中,使用哈希方法獲得待檢索人臉樣本的哈希編碼,再計(jì)算這個(gè)哈希編碼與檢索庫(kù)中其他檢索樣本哈希編碼之間的漢明距離,通過距離的大小來判斷檢索庫(kù)中哪些樣本是與待檢索樣本相似的結(jié)果.每次檢索過程,一張待檢圖片都會(huì)得出若干個(gè)最為相似的檢索結(jié)果,而這些結(jié)果中有部分是正確的檢索結(jié)果,而另外一部分則是錯(cuò)誤的.根據(jù)文獻(xiàn)[11]提到的相關(guān)反饋算法,檢索用戶能夠很容易判斷這些檢索結(jié)果的正誤,且能夠通過簡(jiǎn)單的操作將這些結(jié)果進(jìn)行分類(正確或者錯(cuò)誤).多次檢索會(huì)積累一定量的此類數(shù)據(jù),以往的檢索方法沒有考慮這些數(shù)據(jù),而經(jīng)驗(yàn)告訴我們,這些數(shù)據(jù)應(yīng)該會(huì)對(duì)往后的檢索結(jié)果有幫助.

因此,我們?cè)O(shè)計(jì)了一個(gè)反饋環(huán)節(jié),利用這些數(shù)據(jù)去訓(xùn)練反饋環(huán)節(jié),不斷提升整個(gè)系統(tǒng)的檢索性能.相關(guān)反饋能夠運(yùn)用于人臉檢索,正是由于人臉檢索庫(kù)中存在的人物一般是具有身份標(biāo)簽的,每一個(gè)人臉都會(huì)屬于其中的一個(gè)身份的人,也就是屬于所有類別中的一類,檢索庫(kù)中存在多少個(gè)人也就分成多少個(gè)類.在檢索過程中,如果用戶判斷檢索出的結(jié)果和用戶提交的檢索圖像屬于同一個(gè)人,則認(rèn)為是相關(guān)圖像,否則認(rèn)為是無關(guān)圖像.所有的檢索結(jié)果,用戶認(rèn)為相關(guān)則標(biāo)記為正例,無關(guān)則標(biāo)記為負(fù)例.本文采用的方法是首先將待檢目標(biāo)人臉,利用前文提到的方法得出一個(gè)初步的檢索結(jié)果,再根據(jù)相關(guān)反饋算法,由用戶對(duì)檢索結(jié)果進(jìn)行標(biāo)定,用戶認(rèn)為結(jié)果正確,就標(biāo)為正例,反之則是負(fù)例.再將這些打過標(biāo)簽的檢索結(jié)果組成的訓(xùn)練集輸入到反饋環(huán)節(jié)中,訓(xùn)練產(chǎn)生一個(gè)反饋分類器,之后的檢索結(jié)果就可以通過這個(gè)反饋分類器,判斷出更多正確的結(jié)果.反饋環(huán)節(jié)是一個(gè)分類器,提升反饋環(huán)節(jié)的性能可以使用提升分類器性能的方法.在一定范圍內(nèi)提升參與分類器訓(xùn)練的樣本、調(diào)節(jié)分類器參數(shù)、使用更加優(yōu)秀的度量函數(shù)都可以達(dá)到效果.由于本文的論述重點(diǎn)在于反饋分類器能夠使整個(gè)系統(tǒng)獲得隨著檢索結(jié)果的不斷積累而使性能不斷優(yōu)化的功能.對(duì)反饋分類器的分類效果不滿意時(shí),每次檢索得出的結(jié)果都可以在用戶反饋后加入訓(xùn)練集對(duì)反饋分類器進(jìn)行重新訓(xùn)練.系統(tǒng)性能能夠隨著檢索次數(shù)的增加而不斷提升.因此,本文主要通過改變樣本數(shù)量來仿真系統(tǒng)性能的提升.詳細(xì)的算法流程如表1.

3實(shí)驗(yàn)

為了測(cè)試本文提出的帶相關(guān)反饋的基于深度神經(jīng)網(wǎng)絡(luò)的人臉檢索方法的性能,需要首先對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,本次實(shí)驗(yàn)使用的訓(xùn)練集由LFW上的部分圖片和在互聯(lián)網(wǎng)上下載的圖片組成,圖片一共有大約50000張.部分圖片如圖2所示.測(cè)試數(shù)據(jù)集我們使用的是YouTubeFacesDatabase[14]隨機(jī)選取的20000張圖片,這些圖片包含1595個(gè)不同的人.分別打上1到1595的標(biāo)簽,數(shù)字相同的表示同一個(gè)人.實(shí)驗(yàn)結(jié)果如下.

3.1輸出不同的檢索結(jié)果數(shù),檢索準(zhǔn)確率對(duì)比人臉檢索是通過輸入一張待檢索圖片,輸出用戶需要的一系列被檢索圖片.這里輸出檢索結(jié)果圖片數(shù)量range變化,對(duì)檢索準(zhǔn)確率具有直接的影響.一般來說,檢索準(zhǔn)確率隨著輸出結(jié)果數(shù)增加而下.然而,加入反饋環(huán)節(jié)之后,能夠在一定范圍內(nèi)提升整個(gè)系統(tǒng)的檢索性能.本次實(shí)驗(yàn)為了驗(yàn)證本文所提方法的上述性能,設(shè)計(jì)使range從10變化到20過程中,記錄加入反饋環(huán)節(jié)前后檢索準(zhǔn)確率的變化.實(shí)驗(yàn)結(jié)果如圖3中未加反饋曲線所示,其中橫坐標(biāo)表示range的變化,縱坐標(biāo)表示檢索準(zhǔn)確率.實(shí)驗(yàn)表明,隨著輸出圖片數(shù)量(range)的不斷增加,未加反饋時(shí)檢索的準(zhǔn)確率不斷下降.加入反饋,使用前述相同的數(shù)據(jù)進(jìn)行實(shí)驗(yàn),其結(jié)果如圖4中加反饋曲線所示,前后兩次結(jié)果的對(duì)比表明,本文提出的帶反饋環(huán)節(jié)的檢索方法在輸出多個(gè)結(jié)果時(shí),依然能夠顯著提升檢索的準(zhǔn)確率.

3.2不同數(shù)量的樣本集下反饋環(huán)節(jié)對(duì)檢索性能的影響為了驗(yàn)證樣本個(gè)數(shù)增加對(duì)相關(guān)反饋算法的性能影響,我們選擇測(cè)試樣本數(shù)據(jù)集中樣本總數(shù)分別為5000,10000,20000,30000個(gè).再選擇樣本集中的80%對(duì)哈希檢索函數(shù)進(jìn)行訓(xùn)練,20%進(jìn)行檢索測(cè)試輸出range=20的結(jié)果,收集這些輸出檢索結(jié)果利用相關(guān)反饋算法打上標(biāo)簽,對(duì)反饋環(huán)節(jié)進(jìn)行訓(xùn)練.記錄加相關(guān)反饋前后檢索準(zhǔn)確率.檢索準(zhǔn)確率如圖4所示.從圖4的曲線中,可以發(fā)現(xiàn),未加反饋環(huán)節(jié)時(shí),隨著參與哈希函數(shù)訓(xùn)練的樣本數(shù)據(jù)不斷增加,檢索的準(zhǔn)確率也是呈不斷上升態(tài)勢(shì)的,因此,提高樣本總數(shù),能夠提升哈希檢索的準(zhǔn)確率.但是,無限制地提升樣本個(gè)數(shù)必然會(huì)以犧牲檢索時(shí)間為代價(jià)的.另外,獲取大量的加標(biāo)簽的人臉圖片也是非常困難的工作.而本文方法訓(xùn)練反饋環(huán)節(jié)的標(biāo)簽樣本是多次檢索積累下來的,獲取比較容易.而加入反饋環(huán)節(jié)后,實(shí)驗(yàn)數(shù)據(jù)表明,相同的數(shù)據(jù)量檢索準(zhǔn)確率有顯著提升,且隨著數(shù)據(jù)量的增加,檢索準(zhǔn)確率也是不斷提升的,直到樣本數(shù)到達(dá)20000附近時(shí),反饋環(huán)節(jié)參數(shù)已達(dá)最優(yōu),準(zhǔn)確率達(dá)到峰值.

4結(jié)語(yǔ)

本文在利用卷積神經(jīng)網(wǎng)絡(luò)提取人臉特征并進(jìn)行人臉檢索的基礎(chǔ)上,加入了反饋環(huán)節(jié),利用相關(guān)反饋的算法以用戶對(duì)檢索結(jié)果是否感興趣為標(biāo)準(zhǔn)為樣本打上標(biāo)簽,將打過標(biāo)簽的樣本輸入反饋環(huán)節(jié),訓(xùn)練產(chǎn)生反饋分類器.經(jīng)過實(shí)驗(yàn)驗(yàn)證,上述方法能很好的提升系統(tǒng)的檢索性能,從而證明我們提出的方法是有效的.

作者：沈旭東 范守科 夏海軍 蘇金波 單位：中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系 中國(guó)人民解放軍 63791 部隊(duì) 合肥市公安局 網(wǎng)安支隊(duì)