本站小編為你精心準(zhǔn)備了卷積神經(jīng)網(wǎng)絡(luò)下的病理細(xì)胞核分割參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:針對(duì)病理圖像中細(xì)胞核的精準(zhǔn)分割問題，結(jié)合全卷積網(wǎng)絡(luò)框架和高分辨率網(wǎng)絡(luò)框架的特點(diǎn)，提出一種卷積網(wǎng)絡(luò)對(duì)細(xì)胞核進(jìn)行自動(dòng)精準(zhǔn)地分割;基于稀疏非負(fù)矩陣分解的方法將具有嚴(yán)重顏色分布差異的病理圖像進(jìn)行顏色分布?xì)w一化，以歸一化后的圖像為輸入，利用所提出的卷積網(wǎng)絡(luò)對(duì)細(xì)胞核進(jìn)行分割;該網(wǎng)絡(luò)通過減少下采樣算子的使用，使圖像信息在前向計(jì)算過程中不會(huì)過分丟失，并使用擴(kuò)張卷積擴(kuò)大深層神經(jīng)元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理數(shù)字圖像分割數(shù)據(jù)集中達(dá)到0.848的平均dice分?jǐn)?shù);實(shí)驗(yàn)表明，融合全卷積網(wǎng)絡(luò)框架和高分辨率網(wǎng)絡(luò)框架的卷積網(wǎng)絡(luò)在病理圖像中實(shí)現(xiàn)了細(xì)胞核自動(dòng)精準(zhǔn)的分割，可以有效減輕影像醫(yī)師的工作負(fù)擔(dān)。

關(guān)鍵詞:病理圖像;細(xì)胞核分割;卷積神經(jīng)網(wǎng)絡(luò);顏色歸一化

引言

在各種疾病檢查方法中，病理診斷一直是最可靠的診斷方式。該診斷方式主要是根據(jù)顯微鏡下所觀察到的病變組織細(xì)胞結(jié)構(gòu)做出診斷，相比于臨床上根據(jù)超聲、CT影像所作出的診斷分析更加準(zhǔn)確和客觀。由于各種癌癥病變的根本原因在于細(xì)胞核中遺傳物質(zhì)的改變，導(dǎo)致癌變后的細(xì)胞和癌變前的正常細(xì)胞在形狀大小上有了明顯的差異，所以病理圖像中細(xì)胞核的精準(zhǔn)分割是病理診斷的基礎(chǔ)性工作。所幸的是，細(xì)胞核可以通過特定染色而呈現(xiàn)出來，使得病理圖像中細(xì)胞核的精準(zhǔn)分割這個(gè)目標(biāo)得以實(shí)現(xiàn)［1］。形變模型是目前細(xì)胞核精準(zhǔn)分割的流行方法，包括CV模型、GAC模型和Snake模型及其變種模型，其思想是極小化由輪廓曲線所定義的能量泛函，從而使得初始化邊緣輪廓向目標(biāo)邊界演變進(jìn)化。Qi等［2］提出了基于GAC模型的細(xì)胞分割模型，并通過增加約束項(xiàng)使得兩個(gè)相鄰細(xì)胞的輪廓曲線不會(huì)互相合并;Lu等［3］則將形狀先驗(yàn)約束引進(jìn)了距離正則化水平集模型上，為宮頸重疊細(xì)胞的分割提供了一個(gè)解決思路;Kong等［4］先是獲取形狀先驗(yàn)信息，然后將其和水平集模型結(jié)合起來，并添加稀疏性約束對(duì)細(xì)胞核進(jìn)行分割;近年來，卷積神經(jīng)網(wǎng)絡(luò)模型在大量視覺領(lǐng)域的應(yīng)用問題中達(dá)到甚至超越了人類水平，所以該模型逐漸成為大量圖像應(yīng)用問題的首要選擇;Sirinukunwattana等［5］根據(jù)卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)結(jié)腸腺癌病理圖像中的細(xì)胞核進(jìn)行檢測;Xing等［6］則是先通過卷積神經(jīng)網(wǎng)絡(luò)模型得到分割結(jié)果概率圖，然后利用稀疏形狀模型和局部形變模型在病理圖像中分割細(xì)胞核。本文首先使用保持結(jié)構(gòu)的基于稀疏非負(fù)矩陣分解的方法對(duì)病理圖像做顏色分布?xì)w一化，然后結(jié)合全卷積網(wǎng)絡(luò)框架(FullyConvolutionalNetwork，F(xiàn)CN)［7］和高分辨率網(wǎng)絡(luò)框架(HighResolutionNetwork，HRN)［8］的特點(diǎn)，提出一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)病理圖像中的細(xì)胞核進(jìn)行自動(dòng)精準(zhǔn)地分割。所提出的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)2017年MICCAI(MedicalImageComputingandComputerAssistedIntervention)病理數(shù)字圖像分割比賽數(shù)據(jù)集中4種不同癌癥病變的病理圖像的細(xì)胞核進(jìn)行分割，并分析比較每種病理圖像中細(xì)胞核的分割情況。

1病理圖像顏色歸一化

MICCAI數(shù)據(jù)集由4種不同癌癥病變的病理圖像組成，包括非小細(xì)胞肺癌(NSCLC)、頭頸部鱗狀細(xì)胞癌(HNSCC)、多形性膠質(zhì)母細(xì)胞癌(GBM)和低級(jí)別膠質(zhì)瘤(LGG)。每種癌癥病變各8張病理圖像，每張圖像的空間尺寸大小為500×500或600×600，且每張圖像都配備有專業(yè)醫(yī)師勾勒的細(xì)胞核邊界圖，稱為分割金標(biāo)準(zhǔn)。在染色過程中，由于染色手法和染色時(shí)間等因素，造成不同的病理圖像呈現(xiàn)出不同的顏色分布，為細(xì)胞核的精準(zhǔn)分割帶來了極大的困難。所以在利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)細(xì)胞核進(jìn)行分割之前，首先需要對(duì)每張病理圖像做顏色歸一化。所采用的顏色歸一化方法是保持結(jié)構(gòu)的基于稀疏非負(fù)矩陣分解的顏色歸一化方法［9］。首先根據(jù)Beer-Lambert定律將給定的RGB圖像轉(zhuǎn)化成光密度圖像:其中I為原始病理圖像，而I0為入射光強(qiáng)度，W∈Rm×r表示染料顏色矩陣，其每一列代表顏色基，r為染色劑種類數(shù)，H∈Rm×n為染色密度矩陣。然后，通過增加對(duì)染色混合系數(shù)Hj的稀疏正則化提出了改進(jìn)的代價(jià)函數(shù)，代價(jià)函數(shù)為其中，V為原始圖像的光密度圖，λ為稀疏正則項(xiàng)系數(shù)，j=1，2，…，r為染劑指標(biāo)。在式(1)中對(duì)W的限制條件是為了防止產(chǎn)生多個(gè)類似(W/α，αH)的解。式(1)根據(jù)交替迭代的算法求解W和H，即固定一組參數(shù)的情況下求解另一組參數(shù)。這樣，一張圖像可以被分解成兩個(gè)矩陣相乘的形式。對(duì)整個(gè)數(shù)據(jù)集做顏色歸一化操作時(shí)，首先從數(shù)據(jù)集中隨機(jī)選取一張病理圖像T，然后將其余病理圖像的顏色分布?xì)w一化成圖像T的顏色分布。具體地，對(duì)待處理圖像S做如下分解:然后結(jié)合S的染色密度矩陣和T的染料顏色矩陣，其中，HMT(j，:)和HMS(j，:)分別表示T和S的染色密度矩陣第j行最大值，Inorm為顏色歸一化后的圖像。在圖1中，展示的是原病理圖像和顏色歸一化后的圖像數(shù)據(jù)。注意原本的顏色分布差異過大，而歸一化后顏色分布差異變小。

2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)模型是一個(gè)多層級(jí)的計(jì)算模型，通過在輸入圖像上反復(fù)使用線性卷積運(yùn)算和非線性激活運(yùn)算，將表示圖像中目標(biāo)物體的特征逐步提取出來，且其含有語義信息的高級(jí)抽象特征是通過低級(jí)特征如邊緣、角點(diǎn)特征等逐步整合形成的［10］。卷積神經(jīng)網(wǎng)絡(luò)的卷積層、池化層或和殘差層等算子都遵守以下計(jì)算公式:Xl+1=h(Xl)+f(Wl，l+1*Xl+b)其中Xl+1，Xl分別表示第L層的輸出特征圖和輸入特征圖;Wl，l+1表示該層的卷積核，b表示偏置項(xiàng)，而*表示卷積運(yùn)算;f表示非線性激活函數(shù)，而h在卷積層和池化層中是零算子，即其函數(shù)值一直為0，而在殘差層則是恒等算子。卷積層是卷積神經(jīng)網(wǎng)絡(luò)的基本部件，該層的計(jì)算過程可以用4個(gè)參數(shù)K，F(xiàn)，P，S完全表達(dá)，其中K是卷積核個(gè)數(shù)，F(xiàn)是卷積核空間尺寸大小，P是輸入特征圖的補(bǔ)零數(shù)，而S是卷積核在各個(gè)空間維度上的移動(dòng)步長。自FCN框架提出之后，卷積神經(jīng)網(wǎng)絡(luò)得以全卷積化，從而可以應(yīng)用于圖像語義分割任務(wù)中。但在FCN網(wǎng)絡(luò)框架中由于過多下采樣算子(如池化層作用或步長大于1的卷積層作用)的存在，使得大量圖像信息在前向傳播過程中被強(qiáng)制丟失。這些信息不僅僅包括圖像中背景和噪聲的信息，還包含目標(biāo)物體的特征信息。因此，HRN框架是繼FCN框架之后的一個(gè)必然嘗試。在HRN框架中，網(wǎng)絡(luò)不采取任何下采樣算子，所以圖像數(shù)據(jù)的分辨率在前向計(jì)算過程中保持不變。但深層神經(jīng)元在輸入層局部感受野的尺寸大小是卷積神經(jīng)網(wǎng)絡(luò)性能卓越的必要保證，所以HRN框架利用擴(kuò)張卷積擴(kuò)大卷積核的作用區(qū)域，從而擴(kuò)大深層神經(jīng)元的局部感受野。擴(kuò)張卷積完全由擴(kuò)張率d所定義，設(shè)卷積核W的空間尺寸大小為F×F，擴(kuò)張后的卷積核為V。W中任意兩個(gè)元素的相對(duì)位置在V中保持不變，而根據(jù)預(yù)設(shè)的擴(kuò)張率d，其相鄰兩個(gè)元素在水平或垂直方向上相距d－1個(gè)單位，且每個(gè)單位上的值都是0。

3分割卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在HRN框架中，需要保證深層神經(jīng)元在輸入層的局部感受野的尺度大小，僅使用擴(kuò)張卷積需要堆疊大量的卷積層，這往往會(huì)導(dǎo)致梯度彌散現(xiàn)象的發(fā)生。為了克服這個(gè)問題，在使用殘差連接輔助梯度信息后向傳播的同時(shí)，仍然需要少量的下采樣算子。而且，下采樣算子可以丟棄輸入圖像中的背景信息和噪聲信息，所以我們提出的分割卷積神經(jīng)網(wǎng)絡(luò)包含且僅包含一個(gè)下采樣算子，該下采樣算子是步長為2的卷積層作用，實(shí)現(xiàn)了特征圖空間維度的減半。相對(duì)應(yīng)地，需要使用一個(gè)由轉(zhuǎn)置卷積算子定義的上采樣操作，將特征圖的空間尺寸大小恢復(fù)原圖大小。在本文中，分割卷積網(wǎng)絡(luò)輸入圖像的空間尺寸大小是200×200，在經(jīng)過一個(gè)參數(shù)為(K，F(xiàn)，P，S)=(16，5，2，1)的卷積層conv1作用之后，就根據(jù)參數(shù)為(32，3，1，2)的卷積層conv2作用進(jìn)行特征圖空間尺寸的下采樣。之后conv2的輸出特征圖將經(jīng)過連續(xù)7個(gè)殘差層res1～7的作用，其中每個(gè)殘差層包含兩個(gè)卷積層作用，參數(shù)都是(32，3，1，1)，并且每個(gè)殘差層各配備一個(gè)擴(kuò)張率。這7個(gè)殘差的擴(kuò)張率分別為(1，1，1，2，4，8，16)。之后，res7的輸出特征圖將通過轉(zhuǎn)置卷積的作用進(jìn)行上采樣，并與conv1的輸出特征圖做逐位加和，所得到的輸出特征圖將通過3個(gè)卷積層的作用得到分割結(jié)果概率圖，這3個(gè)卷積層的參數(shù)分別是(16，5，2，1)，(8，3，1，1)和(2，1，0，1)。分割卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其參數(shù)在表1中詳細(xì)給出。

4實(shí)驗(yàn)與分析

在MICCAI數(shù)據(jù)集上驗(yàn)證了所搭建的分割卷積神經(jīng)網(wǎng)絡(luò)。對(duì)4類不同的癌癥病理圖像，每類各選取7張病理圖像進(jìn)行訓(xùn)練，且各留下1張尺寸大小為600×600的圖像用于測試網(wǎng)絡(luò)的分割性能。對(duì)每張訓(xùn)練圖像，根據(jù)步長30在各個(gè)空間維度上進(jìn)行游走并裁剪尺寸大小為200×200的圖像塊作為網(wǎng)絡(luò)的輸入。對(duì)500×500的歸一化病理圖像，可裁剪100張輸入圖像;而對(duì)于600×600大小的歸一化病理圖像，可裁剪169張輸入圖像。最終，共有訓(xùn)練圖像3940張，并且需要對(duì)分割金標(biāo)準(zhǔn)做同樣的操作。對(duì)4類癌癥的測試圖像，根據(jù)步長200在兩個(gè)空間維度上進(jìn)行游走并裁剪圖像塊。由于每張測試圖像的大小為600×600，所以剛好可以得到9張輸入圖像，從而分割網(wǎng)絡(luò)對(duì)測試圖像的量化指標(biāo)值就是網(wǎng)絡(luò)在這9張輸入圖像上的量化指標(biāo)值的平均值。在實(shí)驗(yàn)中，我們使用ddice作為主要量化指標(biāo)，并以ddiceLoss=1－ddice作為網(wǎng)絡(luò)訓(xùn)練的誤差函數(shù)，而其他量化指標(biāo)分別是查準(zhǔn)率(pprecision)和查全率(rrecall)。表2詳細(xì)給出了分割卷積網(wǎng)絡(luò)在4類病例圖像上的分割情況。分割卷積神經(jīng)網(wǎng)絡(luò)在整個(gè)數(shù)據(jù)集上的平均ddice分?jǐn)?shù)是0.848，平均查全率是0.813，平均查準(zhǔn)率是0.893。圖3中展示的是HNSCC測試圖像，而圖4給出了網(wǎng)絡(luò)在HNSCC測試圖像上的分割結(jié)果和分割金標(biāo)準(zhǔn)的對(duì)比。其中灰色區(qū)域表示分割金標(biāo)準(zhǔn)，而黑線表示分割結(jié)果。

5結(jié)束語

細(xì)胞核的精準(zhǔn)分割是病理診斷的基礎(chǔ)工作，有十分重要的應(yīng)用價(jià)值和研究價(jià)值。由于染色過程造成的病理圖像顏色分布的差異，我們首先使用保持結(jié)構(gòu)的基于稀疏非負(fù)矩陣分解的方法對(duì)所有病理圖像進(jìn)行顏色分布?xì)w一化，避免直接在原病理圖像中分割細(xì)胞核會(huì)碰到的困難。然后以歸一化后的圖像數(shù)據(jù)作為網(wǎng)絡(luò)輸入，利用所提出的分割卷積神經(jīng)網(wǎng)絡(luò)對(duì)細(xì)胞核進(jìn)行自動(dòng)精準(zhǔn)地分割。該分割卷積網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合了FCN框架和HRN框架的特點(diǎn)，通過減少下采樣算子的使用，使得圖像信息在前向計(jì)算過程中不過分丟失，并使用擴(kuò)張卷積算子擴(kuò)大深層神經(jīng)元在輸入層的局部感受野尺度大小，保證卷積網(wǎng)絡(luò)的分割性能。所采用的分割方案在2017年MICCAI病理數(shù)字圖像分割數(shù)據(jù)集中達(dá)到0.848的平均dice分?jǐn)?shù)。實(shí)驗(yàn)表明，融合全卷積網(wǎng)絡(luò)框架和高分辨率網(wǎng)絡(luò)框架的卷積神經(jīng)網(wǎng)絡(luò)在病理圖像中實(shí)現(xiàn)了細(xì)胞核的自動(dòng)精準(zhǔn)地分割，可以有效減輕影像醫(yī)師的工作負(fù)擔(dān)。另一方面，深度學(xué)習(xí)方法的性能主要依賴于訓(xùn)練數(shù)據(jù)量的大小，而病理圖像數(shù)據(jù)集屬于小數(shù)據(jù)集。如何在小數(shù)據(jù)集中更好地應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)一步提升病理圖像中細(xì)胞核的分割精度，是未來需要持續(xù)研究的工作。

作者：吳宇靂 李淵強(qiáng) 單位：南京理工大學(xué)