背景
白細胞（White blood cells, WBCs）是血液的重要組成部分，具有抵抗病毒和**感染的功能。在一定的血容量中，白細胞的數量和比例為醫生診斷相應**提供了有價值的信息。無論是白細胞計數還是形態檢測，需要解決的關鍵問題是實現白細胞的分類和識別。然而，傳統的顯微鏡方法嚴重依賴于操作人員的經驗，檢測方法過于復雜。
近年來，相應的計算機視覺算法和系統已廣泛應用于血細胞自動檢測領域。然而，大多數識別算法只是將特征提取和分類模塊按順序疊加在一起。當樣本空間較小或類間差距不明顯時，這些算法的泛化能力和穩定性就無法得到保證。深度學習具有準確、**、穩定的特點，這在醫學領域和大量圖像的分析和處理中具備巨大應用價值。但是常用的僅基于具有細胞空間特征的灰度或RGB圖像，容易受到多種環境因素的影響，如顯微鏡的光學條件、載玻片的厚度等。
高光譜成像（Hyperspectral imaging, HIS）技術是圖像和光譜技術的結合。獲得的高光譜數據包含被檢測目標的空間和光譜特征。雖然HSI在空間特征的基礎上提供了豐富的光譜信息，但數百個窄波段使得每張高光譜圖像占用過多的內存，巨大的計算資源占用使得快速檢測難以實現。降低計算成本的有效方法是從整個高光譜圖像中選取目標區域作為感興趣區域（Region of interest, ROI），只計算ROI的光譜信息。然而，ROI的獲取必須是手工的，不能滿足快速和自動的要求。
具體研究內容如下：（1）利用高光譜顯微成像（Hyperspectral microscopic imaging, HMI）系統獲取血液涂片中含有白細胞區域的影像，并對每種類型的白細胞進行標記，形成五種分類的數據集。（2）根據VGG16網絡架構構建一維CNN網絡，并基于WBC的光譜數據進行相應的訓練和預測，驗證光譜數據作為WBC分類依據的可行性。（3）與一維CNN相似，采用Faster RCNN作為對照組，基于偽彩*圖像對WBC進行識別分類，觀察基于單一數據的分類準確率。（4）*后，構建了基于圖像和光譜特征的多數據Faster RCNN深度學習模型，并探討多數據聯合在白細胞檢測中的可行性和優勢。
試驗設計
大連工業大學王慧慧教授團隊使用如圖1b所示的HMI系統采集血液圖片的高光譜數據。它由一個image-λ -N17E近紅外高光譜成像系統（江蘇雙利合譜公司）和一個三目生物顯微鏡（Nikon Eclipse 80i）和鹵光源組成。高光譜數據的波長范圍為382.3 ~ 1020.2 nm，光譜分辨率為1.8 nm。
為了驗證高光譜成像數據用于WBC分類的可行性，本研究構建三種網絡模型并探索其性能：基于WBC光譜數據的一維CNN、基于WBC圖像特征的Faster RCNN和基于融合光譜和圖像特征的多數據Faster RCNN。一維CNN參考VGG16，具體結構如圖2所示。圖3是Faster RCNN的詳細結構。其特征提取網絡為Resnet18，RPN網絡可以大大提高檢測WBC等小目標的能力。*后，Dense和Softmax層將建議的框坐標和特定WBC類別作為Faster RCNN的輸出。對原有的Faster RCNN網絡進行修改，即在Faster RCNN的結構中加入光譜數據提取模塊、光譜特征提取網絡（一維CNN）和特征融合（Concatenate）層，構建多數據Faster RCNN檢測模型（圖4）。
圖1 主要研究流程圖
圖2 基于光譜數據的一維CNN結構
圖3 Faster RCNN的結構
圖4 多數據Faster RCNN
結論
如圖5所示，在450 ~ 570 nm波長范圍內存在一個明顯的吸收谷，在640 ~ 680 nm波長范圍內存在一個較小的吸收谷。5種白細胞中，Neu、Eos、Lym和Mon含有酸性磷酸酶和過氧化物酶，Bas含有大量的肝素和組胺酶。同時，Neu還含有堿性磷酸酶，Eos含有芳基硫酸酯酶，Lym含有游離核糖體，Mon含有非特異性酯酶。所有這些成分都是蛋白質。因此，我們認為光譜反射率的差異是由于每個白細胞中所含酶的差異造成的，這兩個吸收谷可能是白細胞檢測模型的重點關注區域。
圖5所有WBC（a）和五種WBC（b）的平均光譜反射率曲線
一維CNN對WBC的分類結果如圖6所示。從圖中可以清楚地看到，模型在第20次迭代時基本收斂，校準集和驗證集的損失分別為0.19和0.26，說明一維CNN對WBC光譜數據具有較強的適應性，適合分類。從混淆矩陣可以看出，每次分類的準確率都達到90%以上，沒有出現過擬合現象，說明該模型具有很好的泛化能力。模型的精度隨著召回率的增加而降低。另外，大多數白細胞的PR曲線在下降之前是穩定的，而Lym和Mon的PR曲線波動幅度較小，推測這兩種白細胞中的酶相似，因此它們的光譜反射率非常接近，使得模型難以有效區分。
圖6 一維CNN的分類結果
WBC二維偽彩色*像應用于Faster RCNN建模。從圖7的光譜波段權重可視化可以看出，模型主要關注400 ~ 570 nm和640 ~ 700 nm范圍內的波段。這兩個范圍內的波段被模型賦予了更多權重，從而包含了更多用于WBC識別的特征信息。在上述波段范圍內，在420.8 nm、536.5 nm和672.8 nm處存在較強的光譜響應峰和波谷，表明其對應的圖像將包含較強的響應信息，選擇這些波峰和波谷進行偽彩*圖像合成。然后，將這三個波段對應的單通道光譜圖像分別映射到R、G、B三個顏色通道進行合成。
圖8顯示了基于Faster RCNN的5種WBC類別在兩種不同圖像下的檢測結果。圖9展示了Faster RCNN模型的具體分類結果。從模型訓練的角度來看，總損失在20次迭代之前迅速下降，80次迭代之后趨于平緩，基本收斂，這證明了Faster RCNN在本WBC圖像數據集中是可行的。與一維CNN相比，Faster RCNN不僅在訓練過程中收斂速度更慢，而且在Neu和Eos中的分類準確率也要低得多。然而，由于Lym的形態特征與Neu和Eos有很大的不同，因此不會與這兩者混淆。
圖10為從預測集得到的CAM圖。重點著色的區域基本集中在白細胞的細胞核上，這證明該模型主要根據細胞核的特征來區分不同的白細胞。而Lym和Mon的細胞核占據了大部分的細胞空間，使得細胞核的形態特征難以識別，導致模型將背景中一些顏色更深、體積更大的紅細胞誤識別為Lym或Mon。然而，紅細胞與白細胞在組成上有很大的不同，這使得它們在光譜反射率上更容易被識別。為此，建立基于光譜反射率和圖像特征的多數據Faster RCNN聯合檢測模型，利用光譜和圖像的融合特征，提高模型對WBC的分類精度。
圖7 基于預測集WBC光譜波長的梯度加權類激活映射
圖8 基于偽彩色*像的Faster RCNN對白細胞的檢測結果
圖9 Faster RCNN的分類結果
圖10 基于Faster RCNN的預測集梯度加權類激活映射
圖11詳細展示了多數據Faster RCNN的分類結果。當迭代次數達到40次時，校準集和驗證集的總損失值分別下降0.008和0.03，然后趨于穩定，證明模型訓練效果良好。與前兩種模型相比，Lym或Mon的分類精度有所提高。此外，各類別之間的混淆較少，表明該模型的預測能力得到了提高。從圖11c和表1可以看出，Lym和Mon的AP值改善*為明顯，分別達到0.917和0.911。融合特征的分類不僅減少了白細胞之間的誤判，而且有效地減少了背景與白細胞目標之間的誤判。證明了多數據聯合檢測相對于單一數據檢測的可行性和優勢。
多數據Faster RCNN在預測集中得到的CAM圖如圖12所示。與單一數據一維CNN聚焦的400 ~ 570 nm和640 ~ 700 nm波段范圍相比，多數據Faster RCNN模型在融合特征的指導下，聚焦的波段范圍分別為380 ~ 570 nm和640 ~ 950 nm。同時，與單一數據Faster RCNN相比，背景的注意區域明顯變窄，暗紅色*域更集中在核區。這表明該模型更關注細胞的各種特征，而不是背景，有利于在復雜情況下準確檢測白細胞，提高模型的泛化能力。
與現有的白細胞檢測方法相比，多數據Faster RCNN可以實現大量白細胞樣本的自動快速檢測，并且HMI的引入可以獲得高質量的細胞高光譜圖像，大大提高了檢測的準確性。該研究為其他生物試驗的高效準確開展提供了技術參考。
圖11 多數據Faster RCNN的分類結果
表1 多數據Faster RCNN在不同WBC分類中的性能比較
圖12 多數據Fasteer RCNN在預測集中的梯度加權類激活映射
作者信息
王慧慧，博士，大連工業大學機械工程與自動化學院教授，博士生導師。
主要研究方向：基于機器視覺的智能檢測研究、裝備數字化設計。
參考文獻：
Zeng, F., Du, Z., Li, G., Li, C., Li, Y., He, X., An, Y., & Wang, H. (2023). Rapid detection of white blood cells using hyperspectral microscopic imaging system combined with Multi-data Faster RCNN. Sensors and Actuators B: Chemical, 389.
https://doi.org/10.1016/j.snb.2023.133865
