基于多特征降维和迁移学习的红外人体目标识别方法

来源：核心期刊咨询网时间：12

摘要：摘 要：針对红外成像条件下人体目标受干扰严重时目标的识别准确性和鲁棒性较差的问题，提出了一种基于多特征降维和迁移学习的红外人体目标识别方法。首先，针对传统的红外人体目标特征提取方法提取某单一特征时存在信息涵盖不全面的问题，提取目标不同种类的

　　摘 要：針对红外成像条件下人体目标受干扰严重时目标的识别准确性和鲁棒性较差的问题，提出了一种基于多特征降维和迁移学习的红外人体目标识别方法。首先，针对传统的红外人体目标特征提取方法提取某单一特征时存在信息涵盖不全面的问题，提取目标不同种类的异构特征，从而充分挖掘出红外人体目标的特点。其次，为了向后续识别分析提供有效且紧凑的特征描述，采用主成分分析方法对融合后的异构特征进行降维。最后，针对带标签的红外人体目标样本数据匮乏、训练样本和测试样本之间的分布及语义偏差导致的泛化性能差等问题，提出了一种有效的基于迁移学习的红外人体目标分类器，可较大程度地提高泛化性能和目标识别准确度。实验结果表明，所提的方法在红外人体目标数据集上的识别准确率达到了94%以上，与使用方向梯度直方图(HOG)特征、亮度自相似(ISS)特征等单一特征进行特征表示的方法以及使用传统的非迁移分类器如支持向量机(SVM)、K-近邻算法(KNN)等进行学习的方法相比均有所提升，且更加稳定，可以在实际的复杂红外场景中提升人体目标识别的性能。

　　关键词：红外;人体目标识别;多特征;降维;迁移学习
 

　　《计算力学学报》(双月刊) 创刊 于1984年，原名《计算结构力学及其应用》,是由教育部主管、大连理工大学和中国力学学会联合主办的专业学术性期刊。

　　红外人体目标识别是红外图像处理和模式识别领域中一个重要的研究分支。由于在红外图像中，人体目标受成像噪声的干扰，对比度一般较低;其次，目标所处的背景一般较为复杂，目标容易被背景所干扰;最后，人体目标姿态多变，且容易被其他物体遮挡，因此，红外人体目标的有效和稳健识别目前仍是一项富有挑战性的课题，对其深入研究有着重要的理论意义和实用价值[1]。

　　为了有效地在红外图像中识别出人体目标，首先需要对红外人体目标图像进行特征提取。为此，研究学者们提出了众多的红外图像目标特征提取方法。例如：文献[2-3]提出采用方向梯度直方图(Histogram of Oriented Gradients， HOG)对红外人体目标形状进行特征提取;文献[4]在分析了红外人体目标特性的基础上，提出了一种基于局部强度差异直方图(Histograms of Local Intensity Differences， HLID)的红外人体目标亮度特征提取方法;文献[5-6]采用局部二进制模型(Local Binary Pattern， LBP)对红外目标进行纹理特征提取;文献[7]针对红外人体目标识别，提出了一种梯度位置方向直方图(Gradient Location-Orientation Histogram， GLOH)对目标进行形状特征提取。以上研究均通过提取红外人体目标的某单一特征对目标进行表示，虽然取得了一定的效果，但是特征描述不全面，导致识别精度不够高。为此，又有学者提出对红外人体目标图像进行多特征提取和融合，改善了识别的性能。比如：文献[8]提出针对红外图像分别采用HOG和Haar-like提取形状和纹理特征进行融合，提高了红外人体目标识别的精度;文献[9]采用HOG提取红外人体目标的形状特征，然后采用边界片段模型(Boundary-Fragment-Model， BFM)提取轮廓特征，一定程度上提升了识别的性能;文献[10]采用了HOG和LBP描述子分别提取形状和纹理等特征，较单一特征而言，有利于目标的识别。从上述分析可以得出如下几点结论：首先，多特征融合确实能提高红外人体目标识别的精度;其次，针对红外人体目标而言，HOG特征已被证明是一种有效的特征提取方式;最后，虽然目前有很多方法提出提取红外人体目标的多种特征，但是有些方法提取的特征是同类的(即非异构特征)，如形状、纹理、轮廓特征反映的实际都是目标的结构信息，因此，它们实际上未能从多个角度提取目标不同类型的特征，识别性能也就无法得到更满意的提升。

　　红外人体目标识别的第二个关键环节是分类器的设计。目前，针对红外人体目标的识别，常见的分类器有基于支持向量机(Support Vector Machine， SVM)的分类器[11-12]、基于AdaBoost的分类器[13]、基于稀疏表示(Sparse Representation， SR)的分类器[14]等。这些分类器虽然都取得了一定的效果，但是为了保证分类模型准确可靠，在进行训练时它们都依赖于两个基本的假设：1)训练样本与新的测试样本需要满足独立同分布的条件;2)必须有足够多的有效样本才能训练出一个性能较好的分类模型。然而，在红外人体目标识别的实际应用中可以发现，这两个条件很难满足。首先，原先可利用的带标签的样本可能变得不可用：由于红外图像特殊的成像原理，即使是同一目标，不同外部环境仍然可能会造成成像结果的巨大差异，导致训练样本与新的测试样本的分布及语义产生较大的偏差。此外，可利用的带标签的红外图像样本数据比较匮乏。因此，如何利用有限的带标签训练样本或源领域数据，建立出一个可靠的模型对目标领域数据进行预测(源领域数据和目标领域数据可以不服从相同的数据分布)变得非常有意义。

　　近年来，迁移学习[15-16]在计算机科学等领域引起了广泛的关注和研究。迁移学习通过迁移已经学习到的知识来解决目标领域中仅含有微量带标签样本的学习问题。现阶段，迁移学习在目标识别与分类问题上已经有了成功的应用。比如：文献[17]针对合成孔径雷达(Synthetic Aperture Radar， SAR)目标识别，进行了SAR模拟数据集和实测数据集的知识迁移，将从模拟数据学习到的知识迁移到实际数据中，由此得到的识别性能比仅在实测数据集上进行训练的识别性能有更大的优势;文献[18]针对异构遥感图像分类问题，设计了一套迭代重加权迁移学习框架，完成了目标的有效识别;文献[19]利用迁移学习模型从源域和目标域中深入挖掘信息，将人脸建模为结构化和近似稳定的表征，从而有效提升了人脸识别的准确性。

　　基于上述分析，针对红外人体目标识别问题，本文提出了一种基于多特征降维和迁移学习的目标识别方法。首先，针对红外人体目标特征提取问题，提出提取目标的形状和亮度两种异构特征进行融合，并通过降维方法获取简洁高效的目标特征。然后，基于迁移学习框架设计了一种有效的分類器应用于红外人体目标的识别过程中，可较大程度地提高识别的准确性。实验结果表明，本文的方法有效提高了复杂背景下红外人体目标识别的性能。

　　1 本文方法

　　本文方法的处理流程如图1所示，包括训练和识别两个模块。在训练模块中，分别采用红外和可见光图像构建源训练样本集(源训练样本集中含有红外人体目标和非人体目标图像)和辅助训练样本集(辅助训练样本集中含有可见光人体目标和非人体目标图像);然后，对不同集合里面的图像分别采用HOG方法提取形状特征，并采用亮度自相似(Intensity Self Similarity， ISS)方法提取亮度特征;接着，将两种异构特征进行融合并采用主成分分析法(Principal Component Analysis， PCA)对其进行降维;最后，基于降维后的特征，训练迁移学习分类器。在识别模块中，给定一幅待识别红外图像，同样首先提取其HOG特征和ISS特征，然后对融合特征进行降维，最后基于降维后的特征，利用已经训练好的分类器进行分类识别，即可得到最终的识别结果。

　　1.1 训练样本集的构建

　　由于实际红外图像目标样本的规模一般较小，且训练样本和测试样本的语义分布存在一定差异。本文提出使用迁移学习框架来有效弥补红外图像目标样本规模过小的不足，提高泛化性能。因此，首先需要构建源训练样本集和辅助训练样本集，共同组成带标签的训练集合。

　　分别采用红外和可见光图像构建源训练样本集和辅助训练样本集，记为S1=[s11，s12，…，s1m]，S2=[s21，s22，…，s2n]，其中m和n分别表示源训练样本和辅助训练样本的个数。将S1和S2进行合并，得到完整的训练样本集：

　　S=[s1，s2，…，sm，…，sm+n](1)

　　对每一个训练样本，添加类别标签，对应的类标集设为：

　　L=[label1，label2，…，labelm，…，labelm+n](2)

　　其中，labeli∈{0，1}为第i个训练样本图像的类标。源和辅助训练样本类标集分别为Ls=[label1，label2，…，labelm]，La=[labelm+1，labelm+2，…，labelm+n]。

　　1.2 异构多特征的提取

　　本文提出分别采用HOG方法提取目标的形状信息和ISS方法提取亮度信息，这两种信息是红外人体目标非常显著的特征，两者结合将形成互补，增强图像特征描述的完备性。

　　1.2.1 基于HOG的形状特征提取

　　基于HOG的形状特征提取方法提取出的特征对目标局部形状的变化以及光照变化具有鲁棒性，因此，被广泛应用于目标识别、跟踪等领域。

　　给定一幅待处理的目标样本图像si(1≤i≤m+n)，首先利用梯度算子求取每个像素点的横向梯度和纵向梯度，分别设为H(x，y)和Z(x，y)，每个像素点的梯度幅度和方向计算式为：

　　M(x，y)=H(x，y)2+Z(x，y)2(3)

　　θ(x，y)=arctan[Z(x，y)H(x，y)](4)

　　然后，将图像分成若干单元，每一单元划分为9个梯度方向，得到一个9维的向量。把相邻的4块单元组成一个块，得到一个36维的特征向量。最后将所有向量连在一起就得到了样本图像的HOG特征向量hogi。

　　最终，可以得到所有训练样本图像的HOG特征集：

　　hog_set=[hog1，hog2，…，hogm+n]T(5)

　　1.2.2 基于ISS的亮度特征提取

　　与可见光图像相比，红外图像没有丰富的颜色信息可利用，富含的是像素点的亮度信息，因此亮度信息是红外图像的一个非常重要的特征[20]。考虑到红外人体目标图像中，人体头部、手臂及腿部区域亮度一般具有极较高的相似性，而躯干部分的亮度与上述区域相比相似度要低很多，根据这个特点，本文提出计算红外人体目标图像中不同块之间的灰度相似度，来表征人体目标的亮度信息。具体方法如下：

　　首先，给定一幅待处理的目标样本图像si(1≤i≤m+n)，对其进行不重叠分块，设分为了u块。统计每一块的灰度直方图信息Hp(1≤p≤u)。

　　然后，针对图像中的任意两块，通过其对应的两个向量Hp、Hq之间夹角的余弦值来表征它们之间的相似度，值越大则代表越相似。两块之间的相似度issp，q计算式如下：

　　issp，q=Hp·Hq‖Hp‖·‖Hq‖(6)

　　这样，可以获得关于样本图像si的一个u×(u-1)/2维的相似度向量，作为样本图像的基于ISS的亮度特征issi。

　　最终，可以得到所有训练样本图像的ISS特征集：

　　iss_set=[iss1，iss2，…，issm+n]T(7)

　　1.3 基于PCA的融合特征降维

　　针对1.2节提取的HOG特征集和ISS特征集，将它们进行串联融合，得到所有样本图像的融合特征集feat：

　　feat=[hog_set，iss_set](8)

　　考虑到融合后的特征维数较大，且特征向量之间可能存在大量的相关性，造成特征表示的繁冗以及计算效率的降低，因此，提出对特征进行有效的降维。目前，常见的特征降维方法有基于PCA的方法[21]和基于线性判别分析(Linear Discriminant Analysis， LDA)的方法[22]，相较于LDA而言，PCA能够保持特征数据的内在信息，去除特征数据之间可能存在的相关性，因此本文采用PCA方法对融合特征向量集feat进行降维。具体过程如下：

　　首先，针对feat，求其协方差矩阵C并计算其特征值。将特征值按从大到小的顺序进行排列，得到λ1，λ2，…，λp，并得到对应的特征向量v1，v2，…，vp。

　　然后，计算累计方差贡献率G(k)：

　　G(k)=∑ki=1λi/∑pj=1λj(9)

　　根據设定的累计方差贡献率阈值，求出主成分的个数k。

　　第三，选取λ1，λ2，…，λp中前k个特征值λ1，λ2，…，λk所对应的特征向量v1，v2，…，vk构成投影矩阵V，利用投影矩阵V对原特征矩阵feat进行投影，即可得到降维后的特征矩阵feat_p：

　　feat_p=feat×VT(10)

　　其中，源训练样本降维后的特征向量集可以表示为Ts=[feat_p1， feat_p2，…， feat_pm]T，辅助训练样本降维后的特征向量集则表示为Ta=[feat_pm+1， feat_pm+2，…， feat_pm+n]T。

转载请注明来自：http://www.qikan2017.com/lunwen/dzi/15224.html