结合注意力机制的面部表情识别方法研究

来源：核心期刊咨询网时间：2022-03-31 11:4212

摘要：摘 要： 传统CNN对重要通道特征关注不足，制约面部表情识别准确率。文章将通道注意力机制应用到面部表情识别中，即将通道注意力模块嵌入到卷积网络中。在Fer2013和CK+表情数据集上的验证结果表明，该方法有较高的识别率。 关键词： 面部表情识别; 通道注意力机制; 卷积

　　摘 要： 传统CNN对重要通道特征关注不足，制约面部表情识别准确率。文章将通道注意力机制应用到面部表情识别中，即将通道注意力模块嵌入到卷积网络中。在Fer2013和CK+表情数据集上的验证结果表明，该方法有较高的识别率。

　　关键词： 面部表情识别; 通道注意力机制; 卷积网络; 表情数据集

　　0 引言

　　面部表情不仅可显示交际者的情绪状态，还可传达交际者的深层思想和情感[1]。Mehrabian的研究表明，人际交往中面部表情所传达的信息占比高达55%[2-3]。在医疗、教育等领域建立人脸表情分析系统具有重要意义[4]。

　　深度学习在面部表情识别中的应用多基于深度网络，国内外许多学者研究了基于深度学习的面部表情识别方法。H. Sikkandar等[5]将改进的猫群算法应用于面部表情识别，取得良好识别效果。邵杰等[6]提出稠密人脸活跃度网络，在Fer2013[7]上获得了71% 的识别率。何俊等[8]改进残差网络，并引入迁移学习，在CK+[9]上实现较高识别率。

　　为了进一步提高面部表情识别的准确率，本文提出一种基于通道注意力的表情识别方法。将通道注意力机制引入残差网络，使网络自动学习每个特征通道的重要性，提升对重要通道特征的关注度。然后设计全连接层，利用Softmax对全连接层的输出进行分类。最后设计对比实验，在公共数据集上进行训练和测试，实验结果表明了本文方法的有效性。

　　1 本文方法

　　1.1 基于通道注意力机制的面部表情识别网络

　　本文创新点是将一种通道注意力机制引入残差网络的BasicBlock中，提出了一种新的表情识别网络，本文将其命名为CAResNet20(CA含义是通道注意力)，其结构如图1。CAResNet20的主体结构是CABasicBlock，是BasicBlock和通道注意力机制的结合体。其结构如图2。

　　CABasicBlock与BasicBlock最大的不同之处是：第二个ReLu激活函数的输出后面接入了新的结构CAlayer，即本文引入的通道注意力机制。

　　1.2 通道注意力机制原理

　　CABasicBlock中的CAlayer，是实现通道注意力机制[10]的主要部分。其结构如图3。

　　首先最左边是经过卷积、批归一化(Batch Normalization)、激活等操作后得到的表情特征图X，该特征图有C个通道，我们希望通过注意力模块来学习出每个通道的权重，从而产生通道域的注意力。这个注意力机制主要分为三部分：挤压(Squeeze)，激励(Excitation)，注意(Attention)。

　　Squeeze：是把每个输入特征图的空间维度从H*W压缩到1，即将一个channel上的整个空间特征编码为一个全局特征。这里通过CAlayer中的AdAvPool层(自适应平均池化)完成。Sequeeze过程的函数表达式如下：

　　其中，[xc]表示的是特征图X中的某个通道特征，[zc]是通道特征压缩后的结果，H和W表示特征图的高和宽。

　　Excitation：学习不同channel之间的非线性关系，保证学习关系不互斥(因为这里有多个通道的全局描述特征)。这里通过CAlayer的FC、ReLu、FC、Sigmoid等层完成。Excitation过程的函数表达式如下：

　　其中，[z]是通道特征壓缩后的结果，[s]表示的是Sigmoid函数，[W1]和[W2]是为全局描述特征所生成的权重。为了降低模型复杂度，提升泛化能力，这里采用包含两个全连接层的bottleneck结构，其中第一个FC层起到降维的作用，降维系数r是个超参数，这里我们选择r=16，然后采用ReLu函数激活。最后的FC层恢复原始的维度。

　　Attention：将Excitation的输出的权重看做是特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。即实现注意力机制。Attention过程的函数表达式如下：

　　通道注意力机制的引入，使得CAResNet20可以更关注信息量最大的信道特性。具体来说，它可以通过学习自动获取每个特征通道的重要性，然后根据重要性，增强有用的特征，抑制对当前任务无用的特征。

　　推荐阅读：计算机通信技术在电子信息工程中的应用研究

转载请注明来自：http://www.qikan2017.com/lunwen/dzi/22888.html