基于卷积神经网络和组规范化的垃圾图像分类研究

来源：核心期刊咨询网时间：12

摘要：[摘 要]为了解决社会中的垃圾分类的问题，提出了一种基于卷积神经网络和群体标准化的垃圾图像分类方法。不需要输入复杂的图像处理，网络模型可以根据生成算法来提取图像的特征由集团标准化和网络模型的每一层之间的合作，克服传统分类算法的缺点，实现垃圾图

　　[摘 要]为了解决社会中的垃圾分类的问题，提出了一种基于卷积神经网络和群体标准化的垃圾图像分类方法。不需要输入复杂的图像处理，网络模型可以根据生成算法来提取图像的特征由集团标准化和网络模型的每一层之间的合作，克服传统分类算法的缺点，实现垃圾图像的准确分类。实验表明，该方法具有较高的准确率，能够识别出不可进行回收处理垃圾和可回收垃圾。

　　[关键词]卷积神经网络;组规范化;图像分类;机器学习

　　垃圾分类是垃圾终端处理设施运转的基础，实施生活垃圾分类，可以有效改善城乡环境，促进资源回收利用。应在生活垃圾科学合理分类的基础上，对应开展生活垃圾分类配套体系建设，根据分类品种建立与垃圾分类相配套的收运体系、建立与再生资源利用相协调的回收体系，完善与垃圾分类相衔接的终端处理设施，以确保分类收运、回收、利用和处理设施相互衔接。只有做好垃圾分类，垃圾回收及处理等配套系统才能更高效地运转。

　　近年来，人口老龄化加快，我国出现清洁工招人困难，服务行业用工成本攀升等问题。包括清洁工在内的服务行业缺少劳动力成为了行业普遍面临的瓶颈问题。少子化也让更多人不愿做重复枯燥的清洁工等工作。在消费水平提升、需求增长等多方面共同推进下，垃圾清理机器人将会成为机器人领域的热点，我国的垃圾清理机器人将迎来巨大的机遇和发展空间。加大垃圾清理机器人的研究可以使得机器人技术更快服务于人类社会。

　　1 相关深度学习方法

　　深度学习在图像进行处理领域的主要通过网络经济结构包括：深度神经网络、深度信念网络、循环神经网络、生成对抗网络和卷积神经网络。以垃圾图像分类为例。在输入阶段，硬件设备通过系统采集垃圾图像的光学信息，经过预处理、特征提取和分析将冯世华的数据输入算法进行计算和输出。卷积神经网络经过在公安、军事、农业等领域的多次应用，在机器视觉领域发展有着一个非常优异的性能，因此已经被应用在各种解决方案中。

　　1982年福岛等人首次提出了深度學习模型，但没有得到重视。直到2012年，Krizh等人提出了一种新的深度结构和Dropout方法，该方法成功赢得了计算机视觉Imagenet竞赛，CNN正式进入人们的视野。神经网络在 2012 年崭露头角，Alex Krizhevsky 凭借它们赢得了那一年的 ImageNet 挑战赛(大体上相当于计算机视觉的年度奥林匹克)，他把分类误差记录从 26 % 降到了 15 %，在当时震惊了世界。自那之后，大量公司开始将深度学习用作服务的核心。Facebook 将神经网络用于自动标注算法、谷歌将它用于图片搜索、亚马逊将它用于商品推荐、Pinterest 将它用于个性化主页推送、Instagram 将它用于搜索架构。

　　1.1 卷积神经网络

　　卷积神经网络是一种典型的深度学习算法，一种具有深度结构和卷积计算的前馈神经网络算法。它是多层感知器的一个变体模型。时滞神经系统网络和Lenet-5是最早的卷积进行神经通过网络。卷积神经网络仍然是一个层次网络，但层次的功能和形式发生了变化，这是对传统神经网络的改进。典型的卷积进行神经系统网络由输入层、卷积层、池化层、全连接层和输出层组成。从本质上讲，卷积神经网络是一种通过输入-输出映射。它可以学习输入和输出之间的大量映射关系，而无需输入和输出之间的精确数学表达式。卷积网络的思想是将局部接收场、权重分担和时空二次抽样三种结构思想结合起来，以获得一定程度的位移、尺度和变形不变性。卷积神经网络只要用已知的模式进行训练，网络就具有对应输入和输出对应的映射学习能力。

　　1.2 组规范化

　　总结来说，Group Normbalization(GN)是一种新的深度学习归一化方式，可以替代BN。众所周知，BN是深度学习中常使用的归一化方法，在提升训练以及收敛速度上发挥了重大的作用，是深度学习上里程碑式的工作，但是其仍然存在一些问题，而新提出的GN解决了BN式归一化对batch size依赖的影响。

　　BN全名是Batch Normalization，其是一种归一化方式，而且是以batch的维度做归一化，那么问题就来了，此归一化方式对batch是independent的，过小的batch size会导致其性能下降，一般来说每GPU上batch设为32最合适，但是对于一些其他深度学习任务batch size往往只有1～2，比如目标检测，图像分割，视频分类上，输入的图像数据很大，较大的batchsize显存吃不消。导致分组(group)的因素有很多，比如频率、形状、亮度和纹理等，HOG特征根据orientation分组，而对神经网络来讲，其提取特征的机制更加复杂，也更加难以描述，变得不那么直观。另在神经科学领域，一种被广泛接受的计算模型是对cell的响应做归一化，此现象存在于浅层视觉皮层和整个视觉系统。如图1所示。

　　2 垃圾分类方法设计

　　卷积神经系统网络是深度合作学习的代表算法技术之一，是一种发展具有卷积计算和深度结构的前馈神经通过网络传统的卷积神经网络算法主要由卷积层、汇聚层和全连接层组成。与传统模型相比，RESNET模型引入了残差函数的概念，同时通过引入dropout算法来解决过拟合分析问题。我们希望对每个神经元，激励函数都能尽量区分出z值变化，这样每个神经元的表达能力更强，但sigmoid明显在|z|>4的区间的梯度就不够看了，即它的梯度消失了。相比之下，ReLU输出就很稳定，因为他z>0区间就是一个线性函数!不存在sigmoid的梯度消失的问题。另一个ReLU很给力的地方就是稀疏度问题。就是我们希望每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值，使劲儿放大;不符合的，一刀切掉。算法流程如图2所示。

　　2.1 resnet模型

　　对于资源网络模型，引入了残差元素，加入身份映射，ResNet使用两种残差单元。对应的是浅层网络和深层网络。对于短路连接，当输入和输出维度一致时，可以直接将输入加到输出上。但是当维度不一致时(对应的是维度增加一倍)，这就不能直接相加。有2种策略：(1)采用zero-padding增加维度，此时一般要先做一个downsamp，可以采用strde=2的pooling，这样不会增加参数;(2)采用新的映射(projection shortcut)，一般采用1×1的卷积，这样会增加参数，也会增加计算量。短路连接除了直接使用恒等映射，当然都可以采用projection shortcut。也就是说，f(X)=h(X)-x。Resnet更适合于训练学生深度学习卷积神经系统网络。由于lamp的增加和训练样本较小，会发生过拟合。为了解决这一问题，采用dropout丢弃算法。

　　2.2 dropout丢弃算法

　　由于RESNET可以训练较深的卷积神经网络，误差较小，随着时间卷积层数量的增加，会出现过拟合分析问题。现在过拟合表： 模型在训练数据中的损失函数值小，预测精度高。丢弃算法是提高模型泛化能力的一种方法。神经系统网络单元可以根据企业一定的概率暂时从网络中丢弃。但在试验研究数据中，损失函数值比较大，預测模型精度要求较低。为了减少过拟合现象，bn与Dropout同时引入，在一定影响程度上达到了一个正则化效果，增加了迭代次数。原理是随机将某些神经元的输出设置为 0，概率为 0，不参与正向影响传播，也不参与反向进行传播。

　　2.3 特征提取

　　于己而言，特征是某些突出性质的表现，于他而言，特征是区分事物的关键，所以，当要对事物进行分类或者识别，实际上就是提取‘特征’，通过特征的表现进行判断。卷积神经系统网络的卷积检查应该是作为一个学生接受域，使得每个神经元不需要感知全局图像，只需要感知局部图像数据区域。然后，在更高的层次上，结合不同感知区域的神经元，可以获得全局信息。2个3×3堆叠卷积层的有限接收场为5×5，三个3×3叠加卷积层的接收场为7×7。因此，小卷积层的叠加分析可以通过提升大卷积层的点，而感知场的大小保持不变。这里，左卷积的核大小是3：3。

　　2.4 群组归一化

　　导致分组(group)的因素有很多，比如频率、形状、亮度和纹理等，HOG特征根据orientation分组，而对神经网络来讲，其提取特征的机制更加复杂，也更加难以描述，变得不那么直观。另在神经科学领域，一种被广泛接受的计算模型是对cell的响应做归一化，此现象存在于浅层视觉皮层和整个视觉系统。 Bn有许多学生优点，例如，加快进行训练发展速度，缓解梯度扩散，等等，但Bn层接近批量大小，如果数量太小会太多的干涉，因为每次计算一批均值和方差时，如果体积太小，则均值和方差的计算不足以表示整个数据分布。可以看出BN对批量大小有很强的依赖性。

　　2.5 relu激活函数

　　当将 ReLU 函数引入神经网络时，也引入了很大的稀疏性。稀疏是指数量少，通常分散在很大的区域。在神经网络中，这意味着激活的矩阵含有许多 0。当某个比例(比如 50 %)的激活饱和时，就称这个神经网络是稀疏的。这能提升时间和空间复杂度方面的效率——常数值(通常)所需空间更少，计算成本也更低。Yoshua Bengio 等人发现 ReLU 这种分量实际上能让神经网络表现更好，而且还有前面提到的时间和空间方面的效率。

　　Softmax函数分析又称归一化指数进行函数，它是在多分类中促进sigmiod，其目的是以概率的形式表达多分类的结果训练进行回归分析模型后，softmax可以同时通过数据输入任意样本基本特征的图来预测输出类别的概率。在多分类管理过程中，将多个不同神经元的输出映射到[0，1]区间，进行多分类。Softmax回归也是一个单层神经网络，输出层相当于全连接层。以预测概率最高的类别作为神经网络的最终输出类别，从而实现图像分类。

　　推荐阅读：计算机图像处理与识别技术分析

转载请注明来自：http://www.qikan2017.com/lunwen/wyi/18748.html