基于机器视觉的疲劳驾驶检测系统

来源：核心期刊咨询网时间：2020-12-28 10:4412

摘要：摘 要：汽车保有量的持续增加为人们出行带来了极大便利，同时因疲劳驾驶等不当行为引发的交通事故亦频繁发生，严重威胁着广大群众的生命财产安全。考虑到传统的视频监控无法对此进行实时监测与预警，针对这一情况，利用机器视觉和边缘计算模型来实现对驾驶员

　　摘 要：汽车保有量的持续增加为人们出行带来了极大便利，同时因疲劳驾驶等不当行为引发的交通事故亦频繁发生，严重威胁着广大群众的生命财产安全。考虑到传统的视频监控无法对此进行实时监测与预警，针对这一情况，利用机器视觉和边缘计算模型来实现对驾驶员驾驶行为的监测和预警。文中给出了完整的系统架构设计和实现方案，可显著降低交通事故发生的概率，具有很好的应用价值。

　　关键词：机器视觉;边缘计算;实时监测;驾驶行为分析;疲劳驾驶检测;实时显示

　　0 引 言

　　由《2019—2025年中国交通事故现场勘查救援设备行业市场专项调研及投资战略研究报告》可知：每年发生的交通事故平均高达19万起，其中每年因交通事故而死亡的人数达到6万之多。事故的发生多因驾驶员疲劳驾驶等行为造成。据统计，截至2017年，我国六大省市民用汽车保有量超过1 000万辆，机动车驾驶人数量达3.85亿人，汽车驾驶人数超3.42亿人。汽车产业的发展不仅有助于经济增长，更为人们的出行带来了极大便利，但频发的交通事故也为我国交通治理带来巨大挑战。

　　行车记录仪和道路摄像头等传统的監测方式普遍存在智能效果不足等弊端，容易造成存储和计算资源的巨大浪费。通过机器视觉等新技术对驾驶员的疲劳驾驶等典型不当行为进行判定，从而规范驾驶员的驾驶行为，大大降低交通事故的发生概率。基于机器视觉的驾驶行为分析受到了相关行业企业的关注[1-5]，其中文献[2]给出了该领域的最新研究进展，文献[3]和文献[4]基于人脸识别和特征点给出了驾驶行为检测解决方案。文献[5]则采用人眼状态信息的非接触式方法给出疲劳驾驶识别方案。在产业界方面，诺思达公司提出使用机器视觉分析驾驶行为，其分析深入，模式多样，但功能不够丰富，设备费用成本较高，且易受驾驶环境的影响。此外，文献[6]基于边缘计算模式给出了视觉推理方面的相关探索。

　　本文根据实际需要，使用车载终端获取车内摄像头的视频数据，运用机器视觉技术对驾驶行为进行监测和预警，采用边缘计算模型对获取的数据进行有效分析和利用。该模型将数据传入就近设备进行分析，提醒驾驶员并反馈，以有效解决传统方案中存在的高延迟、传输代价高、宽带需求高等问题。此举不仅减少了驾驶员因驾驶行为不当而引发的交通事故，更降低了交通管理难度，提高了运行效率。

　　1 总体方案

　　1.1 系统架构

　　基于机器视觉的驾驶行为监测服务平台分为边缘端、云端两大部分。驾驶行为分析平台结构如图1所示。

　　1.1.1 边缘端

　　边缘端硬件平台包含摄像头、数据处理终端、GPS单元、通信模块以及边缘计算服务器等。为传统车辆环境下的摄像头增加处理单元并与边缘计算服务器交互，可解决车辆内部多路摄像头视频流采集、编码及协同工作等问题。该层负责驾驶行为视频数据的采集、存储，并提供硬件设备支撑。视频设备开启后，对司机的驾驶行为数据进行采集和预处理，并基于算法或预训练模型进行边缘端推理，必要时与边缘服务器进行计算交互。

　　1.1.2 云平台

　　边缘端进行本地驾驶行为数据分析后，需要把分析结果、宏观信息以及实时性要求低的其他分析任务上传云端，借助处理性能更强的云服务器完成进一步分析。云平台通过对计算、存储和网络资源进行池化整合，为应用服务提供支撑。基于实际需要将计算结果推送至Web端展示，管理人员可以通过数据大屏、手机APP等方式查看，为运营管理、决策提供数据支持。同时，也可以通过语音等方式对驾驶员本人的不当驾驶行为进行实时预警。

　　1.2 系统功能模块

　　本平台以疲劳驾驶实时检测为主要目标，具有驾驶行为数据采集、存储、分析以及展示等功能，具体如图2所示。

　　1.2.1 驾驶行为识别

　　基于视频数据完成疲劳驾驶行为识别是本平台的核心，实现思路如下：

　　(1)使用典型的视觉库准确识别出人脸，并精确定位需要判断的区域;

　　(2)借助视觉处理库对图片进行裁剪、缩放、灰度化、归一化等预处理，提高识别准确率;

　　(3)抽象计算公式，通过算法完成特定行为的识别，如对眨眼、打哈欠等行为的识别。

　　1.2.2 违规警报

　　系统完成不当驾驶行为识别后，需要及时发出预警。基于边缘分析设备的支持，系统对获取的本地视频进行分析。使用已经训练好的识别模型对司机的驾驶行为进行实时分析，当发现违规驾驶行为时，语言模块会向司机发出语音警报，并将违规数据上传至云平台备份。系统的语音合成是基于HTTP请求的REST API接口，使用Python将设定好的文本转换为特定格式的音频文件，将合成的语音内容嵌入边缘设备脚本中用于及时对司机的违规驾驶行为进行报警。语音提示的音色与音量可由用户通过硬件设备调节。

　　1.2.3 实时监控

　　除了本地的行为识别和实时预警功能，系统可以通过后台程序获取车内视频流的地址，将处理后的视频推送到前台调用，并在Web端显示。监管人员无须安装应用程序即可通过浏览器页面查看车载终端实时上报的指标数据，特别是运营车队，监管部门能够实时了解驾驶员的驾驶情况。系统不仅支持实时车内视频显示，还可对司机的历史违规情况进行查阅，实现了安全驾驶的准确监控。

　　2 系统设计

　　2.1 疲劳驾驶检测

　　疲劳驾驶预测流程如图3所示。系统读取视频后，从视频中跳帧读取图片，检测到人脸后提取眼睛和嘴巴区域，并对该区域进行判断，之后根据判断情况给出相应的提示。参照文献[1]，本系统根据眼睛纵横比(Eye Aspect Ratio，EAR)以及嘴巴纵横比(Mouth Aspect Radio，MAR)来判断驾驶员是否存在疲劳驾驶行为。为提高检测效率，系统对读取的视频采用跳帧方式提取图片，并用Dlib模型提取人脸坐标的68个坐标点。从坐标轴中提取眼睛和嘴巴区域进行开合度计算。

　　推荐阅读：视觉传达专业论文文献

转载请注明来自：http://www.qikan2017.com/lunwen/wyi/18007.html