基于视频技术的疲劳驾驶识别系统系统方案及工作流程
你好,欢迎来到深圳市合智思创信息技术有限公司!
首页> 新闻资讯> 基于视频技术的疲劳驾驶识别系统系统方案及
公司新闻 行业新闻
基于视频技术的疲劳驾驶识别系统系统方案及工作流程 来源:合智思创 日期:2018-02-03 17:38:50 浏览数:15

摘要:基于视频技术的疲劳驾驶识别系统系统方案及工作流程 驾驶员疲劳监测系统通过视频采集设备获得驾驶员实时图像,自动分析驾驶员的头部姿态、眼睛运动规律以及面部特征等信息来确定驾驶员精神状态,并给出相应的预警提示。研究表明,相比脸部或头部运动规律而言,眼睛的活动规律,如眨眼频率、眨眼快慢、眼睛张开幅度以及眼睛的注视方向等能更好地反映出当前时刻实验对象的精神状态好坏。

基于视频技术的疲劳驾驶识别系统系统方案及工作流程

 

驾驶员疲劳监测系统通过视频采集设备获得驾驶员实时图像,自动分析驾驶员的头部姿态、眼睛运动规律以及面部特征等信息来确定驾驶员精神状态,并给出相应的预警提示。研究表明,相比脸部或头部运动规律而言,眼睛的活动规律,如眨眼频率、眨眼快慢、眼睛张开幅度以及眼睛的注视方向等能更好地反映出当前时刻实验对象的精神状态好坏。

 

因此,如果能够获得每一帧图像中的双眼大小、位置信息以及运动变化,就可以将一段时间内驾驶员的眼部活动规律统计出来,结合疲劳状态分析指标,就能够对驾驶员疲劳状态进行评价。系统流程如图所示:

 

 

 图像预处理

 

在驾驶环境下通过视频流采集的图像会受到诸多因素的影响而包含噪声信息,如分辨率、系统噪声、突变背景等,给接下来的图像运算带来干扰。因此,我们对源图像通过直方图均衡化的手段进行预先处理,去除噪声,增强图像对比度,凸显图像细节,提高图像质量。

 


人脸检测

 

人脸检测环节是人眼定位前的重要步骤。系统采用Adaboost算法,利用提供的样本训练和检测方法。首先采集样本,从已采集的样本集中训练出分类器,该分类器可以很好地区别出人脸和非人脸;在检测环节,加载待检图像帧至分类器中,通过对图像像素点的扫描,找到图像中包含的人脸,标定该区域。后续操作会在已标定的人脸区域中进行,缩小计算区域,排除非人脸因素的干扰,极大地提高了系统的运行速率。

 

  

眼定位

 

该环节包括人眼粗略定位和人眼精确定位两个阶段。首先,根据中国传统的三庭五眼的先验知识,粗略定位肯定存在人眼的大致区域,该区域可能同时包含眉毛,发角等干扰,但却进一步地缩小了计算区域;接着,将人眼粗略区域通过一定阈值转换为二值化图像,再进行垂直方向上的灰度投影,求得直方图,因为人眼和周围皮肤的灰度存在较大差异,所以可从直方图中的波峰波谷判断出人眼上下边缘的Y坐标,继而可对眼睛进行精确定位。

 

 

眼睛状态判断

 

通过最大类间方差法(Otsu)在不同的光线下对人眼精确区域进行不同阈值的二值化,分别获取最佳的人眼睁闭状态时的眼部形状。通过对连续N帧的对比可以判断,黑色像素值面积最小时可认为驾驶员当前处于闭眼状态,其他情况下处于睁眼或者半睁眼状态。

 


疲劳分析

 

系统选取目前公认有效的PERCOLS疲劳程度评价指标,即通过闭眼帧在连续N帧内所占的时间比例来分析疲劳状态,睁眼帧记录为“1”值,闭眼帧记录为“0”值,这样,连续N帧后便可获取关于“1”“0”交错出现的序列,疲劳状态的分析即可用“0”值在该序列中所占的比例来描述,当百分比高于一定的实验比例后即可认为司机可能出现疲劳。

 

通过以上五个步骤的操作处理,系统可由采集设备获取的视频流中分析出当前驾驶员是否处于疲劳状态及疲劳程度,给出不同程度的提醒警报,从而达到系统目标。





疲劳驾驶监测



 

疲劳程度的综合判定

 

驾驶员疲劳的判定会因错误检查带来不良影响,通过 PERCLOS、眼睛闭合时间、眼睛眨眼频率、嘴巴张开程度、头部运动的计算,进行疲劳程度的综合判定,可以准确、有效地进行驾驶员疲劳的检测。

 

PERCLOS

 

PERCLOS是指眼睛闭合时间占某一特定时间的百分率。PERCLOS 方法有 P70P80 EM 三种判定标准。研究表明P80与疲劳程度间具有最好的相关性。

 

嘴巴张开程度

 

嘴巴的状态通常有三种,闭合,说话及打哈欠,在疲劳状态下,人会频繁地打哈欠。在人脸下半部分进行水平灰度投影,观察不同单人图像的水平灰度投影曲线,会发现该区域下半部分的水平灰度投影曲线有一个波谷,即为嘴唇间位置。对人脸下半部分区域二值化,从嘴唇间向上、下计算连通区域(连通区域可以防止鼻孔及胡须对计算带来影响)的像素值,即可得到嘴巴的张开程度。

 

眼睛高度及嘴巴高度补偿

 

在上眼睑到下眼睑的垂直距离及上嘴唇到下嘴唇的垂直距离时,由于驾驶员头部相对于检测设备有位置移动,因此为了实现驾驶员眼睛高度和嘴巴高度的准确计算,需要修正眼睛、嘴巴与检测设备距离相对变化引起的变化。

 

眼睛闭合时间

 

眼睛闭合时间,一般用眼睛闭合到睁开所经历的时间来表示。人处于正常清醒状态时,眼睛闭合时间是很短的,会迅速睁开眼。而当疲劳时,眼睛闭合时间会明显变长,因此眼睛闭合时间能直接反映驾驶员的精神状态。通过计算从眼睛闭合到睁开的最大帧数,帧数越多,闭合时间就越长,则疲劳程度就越严重。

 

眼睛眨眼频率

 

人在疲劳状态下,眨眼频率会比清醒状态下频率高。本文也将其作为一项参数作为疲劳判断的依据。眼睛闭合到睁开为眨眼一次。累加一段时间内眨眼次数,作为疲劳判断的一项参数。

 

头部运动的疲劳参数

 

驾驶员在疲劳状态下会出现频繁点头,头部向前倾。通过水平灰度积分投影得到眼睛瞳孔、嘴角的水平位置。 假设d1为瞳孔水平位置到采集图片的上边缘距离,d2为嘴角的水平位置到采集图片的下边缘距离。在驾驶员疲劳出现点头情况,则 d1增大且 d2减小。驾驶员疲劳时,头部向前倾,则 d1增大且 d2增大。点头和头部向前倾可以作为疲劳判断的一项重要的依据。




疲劳驾驶监测


上一篇:电动车分时租赁如何发展? 下一篇:驾驶人疲劳状态主要监测方法