毕业论文：基于头部运动的鼠标控制的研究

毕业设计（论文）
题目：Head mouse-基于头部运动的鼠标控制的研究

院（系） 　计算机科学与技术　
专 业 计算机科学与技术　
届 别 　08级 　

摘要
残疾人一直是社会中的弱势_，因自身的缺陷使生活带来不便外，更不能像正常人一样享受科技发展带来的种种福利。
为了使上肢残疾人士共享网络信息资源本论文提出了一种用摄像头代替传统手动操作鼠标作为输入设备，通过人脸特征检测判断眼睛和嘴唇在视频帧图像中的位置来控制鼠标操作。
本项研究专注于没有手或身体瘫痪的残疾人如何更加方便使用电脑。本项研究提出基于MFC的OpenCV[1]（Open Source Computer Vision Library）函数库下的Visual Studio编程人脸检测系统，用Web Camera[2]作为人机界面的接口，对扫描的视频进行实现主要为背景处理、人脸特征定位和鼠标控制三个阶段。本课题通过研究CV运动分析与KLT对象跟踪特征点选取与建模，再加入对鼠标的控制来最终实现人脸控制鼠标的目的。通过对人的头脸部运动进行捕捉，实现对计算机的控制，达到输入的目的，从而摆脱对鼠标的依赖。本次毕业设计要求掌握人脸的捕捉，通过头部运动来控制鼠标的移动,通过人脸的动作（诸如眨眼、弥嘴等）来控制鼠标的单击或双击行为。
目前基于OpenCV的人脸识别模块已经日臻成熟，业界也有不少关于人脸识别的研究。本课题主要研究的是KLT[3]跟踪算法下通过特征点的选取来构建人眼与嘴的特征三角形，通过人脸移动引起的三角形内角度变化来实现鼠标的移动控制，并通过眨
……（新文秘网https://www.wm114.cn省略1107字，正式会员可完整阅读）……　
points selection and modeling capturing the movement of the head and face, to achieve control of the computer, input purposes also. To get rid of the dependence of mouse, the graduation project are required to master the capture of the face, through head movements to control the movement of the mouse, though movements of the face (such as the blink of an eye and mouth, etc.) to control a mouse click or double-click behavior.
Based on OpenCV face recognition module has matured，the industry has a lot of research on face recognitions. The main subject of study is KLT tracking algorithm through the selection of feature points to build the human eye and the mouth of the characteristic triangle. Move through the human face, causing the angle of a triangle changes. These are challenging fields, be Worth of study.

Key words: Web Camera, face, recognition, mouse, control

目录

摘要 I
ABSTRACT II
第一章 引言 5
1.1 课题背景 5
1.2 课题研究目标和工作内容 6
第二章 开发背景 7
2.1 OPENCV 简介 7
2.2人脸识别背景与主要研究方法 7
2.3 KLT算法研究现状 9
第三章 软件设计 10
3.1系统配置及编程环境 10
3.2 OPENCV函数库配置 10
3.3基于MFC 的OPENCV 视频人脸检测 11
3.4软件总体结构设计 16
第四章 成品展示 17
结语 22
注释 24
参考文献 25
致谢 26


第一章 引言

1.1 课题背景
根据联合国人口署的统计在全球60多亿人口中有近亿人在肢体、视力、听力、智力、认知力等方面存在不同程度的残障。在中国每亿人口中就有数万残疾人。从更广的角度来看在行动、视力、听力、语言能力等方面存在障碍、需要我们特别关注的绝不仅仅局限于残疾人人们的行动能力、视力、听力等身体机能也会随着年龄的增长而衰退。为了使残疾人士共享信息化带来的便利本论文研究设计出眼控鼠标系统期望通过对摄像头捕获的包含人脸图像的处理定位出使用者双眼和唇的位置并根据该位置信息控制鼠标操作电脑用摄像头作为手动操作鼠标的替代输入设备使上肢残疾人士同计算机的交互变得自然简单达到无障碍的目的。
该课题主要研究的是基于开源的计算机视觉库OpenCV（Open Source Computer Vision Library）。OpenCV是一个基于BSD许可证授权（开源）发行的跨平台计算机视觉库，可以运行在Linu*、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。本课题通过研究CV运动分析与KLT对象跟踪特征点选取与建模，再加入对鼠标的控制来最终实现人脸控制鼠标的目的。
在个人电脑飞速发展的今天，鼠标当仁不让的成为了人机交互的最主要的设备之一。通过人脸控制鼠标可以实现非接触式的操作，进而减少因手脚不便借来的种种麻烦。这对于喜欢电脑的残疾人来说无疑是喜讯。计算机视觉处理是个有着巨大发展前景的领域，随着数字技术的发展，计算机功能的日益强大，对图像和视频处理的能力也越来越强大。特别是一些如OpenCV函数库的问世更加方便了人们的视觉处理操作。人脸识别仅仅是计算机视觉中的一个小小的应用，但它却可以应用到不同的领域，本课题的研究是十分有意义的。

1.2 课题研究目标和工作内容
为了使上肢残疾人士共享网络信息资源本论文提出了一种用摄像头代替传统手动操作鼠标作为输入设备，通过人脸特征检测判断眼睛和嘴唇在视频帧图像中的位置来控制鼠标操作电脑的鼠标系统。本文主要介绍了基于MFC 的OpenCV 视频人脸检测系统，实现主要划分为背景处理、人脸特征定位和鼠标控制三个阶段。背景处理主要是应用肤色模型提取出背景当中的肤色区域以便后继差分使用。人脸特征定位阶段对每幅正脸采样图像利用灰度投影模型计算出眼睛和嘴唇的位置并记录利用该位置信息截取包含眼睛和嘴唇在内的小矩形区域估算出眼球和嘴唇灰度分割阈值然后通过对该阶段所有采样图像的统计分析选择出现概率最高的左右眼和嘴唇位置作为正脸特征信息并将统计概率最高的位置附近的所有图像的灰度分割阈值的平均作为当前使用者的眼球和唇部灰度分割阈值。在鼠标控制阶段由于眼睛的颜色和唇色与肤色有一定的差别利用二值化模型和唇色模型在肤色区域搜索满足眼睛特征和唇部特征的区域找出双眼的两 ……（未完，全文共17279字，当前仅显示3107字，请阅读下面提示信息。收藏《毕业论文：基于头部运动的鼠标控制的研究》）