早鸽—汇聚行业精英
  • 联系客服
  • 帮助中心
  • 投诉举报
  • 关注微信
400-006-1351
您的问题早鸽都有答案
3000+专业顾问
搜索
咨询

基于头势的智能轮椅的人机交互系统及方法

  • 专利名称
    基于头势的智能轮椅的人机交互系统及方法
  • 发明者
    张毅, 徐晓东, 李敏, 李林, 罗元, 胡章芳
  • 公开日
    2011年5月11日
  • 申请日期
    2010年12月31日
  • 优先权日
    2010年12月31日
  • 申请人
    重庆邮电大学
  • 文档编号
    A61G5/04GK102048621SQ20101062021
  • 关键字
  • 权利要求
    1.基于头势的智能轮椅的人机交互系统,其特征在于包括摄像装置,用于获取人面部图像;Adaboost训练器,用于从人面部图像中收集唇部信息,训练唇部分类器;唇部分类器,用于从人面部图像中搜索唇部,用矩形窗口标记出唇部的位置;卡尔曼滤波器,用于通过唇部分类器获得的唇部的位置,预测下一帧人面部图像中唇 部的位置,并将预测的唇部位置反馈到唇部分类器,供唇部分类器作为对下一帧人面部图 像处理时的初始搜索位置;控制装置,将唇部分类器检测得到矩形窗口与一个位置固定的矩形窗口进行比较,确 定头势的状态,控制轮椅做相应的运动2.如权利要求1所述的基于头势的智能轮椅的人机交互系统,其特征在于还包括图 像预处理装置,用于将摄像装置获取的人面部图像转换为灰度图像,并用直方图均衡化方 法对灰度图像进行处理,然后传输给Adaboost训练器和/或唇部分类器3.如权利要求1所述的基于头势的智能轮椅的人机交互系统,其特征在于校正模块, 用于将卡尔曼滤波器预测的唇部位置进行校正后再反馈到唇部分类器4.如权利要求1至3中任一项所述的基于头势的智能轮椅的人机交互系统,其特征在 于所述卡尔曼滤波器的状态方程为5.6.基于头势的智能轮椅的人机交互方法,其特征在于包括如下步骤1)通过摄像装置获取人面部图像;2)通过由Adaboost算法训练好的唇部分类器从人面部图像中搜索唇部息,并用矩形 窗口标记出唇部的位置;3)将唇部分类器检测得到矩形窗口与一个位置固定的矩形窗口进行比较,确定头势的 状态,控制轮椅做相应的运动;4)用唇部分类器获得的唇部的位置,通过卡尔曼滤波器预测下一帧人面部图像中唇部 的位置;5)将预测的唇部位置反馈到唇部分类器,供唇部分类器作为对下一帧人面部图像处理 时的初始搜索位置7.如权利要求6所述的基于头势的智能轮椅的人机交互方法,其特征在于步骤4) 中,具体通过如下步骤预测下一帧人面部图像中唇部的位置41)获得步骤幻中得到的矩形窗口的左上角坐标a(x,y),通过&=WyJL1+!^ 获得得到一个先验估计值g ;上式中,Ak, 是tk_i时刻到tk时刻的nXn维状态转移矩阵; Ait是tk时刻状态的nX 1维随机干扰噪声向量;42)通过ξ= ξ-巧¢)对先验估计值蜀进行修正,获得后验估计值蜀作为预测 的下一帧人面部图像中唇部的位置;上式中,^是tk时刻的mXl维观测向量,Hk是tk时刻 的mXn维观测矩阵,Kk为tk时刻的增益矩阵8.如权利要求7所述的基于头势的智能轮椅的人机交互方法,其特征在于状态转移 Atlι矩阵为Mm= n ,;其中= &_U1」η So9.如权利要求8所述的基于头势的智能轮椅的人机交互方法,其特征在于所述增益 矩阵& =Pk HTk (HkPk HTk +i^)—1,其中先验估计协方差矩阵为A =4片Ku,Rk为系统观测噪声乂 WmXl维对称正定方差矩阵
  • 技术领域
    本发明涉及计算机视觉控制技术领域,具体涉及一种智能轮椅的人机交互系统及 其交互方法
  • 背景技术
  • 专利详情
  • 全文pdf
  • 权力要求
  • 说明书
  • 法律状态
专利名称:基于头势的智能轮椅的人机交互系统及方法联合国发表报告指出,全世界人口老龄化进程正在加快。今后50年内,60岁以上 的人口比例预计将会翻一番,并且由于各种灾难和疾病造成的残障人士也逐年增加,他们 存在不同程度的能力丧失,如行走、视力、动手及语言等。因此,为老年人和残疾人提供性能 优越的代步工具已成为整个社会重点关注的问题之一。智能轮椅作为一种服务机器人,具 有自主导航、避障、人机对话以及提供特种服务等多种功能,可以大大提高老年人和残疾人 的日常生活和工作质量,使他们重新获得生活自理能力和融入社会成为可能。智能轮椅的 关键技术之一就是实现与使用者和谐交互的技术,这种交互包括两方面的要素一方面使 人能更自然地控制轮椅,另一方面使轮椅可以较好的理解人的思维和命令。根据智能轮椅 用户的不同需要和功能障碍,智能轮椅在这方面开发应用了 一些较有特色的人机接口,可 以分为设定型人机接口和自然型人机接口两种,其中设定型人机接口适用于那些残疾程度 较轻,肢体能动性较高而且意识较好的人群,而自然型人机接口的使用人群是那些残疾程 度比较严重的,肢体能动性较低的用户。在国外,研究者们已经展开了大量相关研究波士顿大学研究的鹰眼系统在眼睛 周围放置5个电极,用户通过移动头部或眼睛来移动屏幕上的光标,此技术通过测量眼电 图或眼电压得到反映眼睛相对于头部的位置的微电压,从而推算出眼球和颅骨之间的相对 位置。此技术用于使全身瘫痪的残疾人能够运用眼球或头部的活动控制智能轮椅;西班牙 SIAMO智能轮椅中以呼吸驱动模块作为智能轮椅的人机界面,该模块可以检测输入的呼吸 气流的强度和方向,传感器的信号可以被分为5个等级强吹、弱吹、无吹气、弱吸气和强吸 气,用于控制轮椅的线速度,检测到的气流的方向用于控制轮椅的角速度。从而得到经过 处理和编码后的控制命令控制轮椅的运动状态并传送到导航模块;日本残疾人国家康复中 心开发了针对物理残疾者使用的智能轮椅,在用户头部的上方安装有多个视觉传感器,可 以探测360度范围内的物体,当传感器探测到障碍物时轮椅可随时停下;国立澳大利亚大 学的Alex Zelinsky教授在Monash大学智能机器人中心RayJivis教授开发的四轮驱动 的智能轮椅的基础上引入眼睛跟踪仪,通过探测用户面部角度和瞳孔方向来控制轮椅,使 其可以沿着用户目视的方向运动,当用户向下看时轮椅减速,眼睛抬起时轮椅加速;Kazuo Tanaka等人则通过使用者在思维时的脑电波变化判断其行使意图,以达到用思维控制轮椅 运动的目的;Inhuk Moon等人利用探测位于颈部两侧的肩胛肌肉的肌动电流捕捉使用者肩 膀的动作,以控制轮椅的前进、左转、右转运动;牛津大学Tew则研制开发了一种头部运动 感知设备,该设备使用了一个四象限光感器(Photo Quadrant knsor),根据每一象限光电 流的相对比例确定头部的位置。此外,也有研究通过摄像头检测眼睛尾部与脸的边缘距离 的变化来判定头部运动。但是上述所提到的智能轮椅的人机交互并没有提到通过头势去控制轮椅。在《重庆邮电大学学报(自然科学版)》第22卷第4期刊载的《基于头势的机器人 的人机交互》中公开了一种通过唇部检测确定头势,进而通过头势控制机器人运动的方法, 但是由于单纯使用唇部分类器进行唇部检测时需要将整个待检测窗口逐次搜索,检测效率 低,耗时较大,将其应用于智能轮椅的头势控制时,会因为唇部检测时间过长而使得在智能 轮椅运动的过程中产生延时,不够连贯。
有鉴于此,为了解决上述问题,本发明公开了一种检测效率高,动作连贯的基于头 势的智能轮椅的人机交互系统。本发明的目的是这样实现的基于头势的智能轮椅的人机交互系统,包括摄像装置,用于获取人面部图像;Adaboost训练器,用于从人面部图像中收集唇部信息,训练唇部分类器;唇部分类器,用于从人面部图像中搜索唇部,用矩形窗口标记出唇部的位置;卡尔曼滤波器,用于通过唇部分类器获得的唇部的位置,预测下一帧人面部图像 中唇部的位置,并将预测的唇部位置反馈到唇部分类器,供唇部分类器作为对下一帧人面 部图像处理时的初始搜索位置;控制装置,将唇部分类器检测得到矩形窗口与一个位置固定的矩形窗口进行比 较,确定头势的状态,控制轮椅做相应的运动。进一步,还包括图像预处理装置,用于将摄像装置获取的人面部图像转换为灰度 图像,并用直方图均衡化方法对灰度图像进行处理,然后传输给Adaboost训练器和/或唇 部分类器。进一步,校正模块,用于将卡尔曼滤波器预测到的唇部位置的部分分割出来,然后 对唇部的图像进行旋转,使得整个唇部两个嘴角的连线始终与摄像头窗口上下边缘平行, 从而使得反馈到唇部分类器的图像更容易被分类器检测到,然后将校正后的图像反馈到唇 部分类器,进行下一次的唇部检测。进一步,所述卡尔曼滤波器的状态方程为本发明涉及计算机视觉控制技术领域,具体涉及一种智能轮椅的人机交互系统及其交互方法,本发明通过唇部分类器得到唇部的窗口,然后将检测到的唇部窗口与一个位置固定的矩形窗口进行比较得到头势,通过头势确定智能轮椅的运动状态;卡尔曼滤波器根据上一帧唇部窗口的具体位置预测下一个唇部检测窗口可能出现的位置,将预测到的搜索窗口位置作为初始搜索位置反馈回唇部分类器,实施对检测对下一帧图像的检测,大大提高了唇部检测时间,并且提高了唇部检测的精度,解决了智能轮椅在用头势控制的控制过程中因为唇部检测时间过长而使得在智能轮椅运动的过程中产生延时的问题,达到了智能轮椅在头势控制的过程中运动连贯的目的。

查看更多专利详情