早鸽—汇聚行业精英
  • 联系客服
  • 帮助中心
  • 投诉举报
  • 关注微信
400-006-1351
您的问题早鸽都有答案
3000+专业顾问
搜索
咨询

图像处理装置、图像处理方法、程序及电子装置制作方法

  • 专利名称
    图像处理装置、图像处理方法、程序及电子装置制作方法
  • 发明者
    三谷论司, 西条信广
  • 公开日
    2011年8月10日
  • 申请日期
    2011年1月27日
  • 优先权日
    2010年2月4日
  • 申请人
    索尼公司
  • 文档编号
    A61B5/00GK102144915SQ20111003045
  • 关键字
  • 权利要求
    1.一种图像处理装置,用于从通过使对象成像来获得的拾取图像来检测表示所述对象 的皮肤的皮肤区域,所述图像处理装置包括第一照射装置,用于用第一波长的光照射所述对象;第二照射装置,用于用与所述第一波长不同的第二波长的光照射所述对象;图像拾取装置,用于使所述对象成像;调节装置,用于基于外部光图像在满足用于检测所述皮肤区域的皮肤可检测条件的范 围内调节所述图像拾取装置的参数,所述外部光图像是通过在不用所述第一波长的光或所 述第二波长的光照射所述对象的状态下用所述图像拾取装置使所述对象成像来获得;以及皮肤检测装置,基于第一拾取图像和第二拾取图像来检测所述皮肤区域,所述第一拾 取图像通过在用参数经过所述调节装置调节的所述图像拾取装置以所述第一波长的光照 射所述对象时使所述对象成像来获得,所述第二拾取图像通过在用参数经过所述调节装置 调节的所述图像拾取装置以所述第二波长的光照射所述对象时使所述对象成像来获得2.根据权利要求1所述的图像处理装置,其中,所述调节装置在满足所述皮肤可检测 条件的范围内调节所述图像拾取装置的参数,所述皮肤可检测条件是指形成所述外部光图 像的像素的亮度值等于或小于通过所述图像拾取装置的成像所能获得的最大亮度值的一 半3.根据权利要求2所述的图像处理装置,其中,所述调节装置在满足所述皮肤可检测 条件的范围内调节所述图像拾取装置的参数,所述皮肤可检测条件是指形成所述外部光图 像的像素的亮度值是通过所述图像拾取装置的成像所能获得的最大亮度值的一半4.根据权利要求1所述的图像处理装置,其中,所述调节装置基于形成所述外部光图 像的像素的亮度值的平均值来调节所述图像拾取装置的参数5.根据权利要求1所述的图像处理装置,其中,所述调节装置基于形成所述外部光图 像的像素的亮度值中的、最大数量的像素的亮度值来调节所述图像拾取装置的参数6.根据权利要求1所述的图像处理装置,其中,所述调节装置基于形成所述外部光图 像的像素的亮度值中的、通过从具有低亮度值的像素开始进行累计来获得的亮度累计计数 成为预定值时的像素的亮度值来调节所述图像拾取装置的参数7.根据权利要求1所述的图像处理装置,其中,所述调节装置调节所述图像拾取装置 的放大率、光接收灵敏度和光接收时间中的至少一个作为所述图像拾取装置的参数8.根据权利要求1所述的图像处理装置,其中,所述第一照射装置和所述第二照射装 置分别施加不同波长的红外线9.根据权利要求8所述的图像处理装置,其中,所述第一照射装置和所述第二照射装 置中的一个施加波长大于或等于930nm的光,另一个波长施加小于930nm的光10.一种图像处理方法,用于从通过使对象成像来获得的拾取图像来检测表示所述对 象的皮肤的皮肤区域的图像处理装置,所述图像处理装置包括第一照射装置、第二照射装 置、图像拾取装置、调节装置和皮肤检测装置,所述图像处理方法包括以下步骤所述第一照射装置用第一波长的光照射所述对象;所述第二照射装置用与所述第一波长不同的第二波长的光照射所述对象;所述图像拾取装置使所述对象成像;所述调节装置基于外部光图像在满足用于检测所述皮肤区域的皮肤可检测条件的范围内调节所述图像拾取装置的参数,其中所述外部光图像是通过在不用所述第一波长的光 或所述第二波长的光照射所述对象的状态下用所述图像拾取装置使所述对象成像来获得; 以及所述皮肤检测装置基于第一拾取图像和第二拾取图像来检测所述皮肤区域,所述第一 拾取图像通过在用参数经过所述调节装置调节的所述图像拾取装置以所述第一波长的光 照射所述对象时使所述对象成像来获得,所述第二拾取图像通过在用参数经过所述调节装 置调节的所述图像拾取装置以所述第二波长的光照射所述对象时使所述对象成像来获得11.一种程序,使计算机用作调节装置,基于外部光图像在满足用于检测表示对象的皮肤的皮肤区域的皮肤可检测 条件的范围内调节图像拾取装置的参数,其中所述外部光图像通过在不用第一波长的光或 与所述第一波长不同的第二波长的光照射所述对象的状态下用所述图像拾取装置使所述 对象成像来获得;以及皮肤检测装置,基于第一拾取图像和第二拾取图像来检测所述皮肤区域,所述第一拾 取图像通过在用参数经过所述调节装置调节的所述图像拾取装置以所述第一波长的光照 射所述对象时使所述对象成像来获得,所述第二拾取图像通过在用参数经过所述调节装置 调节的所述图像拾取装置以所述第二波长的光照射所述对象时使所述对象成像来获得12.一种电子装置,包括用于从通过使对象成像来获得的拾取图像来检测表示所述对 象的皮肤的皮肤区域的图像处理装置,其中,所述图像处理装置包括第一照射装置,用于用第一波长的光照射所述对象;第二照射装置,用于用与所述第一波长不同的第二波长的光照射所述对象;图像拾取装置,用于使所述对象成像;调节装置,用于基于外部光图像在满足用于检测所述皮肤区域的皮肤可检测条件的范 围内调节所述图像拾取装置的参数,所述外部光图像通过在不用所述第一波长的光或所述 第二波长的光照射所述对象的状态下用所述图像拾取装置使所述对象成像来获得;以及皮 肤检测装置,基于第一拾取图像和第二拾取图像来检测所述皮肤区域,所述第一拾取图像 通过在用参数经过所述调节装置调节的所述图像拾取装置以所述第一波长的光照射所述 对象时使所述对象成像来获得,所述第二拾取图像通过在用参数经过所述调节装置调节的 所述图像拾取装置以所述第二波长的光照射所述对象时使所述对象成像来获得13.一种图像处理装置,用于从通过使对象成像来获得的拾取图像来检测表示所述对 象的皮肤的皮肤区域,所述图像处理装置包括第一照射部,被构造为用第一波长的光照射所述对象;第二照射部,被构造为用与所述第一波长不同的第二波长的光照射所述对象;图像拾取部,被构造为使所述对象成像;调节部,基于外部光图像在满足用于检测所述皮肤区域的皮肤可检测条件的范围内调 节所述图像拾取装置的参数,所述外部光图像是通过在不用所述第一波长的光或所述第二 波长的光照射所述对象的状态下用所述图像拾取装置使所述对象成像来获得的;以及皮肤检测部,基于第一拾取图像和第二拾取图像来检测所述皮肤区域,所述第一拾取 图像通过在用参数经过所述调节装置调节的所述图像拾取装置以所述第一波长的光照射所述对象时使所述对象成像来获得,所述第二拾取图像通过在用参数经过所述调节装置调 节的所述图像拾取装置以所述第二波长的光照射所述对象时使所述对象成像来获得
  • 技术领域
    本发明涉及图像处理装置、图像处理方法、程序及电子装置,具体地涉及适于在从 通过(例如)使用户成像而获得的拾取图像提取皮肤区域中使用的图像处理装置、图像处 理方法、程序及电子装置
  • 背景技术
  • 具体实施例方式
    在下文中将描述执行本发明的模式(在下文中,将把该模式称为本实施方式)附 带地,将以下列顺序进行描述1.本实施方式(根据外部光图像的平均亮度来调节照相机放大率的实例)2.修改例<1.本实施方式>[信息处理系统1的结构实例]图1示出了根据本实施方式的信息处理系统1的结构实例信息处理系统1根据利用用户的手的姿势(或姿态)来执行预定处理信息处理 系统1包括发光装置21、照相机22和图像处理装置23为了使信息处理系统1执行预定处理,用户在照相机22的镜头前面改变用户的手 的形状此时,信息处理系统1识别用户的手的形状,并响应于识别结果而执行预定处理附带地,在本实施方式中,假设,用户在照相机22的镜头前面改变手的形状,并且 用户将用户的手放在比用户的脸、胸等更靠近照相机22的镜头的位置并做出一种姿势(姿 态)发光装置21包括用于施加(发射)波长λ 1 (例如,870nm的近红外线)的光的 LED 21ajPLED 21a2,以及用于施加与波长λ 1不同的波长λ 2 (例如,950nm的近红外线)的光的 LED 21、和 LED 21b2附带地,在以下描述中,当不需要将LED 21 和LED 21a1彼此进行区分时,将把 LED 21a2和LED 2Ia2简称为LED 21a,并且,当不需要将LED Zlb1和LED 21b2彼此进行区 分时,将把LED 21b!和LED 21b2简称为LED 21b发光装置21使LED 21a和LED 21b (例如)根据来自图像处理装置23的控制而 交替发光LED 21a和LED 21b交替地发光(例如)使得由照相机22的图像拾取获得的拾取 图像的对应像素当用波长λ 1的光照射和用波长λ 2的光照射在波长λ 1和λ 2具有相同 反射率的对象(例如,反射率为100%的镜面等)时具有相同的亮度值例如,LED 21a的波长λ 1和LED 21b的波长λ 2的组合是这样的组合,该组合使 得用波长λ 1的光照射人皮肤时的反射率高于用波长λ 2的光照射人皮肤时的反射率并使 得用波长λ 1的光照射人皮肤以外的物体时的反射率与用波长λ 2的光照射该物体时的反 射率基本上相同即,此组合是根据人皮肤的光谱反射特性来确定的接下来,图2示出了人皮肤的光谱反射特性附带地,此光谱反射特性是通用的,而与人皮肤颜色的差异(人种差异)、状态(晒
  • 专利详情
  • 全文pdf
  • 权力要求
  • 说明书
  • 法律状态
专利名称:图像处理装置、图像处理方法、程序及电子装置的制作方法存在一种从通过使对象成像而获得的拾取图像来检测(识别)表示人皮肤的 皮肤区域的皮肤识别系统(例如,参见Yasuhiro Suzuki et al.,IEEJTransactions on Electronics, Information and Systems(proposition of a near-infrared multi-band skin detection method), Japan,2007, Vol. 127, No. 4)。在此皮肤识别系统中,用于以波长λ 1(例如,870nm的近红外线)的光照射对象的 LED(发光二极管)和用于以与波长λ 不同的波长λ2(例如,950nm的近红外线)的光照 射对象的LED被制造为交替地发光。附带地,例如,波长λ 1和λ 2的组合是这样的组合,该组合使得当用波长λ 1的 光照射人皮肤时的反射率高于当用波长λ2的光照射人皮肤时的反射率并使得当用波长 λ 1的光照射人皮肤以外的物体时的反射率与当用波长λ 2的光照射该物体时的反射率基 本上相同。在皮肤识别系统中,当用于施加波长λ 1的光的LED用波长λ 1的光照射对象时 拾取第一拾取图像。另外,当用于施加波长λ 2的光的LED用波长λ 2的光照射对象时拾取第二拾取图像。然后,基于第一拾取图像和第二拾取图像,从第一拾取图像和第二拾取图像中的 一个图像来检测皮肤区域。也就是说,如上所述,使得当用波长λ 1的光照射人皮肤时的反射率高于当用波 长λ 2的光照射人皮肤时的反射率的组合被用来作为波长λ 1和λ 2的组合。因此,第一拾取图像中的形成皮肤区域的像素的亮度值是相对较高的值,而第二 拾取图像中的形成皮肤区域的像素的亮度值是相对较低的值。因此,第一拾取图像和第二 拾取图像中的形成皮肤区域的像素的亮度值之间的差值是相对较高的值。另外,如上所述,使得当用波长λ 1的光照射人皮肤以外的物体时的反射率与当 用波长λ2的光照射人皮肤以外的物体时的反射率基本上相同的组合被用来作为波长λ 1 和λ 2的组合。因此,第一拾取图像中的形成皮肤区域以外的区域的像素的亮度值与第二拾取图 像中的形成皮肤区域以外的区域的像素的亮度值基本上相同。因此,第一拾取图像和第二 拾取图像中的形成皮肤区域以外的区域的像素的亮度值之间的差值是相对较低的值。因此,在皮肤识别系统中,例如,可将对应于相对较高的差值的区域检测为皮肤区 域。
在上述皮肤识别系统中,由于在第一拾取图像和第二拾取图像中出现的噪音、每 个LED的照射光量上的变化等,第一拾取图像和第二拾取图像中的皮肤区域中的差值可能 是与非皮肤区域(除了皮肤区域以外的区域)中的差值基本相同的值。在这种情况中,因为皮肤识别系统根据差值的大小检测(确定)对应于差值的区 域是皮肤区域还是非皮肤区域,所以大大降低了皮肤区域的检测精度。因此,为了防止皮肤区域的检测精度减小,皮肤区域中的差值需要足够高于非皮 肤区域中的差值。然而,根据从皮肤识别系统到对象的距离,在某些情况中不能使皮肤区域中的差 值足够高于非皮肤区域中的差值,并且,会限制能够以高精度检测皮肤区域的可检测范围。因此,可想到的是,可通过增加用于拾取对象的图像的照相机的放大率来扩大可 检测范围,使得第一拾取图像和第二拾取图像中的皮肤区域中的差值足够高于非皮肤区域 中的差值。另外,当每个LED的照射光量小于能够以高精度检测皮肤区域的照射光量时,可 以想到的是,可增加照相机的放大率以补偿每个LED的照射光量的不足,然后可检测对象 的皮肤区域。然而,当忽略外部光(诸如,日光和由照明设备(白炽灯或荧光灯)产生的光等) 而增加放大率时,出现由照相机导致的饱和(过度曝光等),使得无法以高精度检测皮肤区 域。考虑到这些情况而制造本发明。希望根据外部光(诸如,日光和由照明设备等产 生的光)来调节照相机的放大率等,并以高精度检测皮肤区域。根据本发明的一个实施方式,提供了一种图像处理装置,用于从通过使对象成像 而获得的拾取图像来检测表示对象的皮肤的皮肤区域,该图像处理装置包括第一照射装 置,用于用第一波长的光照射对象;第二照射装置,用于用与第一波长不同的第二波长的光 照射对象;拾取装置,用于使对象成像的图像;调节装置,用于基于外部光图像在满足用于 检测皮肤区域的皮肤可检测条件的范围内调节图像拾取装置的参数,该外部光图像是通过 在不用第一波长的光或第二波长的光照射对象的状态下用图像拾取装置使对象成像来获 得;以及皮肤检测装置,基于第一拾取图像和第二拾取图像来检测皮肤区域,第一拾取图像 通过在用参数经过调节装置调节的图像拾取装置以第一波长的光照射对象时使对象成像 来获得,第二拾取图像通过在用参数经过调节装置调节的图像拾取装置以第二波长的光照 射对象时使对象成像来获得。调节装置可在满足皮肤可检测条件的范围内调节图像拾取装置的参数,该皮肤可 检测条件是指形成外部光图像的像素的亮度值等于或小于通过图像拾取装置的成像所能 来获得的最大亮度值的一半。调节装置可在满足皮肤可检测条件的范围内调节图像拾取装置的参数,该皮肤可 检测条件是指形成外部光图像的像素的亮度值是通过图像拾取装置的成像所能获得的最 大亮度值的一半。调节装置可基于形成外部光图像的像素的亮度值的平均值来调节图像拾取装置的参数。调节装置可基于形成外部光图像的像素的亮度值中的、最大数量的像素的亮度值 来调节图像拾取装置的参数。调节装置基于形成外部光图像的像素的亮度值中的、通过从具有低亮度值的像素 开始进行累计来获得的亮度累计计数成为预定值时的像素的亮度值来调节图像拾取装置 的参数。调节装置可调节图像拾取装置的放大率、光接收灵敏度和光接收时间中的至少一 个作为图像拾取装置的参数。第一照射装置和第二照射装置可分别施加不同波长的红外线。第一照射装置和第二照射装置中的一个可施加波长等于或大于930nm的光,另一 个可施加小于930nm的光。根据本发明的一个实施方式,提供了一种图像处理方法,用于从通过使对象成像 来获得的拾取图像来检测表示对象的皮肤的皮肤区域的图像处理装置,图像处理装置包括 第一照射装置、第二照射装置、图像拾取装置、调节装置和皮肤检测装置,图像处理方法包 括以下步骤第一照射装置用第一波长的光照射对象;第二照射装置用与第一波长不同的 第二波长的光照射对象;图像拾取装置使对象成像;调节装置基于外部光图像在满足用于 检测皮肤区域的皮肤可检测条件的范围内调节图像拾取装置的参数,其中外部光图像是通 过在不用第一波长的光或第二波长的光照射对象的状态下用图像拾取装置使对象成像来 获得;并且,皮肤检测装置基于第一拾取图像和第二拾取图像来检测皮肤区域,第一拾取图 像通过在用参数经过调节装置调节的图像拾取装置以第一波长的光照射对象时使对象成 像来获得,第二拾取图像通过在用参数经过调节装置调节的图像拾取装置以第二波长的光 照射对象时使对象成像来获得。根据本发明的一个实施方式,提供了一种程序,使计算机用作调节装置,基于外 部光图像在满足用于检测表示对象的皮肤的皮肤区域的皮肤可检测条件的范围内调节图 像拾取装置的参数,其中外部光图像通过在不用第一波长的光或与第一波长不同的第二波 长的光照射对象的状态下用图像拾取装置使对象成像来获得;以及皮肤检测装置,基于第 一拾取图像和第二拾取图像来检测皮肤区域,第一拾取图像通过在用参数经过调节装置调 节的图像拾取装置以第一波长的光照射对象时使对象成像来获得,第二拾取图像通过在用 参数经过调节装置调节的图像拾取装置以第二波长的光照射对象时使对象成像来获得。根据本发明的一个实施方式,提供了一种电子装置,其包括用于从通过使对象成 像来获得的拾取图像来检测表示对象的皮肤的皮肤区域的图像处理装置,其中,图像处理 装置包括第一照射装置,用于用第一波长的光照射对象;第二照射装置,用于用与第一波 长不同的第二波长的光照射对象;图像拾取装置,用于使对象成像;调节装置用于基于外 部光图像在满足用于检测皮肤区域的皮肤可检测条件的范围内调节图像拾取装置的参数, 该外部光图像在不用第一波长的光或第二波长的光照射对象的状态下用图像拾取装置使 对象成像来获得;以及皮肤检测装置,基于第一拾取图像和第二拾取图像来检测皮肤区域, 第一拾取图像通过在用参数经过调节装置调节的图像拾取装置以第一波长的光照射对象 时使对象成像来获得,第二拾取图像通过在用参数经过调节装置调节的图像拾取装置以第 二波长的光照射对象时使对象成像来获得。根据本发明的一个实施方式,基于外部光图像在满足用于检测表示对象的皮肤的 皮肤区域的皮肤可检测条件的范围内调节图像拾取装置的参数,该外部光图像是通过在不 用第一波长的光或与第一波长不同的第二波长的光照射对象的状态下用图像拾取装置使 对象成像来获得,并且,基于第一拾取图像和第二拾取图像来检测皮肤区域,第一拾取图像 通过在用参数经过调节的图像拾取装置以第一波长的光照射对象时使对象成像来获得,第 二拾取图像通过在用参数经过调节的图像拾取装置以第二波长的光照射对象时使对象成 像来获得。根据本发明,根据外部光(例如,日光和通过照明设备等产生的光)来调节照相机 的放大率等,因此,可以以高精度检测皮肤区域。图1是示出了将本发明应用于其上的信息处理系统的构成实例的框图;图2是示出了人皮肤的光谱反射特性的一个实例的示图;图3是示出了图像处理装置的详细构成实例的结构图;图4是示出了形成外部光图像的像素的亮度值的柱状图的第一实例的示图;图5是示出了由计算部和二值化部执行的处理实例的示图;图6是帮助说明由图像处理装置执行的调节处理的流程图;图7是示出了形成外部光图像的像素的亮度值的柱状图的第二实例的示图;图8是示出了形成外部光图像的像素的亮度值的柱状图的第三实例的示图;以及图9是示出了计算机的构造实例的框图。
黑)等无关。在图2中,横坐标轴表示用其照射人皮肤的照射光的波长,而纵坐标轴表示用其 照射人皮肤的照射光的反射率。已知,用其照射人皮肤的照射光的反射率在8OOnm附近出现峰值,从900nm附近急 剧减小,在1OOOnm附近具有极小值,并再次上升。具体地,例如,如图2所示,通过用870nm的光照射人皮肤所获得的反射光的反射 率是63%,而通过用950nm的光照射人皮肤所获得的反射光的反射率是50%。这对于人皮肤来说是特有的。人皮肤以外的物体(例如,头发、衣服等)的反射率 常常在从800nm至IOOOnm附近的范围中缓慢变化。在本实施方式中,例如,在上述光谱反射特性中,采用将波长λ 1设置在870nm并 将波长λ 2设置在950nm的组合作为波长λ 1和波长λ 2的组合。此组合使得对应于人皮 肤的反射率差异相对较大,而使得对应于人皮肤以外的部分的反射率差异相对较小。再参照图1,照相机22接收用其照射对象的外部光的反射光和LED21a用其照射对 象的波长为λ 1的光的反射光。照相机22向图像处理装置23提供作为光接收的结果而获 得的第一拾取图像。另外,照相机22接收用其照射对象的外部光的反射光和LED 21b用其照射对象的 波长为λ 2的光的反射光。照相机22向图像处理装置23提供作为光接收的结果而获得的
第二拾取图像。此外,照相机22接收用其照射对象的外部光的反射光,并向图像处理装置23提供 作为光接收的结果而获得的外部光图像。图像处理装置23控制发光装置21和照相机22。具体地,图像处理装置23基于来 自照相机22的外部光图像等来执行对照相机22的放大率以及发光装置21中的LED 21a 和LED 21b的照射光量进行调节的调节处理。附带地,稍后将参考图6的流程图描述调节 处理的细节。
另外,图像处理装置23计算照相机22提供的第一拾取图像和第二拾取图像中对应像素的亮度值之间的差值,并基于所计算的差值来检测第一拾取图像(或第二拾取图 像)中的皮肤区域。然后,图像处理装置23基于所检测的皮肤区域来识别用户的手的形状等,并响应 于识别结果而执行预定处理。[图像处理装置23的结构实例]接下来,图3示出了图像处理装置23的结构实例。图像处理装置23包括控制部41、计算部42和二值化部43。控制部41控制发光装置21和照相机22,以使照相机22在LED 21a和LED 21b均 熄灭的状态中拾取对象的图像,并使照相机22向控制部41提供由图像拾取所获得的外部 光图像。控制部41生成了形成来自照相机22的外部光图像的像素的亮度值柱状图,并基 于所生成的柱状图调节照相机22的放大率。具体地,例如,控制部41基于所生成的柱状图在即使第一拾取图像和第二拾取图 像中出现噪音、LED 21a和LED 21b的照射光量有变化等却仍能以高精度检测皮肤区域的 范围内在不会使照相机22饱和(过度曝光等)的情况下来调节照相机22的放大率。接下来,图4示出了由控制部41产生的柱状图的一个实例。在图4中,横坐标轴表示亮度值,而纵坐标轴表示具有外部光图像中横坐标轴上 的亮度值的像素的总数。附带地,假设照相机22通过图像拾取生成由28( = 256)个灰度 等级表示的图像。因此,横坐标轴表示作为亮度值的值0至255。控制部41基于来自照相机22的外部光图像生成如图4所示的柱状图,并基于所 生成的柱状图来计算表示形成外部光图像的像素的亮度值的平均值的亮度平均值。然后,例如,控制部41基于所计算的亮度平均值在能够以高精度检测皮肤区域的 范围内或(例如)具体地在所计算的亮度平均值等于或小于由照相机22的图像拾取获得 的最大亮度值的一半的范围内来调节照相机22的放大率。优选地,控制部41调节照相机22的放大率,使得所计算的亮度平均值变成可在外 部光图像中采用的最大亮度值的一半的亮度值。具体地,如图4所示,例如,当控制部41计算165(由图4中的粗垂线代表)的亮 度平均值时,控制部41调节放大率,使得165的亮度平均值变成127(由图4中的粗虚线代 表)的亮度值,其是可由照相机22的图像拾取获得的最大亮度值255的一半。在调节放大率之后,控制部41控制发光装置21的LED 21a和LED21b,以使LED 21a和LED 21b交替地发光。另外,控制部41控制照相机22,以使照相机22拾取对象的图 像,并向计算部42提供由图像拾取获得的第一拾取图像和第二拾取图像。此外,控制部41控制计算部42和二值化部43,以使计算部42和二值化部43基于 第一拾取图像和第二拾取图像来检测皮肤区域。当控制部41从二值化部43获得了表示可将皮肤区域检测为皮肤区域检测结果的 检测结果时,控制部41通过减小LED 21a和LED 21b的照射光的量将LED 21a和LED 21b 的照射光的量调节为可用其以高精度检测皮肤区域的照射光的最小必需量。另外,当由于过度减小LED 21a和LED 21b的照射光的量而使皮肤区域的检测不能实现,从而控制部41从二值化部43获得了表示不能将皮肤区域检测为皮肤区域检测结 果的检测结果时,控制部41将照相机22的放大率调节至高于当前放大率,使得能够检测到 皮肤区域。在调节照相机22的放大率以及LED 21a和LED 21b的照射光的量之后,为了基于 皮肤区域检测结果执行处理,控制部41控制计算部42和二值化部43,以使计算部42和二 值化部43基于第一拾取图像和第二拾取图像来检测皮肤区域。然后,控制部41基于来自二值化部43的皮肤区域检测结果来执行处理。具体地, 例如,控制部41基于来自二值化部43的检测结果来识别用户的姿势或姿态,并执行对应于 识别出的姿势等的处理。计算部42使用LPF (低通滤波器)使来自照相机22的第一拾取图像和第二拾取 图像平滑化。然后,计算部42计算平滑化后的第一拾取图像和第二拾取图像之间的差值, 并向二值化部43提供由计算出的差值作为像素值的像素形成的差分图像。二值化部43使来自计算部42的差分图像二值化,基于获得的作为二值化结果的 二值皮肤图像来检测第一拾取图像(或第二拾取图像)中的皮肤区域,并向控制部41提供 检测结果。接下来,图5示出了由计算部42和二值化部43执行的处理的细节。从照相机22向计算部42提供包括皮肤区域61a和非皮肤区域61b (皮肤区域61a 以外的区域)的第一拾取图像61和包括皮肤区域6 和非皮肤区域62b (皮肤区域62a以 外的区域)的第二拾取图像62。计算部42使用LPF使从照相机22提供的第一拾取图像61和第二拾取图像62平 滑化。然后,计算部42计算平滑化后的第一拾取图像61和平滑化后的第二拾取图像62的 对应像素的亮度值之间的差值,生成具有作为像素值的差值的差分图像63,并向二值化部 43提供差分图像63。二值化部43使来自计算部42的差分图像63 二值化,其将形成差分图像63的像 素的像素值中大于或等于用于二值化的二值化阈值的像素值设置为1,而其将形成差分图 像63的像素的像素值中小于二值化阈值的像素值设置为0。需要防止在第一拾取图像和第二拾取图像中出现的噪音、LED 21a和LED 21b的 照射光量上的变化等导致形成差分图像63中的皮肤区域63a的像素的像素值和形成差分 图像63中的非皮肤区域63b的像素的像素值是使精确的二值化不能实现的相似值。因此,对照相机22的放大率、LED 21a和LED 21b的照射光的量等进行调节,使得 形成差分图像63中的皮肤区域63a的像素的像素值等于或高于使能以高精度进行皮肤区 域检测(即,使得能够以高精度检测皮肤区域)的皮肤检测使能值(足够高于形成差分图 像63中的非皮肤区域63b的像素的像素值的值)。因为差分图像63中的皮肤区域63a由将皮肤区域61a和皮肤区域6 之间的差 值作为像素值的像素来形成,所以,形成皮肤区域63a的像素的像素值是相对较高的值。因为差分图像63中的非皮肤区域63b由将非皮肤区域61b和非皮肤区域62b之 间的差值作为像素值的像素形成,所以,形成非皮肤区域63b的像素的像素值是相对较低 的值。因此,由二值化部43执行的二值化将差分图像63转换成包括皮肤区域64a(其
11中,形成皮肤区域63a的像素的像素值被转换成1)和非皮肤区域64b (其中,形成非皮肤区 域63b的像素的像素值被转换成0)的二值化皮肤图像64。然后,二值化部43将通过二值化获得的二值化皮肤图像64中的皮肤区域64a连 同表示能够检测出对象的皮肤的检测结果一起提供至控制部41。附带地,当通过二值化获得的二值化皮肤图像64中不存在皮肤区域64a时,即,当 无法检测到对象的皮肤时,二值化部43向控制部41提供表示不能检测到对象的皮肤的检 测结果。[由图像处理装置23执行的调节处理的细节]接下来将参考图6的流程图描述由图像处理装置23执行的调节处理。在步骤Sl中,控制部41控制发光装置21和照相机22,以使照相机22在发光装 置21的LED 21a和LED 21b熄灭的状态中拾取对象的图像,并从照相机22获得由图像拾 取获得的外部光图像。在步骤S2中,例如,控制部41基于来自照相机22的外部光图像来生成柱状图,并 基于所产生的柱状图来计算形成外部光图像的像素的亮度值的亮度平均值。然后,控制部41基于计算的亮度平均值来调节照相机22的放大率,使得计算的亮 度平均值等于或小于可由照相机22的图像拾取获得的最大亮度值的一半。优选地,控制部41调节照相机22的放大率,使得所计算的亮度平均值是可由照相 机22的图像拾取获得的最大亮度值的一半的亮度值。在步骤S3中,控制部41控制发光装置21和照相机22,以使照相机22在LED 21a 和LED 21b中的LED 21a点亮的状态中拾取对象的图像,并向计算部42提供由图像拾取获 得的第一拾取图像。另外,控制部41控制发光装置21和照相机22,以使照相机22在LED 21a和LED 21b中的LED 21b点亮的状态中拾取对象的图像,并向计算部42提供由图像拾取获得的第 二拾取图像。因此,计算部42从照相机22获得第一拾取图像和第二拾取图像。在步骤S4中,计算部42和二值化部43试图基于由照相机22的图像拾取获得的 第一拾取图像和第二拾取图像来检测第一拾取图像(或第二拾取图像)中的皮肤区域。具体地,例如,计算部42使用LPF使来自照相机22的第一拾取图像和第二拾取图 像平滑化。然后,计算部42计算平滑化后的第一拾取图像和第二拾取图像之间的差值,并 向二值化部43提供由具有作为像素值的计算出的差值的像素形成的差分图像。二值化部43使来自计算部42的差分图像二值化,并试图基于获得的作为二值化 的结果的二值化皮肤图像来检测第一拾取图像(第二拾取图像)中的皮肤区域。然后,二值化部43向控制部41提供表示是否可检测到皮肤区域的检测结果。在步骤S5中,控制部41基于来自二值化部43的检测结果来判断是否可检测到皮 肤区域。当控制部41确定不能检测到皮肤区域时,控制部41使处理前进至步骤S6。在步骤S6中,控制部41判断在之前步骤S2中调节的放大率是否是能够进行调节 的最大放大率。当控制部41判断出在之前步骤S2中调节的放大率不是最大放大率时,控 制部41使处理前进至步骤S7。在步骤S7中,控制部41控制照相机22,以将照相机22的放大率调节至高于当前设置的放大率。然后,处理返回至步骤S3,在这一步,计算部42获得了由照相机22的图像 拾取在调节放大率之后获得的新的第一拾取图像和新的第二拾取图像。之后执行类似的处理。当控制部41在步骤S6中确定出在之前步骤S2中调节的放大率是能够进行调节 的最大放大率时,则不能将放大率调节至更高。因此,控制部41使处理前进至步骤S8。在步骤S8中,控制部41控制发光装置21,以将LED 21a和LED 21b的照射光量初 始化至预定值,并使处理返回至步骤Si,以重复调节处理。也就是说,当使处理前进至步骤S8时,认为由于在后面将描述的步骤SlO中已将 LED 21a和LED 21b的照射光量减小得过多而无法检测到皮肤区域。因此,将LED 21a和 LED 21b的照射光量初始化至预定值,并重复调节处理。另一方面,当控制部41在步骤S5中基于来自二值化部43的检测结果确定出可检 测到皮肤区域时,控制部41使处理前进至步骤S9。附带地,在这种情况中,二值化部43已 将生成的二值化皮肤图像和来自计算部42的差分图像连同表示可检测到皮肤区域的检测 结果一起提供至控制部41。在步骤S9中,控制部41基于来自二值化部43的二值化皮肤图像和差分图像来判 断LED 21a和LED 21b的照射光的量是否是检测皮肤区域所必需的最小照射光量。具体地,例如,控制部41基于来自二值化部43的二值化皮肤图像从来自二值化部 43的差分图像提取与二值化皮肤图像中的皮肤区域(例如,由具有像素值1的像素形成的 区域)对应的皮肤区域。然后,当差分图像中的形成提取的皮肤区域的像素的像素值基本上等于皮肤检测 使能值(足够高于来自计算部42的差分图像中的形成非皮肤区域的像素的像素值的值) 时,控制部41确定LED 21a和LED 21b的照射光量是最小照射光需要量。当差分图像中的 形成提取的皮肤区域的像素的像素值高于皮肤检测使能值时,控制部41确定LED 21a和 LED 21b的照射光的量不是照射光的最小需要量。具体地,例如,当差分图像中的形成提取的皮肤区域的像素的像素值的平均值基 本上等于皮肤检测使能值时,控制部41确定LED 21a和LED21b的照射光量是照射光的最 小需要量。当差分图像中的形成提取的皮肤区域的像素的像素值的平均值高于皮肤检测使 能值时,控制部41确定LED 21a和LED 21b的照射光的量不是照射光的最小需要量。当控制部41在步骤S9中确定LED 21a和LED 21b的照射光量不是检测皮肤区域 所需要的照射光最小量时,控制部41使处理前进至步骤S10。在步骤SlO中,控制部41控制发光装置21,以通过减小LED 21a和LED 21b的照 射光量将LED 21a和LED 21b的照射光量调节为检测皮肤区域所需要的照射光最小量。也就是说,例如,控制部41调节LED 21a和LED 21b的照射光量,使得由照相机22 的图像拾取获得的第一拾取图像和第二拾取图像中的形成皮肤区域的像素的亮度值是使 皮肤区域能以高精度被检测到的最小必需亮度值,即,使得差分图像中的形成皮肤区域的 像素的像素值的平均值基本上等于皮肤检测使能值。在完成步骤SlO的处理之后,控制部41使处理返回至步骤S3。在步骤S3中,计算 部42响应于已调节了照射光量的LED 21a和LED 21b的打开而从照相机22获得第一拾取 图像和第二拾取图像。然后执行类似的处理。
附带地,当控制部41在步骤S9中确定,LED 21a和LED 21b的照射光的量是检测 皮肤区域所需要的照射光最小量时,控制部41结束调节处理。如上所述,在调节处理中,例如,控制部41调节照相机22的放大率,使得形成外部 光图像的像素的亮度值的亮度平均值是可由照相机22的图像拾取获得的最大亮度值的一 半的亮度值。在这种情况中,控制部41在能够以高精度检测到皮肤区域的范围内,或者(例如) 具体地在所计算的亮度平均值等于或小于能够由照相机22的图像拾取获得的最大亮度值 的一半的范围内将照相机22的放大率调节至最大。因此,可扩大在其中可检测到皮肤区域 同时保持皮肤区域的检测精度的可检测范围。另外,在调节处理中,将LED 21a和LED 21b的照射光量减小至检测皮肤区域所需 要的照射光最小量。因此,可通过减小LED 21a和LED 21b的照射所需电力同时保持皮肤 区域的检测精度来节省电力。<2.变形例〉在本实施方式的调节处理中,控制部41基于来自照相机22的外部光图像的柱状 图产生外部光图像的亮度平均值,并基于所产生的亮度平均值来调节照相机22的放大率。 然而,调节照相机22的放大率的方法不限于此。具体地,例如,如图7所示,控制部41可调节照相机22的放大率,使得,当像素的 数量在基于来自照相机22的外部光图像产生的柱状图中是最大值时,代表亮度值的峰值 (在此情况中是17 变得等于或小于可由照相机22的图像拾取获得的最大亮度值的一半。附带地,当在图7所示的情况中255的亮度值是峰值时,控制部41可在排除亮度 值是255 (饱和)的部分之后计算峰值,并基于计算的峰值来调节照相机22的放大率。另外,例如,如图8所示,控制部41可调节照相机22的放大率,使得,基于来自照 相机22的外部光图像生成的柱状图中,基于像素累计计数(表示从具有低亮度值的像素开 始通过连续累计(相加)获得的像素的数量)确定的亮度值变得等于或小于可由照相机22 的图像拾取获得的最大亮度值的一半。具体地,例如,控制部41可调节照相机22的放大率,使得,当像素累计计数是与 柱状图中的像素的总数的80%对应的像素的数量时,累计的像素的亮度值(在本情况中是 202)变得等于或小于可由照相机22的图像拾取所获得的最大亮度值的一半。在本实施方式中,控制部41基于外部光图像的柱状图来调节照相机22的放大率。 然而,可将控制部41构造为调节照相机22的放大率、光接收灵敏度、曝光(光接收)时间 等中的至少一个。另外,在本实施方式中,二值化部43实际上使来自计算部42的差分图像63 二值 化。然而,当形成差分图像63的像素的像素值均被形成第一拾取图像61的像素的对应像 素的亮度值归一化(相除)之后,可使差分图像63 二值化。附带地,二值化部43可在用第 二拾取图像62代替第一拾取图像61将差分图像63归一化之后使差分图像63 二值化。在本实施方式中,将LED 21a发出的光的第一波长设置在870nm,而将LED 21b发 出的光的第二波长设置在950nm。然而,波长的组合不限于此。S卩,只要在第一波长的反射率和在第二波长的反射率之间的差值相比于针对用户 皮肤以外的物体获得的反射率之间的差值足够高,波长的组合可以是任何组合。
具体地,如从图2中显而易见的,例如,可将LED 21a构造为施加小于930nm的波 长λ 1的照射光,而可将LED 21b构造为施加大于等于930nm的波长λ 2的照射光,同样 地,不仅有870nm和950nm的组合,而且有800nm和950nm的组合、870nm和IOOOnm的组合、 800nm和IOOOnm的组合等。另外,在本实施方式中,发光装置21使LED 21a和LED 21b彼此分开地发光。然 而,可通过使LED 21a和LED 21b同时发光来获得第一拾取图像和第二拾取图像。具体地,例如,彼此接近地设置两个具有与照相机22的功能类似的功能的照相机 来代替照相机22。对两个照相机中的一个的前表面设置仅通过第一波长的光的滤波器,并 对另一个照相机的前表面设置仅通过第二波长的光的滤波器。在这种情况中,即使在使LED 21a和LED 21b同时发光时,仍只有第一波长的光进 入该一个照相机。因此,可在一个照相机中获得第一拾取图像。另外,仅第二波长的光进入 另一照相机。因此,可在另一照相机中获得第二拾取图像。在本实施方式中,已在假设LED 21a的数量和LED 21b的数量均是两个的情况下 进行了描述。然而,这种LED的数量不限于此。在本实施方式中,已对信息处理系统1进行描述。可将信息处理系统1结合进诸 如以个人计算机为例的电子装置中,则个人计算机可基于对应于信息处理系统1检测到的 皮肤区域的姿势等来执行处理。不仅可通过专用硬件而且可通过软件来执行上述一系列处理。当用软件执行此系 列处理时,将组成软件的程序从记录媒体安装在所谓的嵌入式计算机或(例如)通过将各 种程序安装在个人计算机上而使得能够执行各种功能的通用个人计算机上。[计算机的构造实例]接下来,图9示出了由程序执行上述一系列处理的个人计算机的构造实例。CPU(中央处理单元)201根据存储在R0M(只读存储器)202或存储部208中的程 序来执行各种处理。RAM(随机存取存储器)203适当地存储由CPU 201执行的程序、数据 等。CPU 201、ROM 202和RAM 203经由总线204互相连接。CPU 201还经由总线204与输入-输出接口 205连接。输入-输出接口 205与包 括键盘、鼠标、麦克风等的输入部206和包括显示器、扬声器等的输出部207连接。CPU 201 响应于从输入部206输入的命令而执行各种处理。然后,CPU 201向输出部207输出处理结果。例如,与输入-输出接口 205连接的存储部208由硬盘形成。存储部208存储由 CPU 201执行的程序和各种数据。通信部209经由诸如因特网、局域网等的网络与外部装置
ififn。另外,可经由通信部209获得程序,并将其存储在存储部208中。当将可移动媒体211 (诸如磁盘、光盘、磁光盘、半导体存储器等)装载在与输 入-输出接口 205连接的驱动器210中时,驱动器210驱动可移动媒体以获得存储在可移 动媒体上的程序、数据等。将所获得的程序和所获得的数据根据需要传递至存储部208并 存储在存储部208中。如图9所示,例如,记录介质(其上记录了(存储了)安装在计算机上并设置在 能够被计算机执行的状态中的程序)由暂时或永久地存储程序的作为封装介质(packaged
15media)的可移动介质211或由ROM 202、形成存储部208的硬盘等来形成,封装介质包括磁 盘(包括软盘)、光盘(包括⑶-ROM (光盘只读存储器)和DVD (数字化视频光盘)、磁光盘 (包括MD (迷你光盘))、半导体存储器等)。根据需要,利用有线或无线通信介质(诸如局 域网、因特网、数字卫星广播等)经由作为接口的通信部209(诸如路由器、调制解调器等) 将程序记录在记录介质上。应当注意,在本说明书中,描述上述一系列处理的步骤不仅包括以所述顺序按时 序执行的处理,而且包括并行地或单独地而不必以时序来执行的处理。另外,在本说明书中,系统指的是由多个装置形成的作为整体的设备。应当注意,本发明的实施方式不限于上述本实施方式,而是在不背离本发明的实 质的前提下可进行各种改变。本领域的技术人员应该理解,根据设计需求和其它因素,可能出现各种修改、组 合、子组合和变形,只要他们在所附权利要求或其等价物的范围内。本申请包含涉及在2010年2月4日向日本专利局提交的日本优先权专利申请JP 2010-022814中公开的主题相关的主题,其全部内容结合于此以供参考。


本发明提供了图像处理装置、图像处理方法、程序及电子装置,其中图像处理装置用于从通过使对象成像来获得的拾取图像来检测表示所述对象的皮肤的皮肤区域,图像处理装置包括第一照射部;第二照射部;图像拾取部;调节部;以及皮肤检测部。



查看更多专利详情

下载专利文献

下载专利

同类推荐