专利名称：瞳孔检测装置和虹膜认证装置的制作方法 以往提出了从眼睛图像中检测出瞳孔位置的各种各样的方法，例如，已知的有将眼睛图像的图像数据(以下简称为“眼睛图像数据”)2值化(黑白化)，来检测低辉度区域中的圆形区域的方法，或者对于半径为r而中心坐标为(x0，y0)的圆的弧计算图像强度I(x，y)的环圆周积分，并计算随着半径r增加而与r有关的该量的局部的导函数的方法等。上述的现有的结构，例如公开在特表平8-504979号中。此外，对于消除睫毛或外来光反射的影响以提高检测精度的方法也提出了一些方案。上述的现有的结构，例如公开在特开2002-119477号中。为了使用这些方法精度良好地检测瞳孔，需要高速地处理庞大的图像数据，即使是使用处理能力高的大的CPU或大容量存储器，在现有的状况下也难以实时地处理眼睛图像的图像数据。此外，如果将CPU的处理量减少到能够实时地处理图像数据的程度，则会出现检测精度降低等的问题。
本发明提供能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。本发明的瞳孔检测装置，其具备从眼睛图像中检测能够成为瞳孔的候补的瞳孔候补的位置和半径的瞳孔候补检测部；以及求以瞳孔候补的中心坐标为中心具有指定的半径的圆的圆周上的眼睛图像的图像数据的辉度最大值与最小值之差的辉度差算出部；并且当由辉度差算出部求出的辉度差大于指定的阈值时，其判定对应的瞳孔候补不是瞳孔。图1是使用本发明的实施例1的瞳孔检测装置的虹膜认证装置的电路框图。
图2是表示使用本发明的实施例1的瞳孔检测装置的虹膜认证装置的动作的流程图。
图3A是表示积分圆位于虹膜区域时的眼睛图像和此时的辉度的一例的图。
图3B是表示积分圆位于眼镜框上时的眼睛图像和此时的辉度的一例的图。
图4A是表示包含瞳孔的图像的一例的图。
图4B是表示对于积分圆的半径的积分值的图。
图4C是表示用积分圆的半径将积分值微分后的值的图。
图4D是表示在眼睛图像上移动的积分圆的图。
图5是本发明的实施例2的瞳孔检测装置的电路框图。
图6是本发明的实施例2的瞳孔检测装置的图像数据提取部的电路图。
图7是表示本发明的实施例2的瞳孔检测装置的眼睛图像1帧的动作的流程图。
标记说明10 虹膜认证装置20 拍摄部30 照明部40 认证处理部100、200 瞳孔检测装置110 瞳孔候补检测部
120 辉度差算出部220 图像数据提取部230 环圆周积分部240 辉度差算出部250 瞳孔半径检测部260 指针部280 瞳孔位置检测部
本发明的瞳孔检测装置，其具备从眼睛图像中检测能够成为瞳孔的候补的瞳孔候补的位置和半径的瞳孔候补检测部；以及求以瞳孔候补的中心坐标为中心具有指定的半径的圆的圆周上的眼睛图像的图像数据的辉度最大值与最小值之差的辉度差算出部；并且当由辉度差算出部求出的辉度差大于指定的阈值时，其判定对应的瞳孔候补不是瞳孔。利用这种结构，能够高速且精度良好地检测瞳孔位置。
此外，优选地本发明的瞳孔检测装置，指定的半径比瞳孔候补的半径大。利用这种结构，则能够防止将例如眼镜框的一部分误检测为瞳孔等的误检测。
此外，本发明的瞳孔检测装置，其具备将同心圆状的多个圆分别作为积分圆设定在眼睛图像上并提取位于积分圆的圆周上的眼睛图像的图像数据的图像数据提取部；沿着积分圆中的每一者的圆周对图像数据提取部所提取的图像数据进行积分的环圆周积分部；检测环圆周积分部的积分值相对于积分圆的半径阶跃状地变化的瞳孔半径检测部；当瞳孔半径检测部检测出阶跃状的变化时，将该积分圆的中心坐标检测为瞳孔位置坐标的瞳孔位置检测部；以及求图像数据提取部沿着积分圆中的每一者的圆周所提取的图像数据的最大值与最小值之差的辉度差算出部；上述瞳孔检测装置，针对上述积分圆中的每一者，当辉度差算出部的输出大于指定的阈值时，则将对应的积分圆的积分值设为无效。利用这种结构，则能够使用规模比较小的电路对由拍摄部所拍摄的图像数据实时地进行瞳孔检测。
本发明的虹膜认证装置，具备本发明的瞳孔检测装置。利用这种结构，则能够提供出装载了能够精度良好且高速地进行瞳孔位置的检测的瞳孔检测装置的虹膜认证装置。
下面，使用附图对使用本发明的实施例的瞳孔检测装置的虹膜认证装置进行说明。
(实施例1)图1是使用本发明的实施例1的瞳孔检测装置100的虹膜认证装置10的电路框图。在图1中，除了表示出瞳孔检测装置100之外，还表示出用于构成虹膜认证装置10所需要的拍摄部20、照明部30和认证处理部40。
实施例1的虹膜认证装置10，具备对使用者的眼睛图像进行拍摄的拍摄部20；从眼睛图像中检测瞳孔位置及其半径的瞳孔检测装置100；将从眼睛图像得到的虹膜代码与已经登录的虹膜代码进行比较以进行个人认证的认证处理部40；照射适于眼睛图像获取的光量的近红外线来对使用者的眼睛及其周边部分进行照明的照明部30。
拍摄部20，具有引导反射镜21、可见光截止滤光器22、透镜23、拍摄元件24和前处理部25。在本实施例中，通过作为透镜23使用固定焦点透镜而实现了光学系统的小型、轻量化和低成本化。引导反射镜21通过使用者映入自己的眼睛而将眼睛向正确的拍摄位置引导。然后，使用者的眼睛通过可见光截止滤光器22和透镜23由拍摄元件24进行拍摄。前处理部25，从拍摄元件24的输出信号中取出图像数据成分，在作为增益调整等图像数据进行了必要的处理后，作为使用者的眼睛图像数据输出。
瞳孔检测装置100，具备瞳孔候补检测部110以及辉度差算出部120。瞳孔候补检测部110将从前处理部25输出的眼睛图像数据2值化，并从其中选出辉度暗的区域。然后，求出相对于所选出的1个或多个区域中的每一个进行内切的最大的圆，使将内切圆的中心坐标推断为瞳孔的瞳孔候补的位置坐标、内切圆的半径作为瞳孔候补的瞳孔半径向辉度差算出部输出。
辉度差算出部120，对于瞳孔候补中的每一者，以瞳孔候补的中心坐标为中心，求出具有比瞳孔候补的半径稍大的半径(例如，是瞳孔候补的半径的1.2倍～1.5倍)的圆的圆周上的图像数据(即，辉度数据)的最大值和最小值并计算其差。然后，如果该差小于等于指定的阈值(以下记为“辉度差阈值”)，则将对应的瞳孔候补视为正确的瞳孔候补，并向认证处理部40输出瞳孔中心坐标及其半径。
作为这时的辉度差阈值，优选地设定得比圆周上的辉度数据的预料的偏差稍大。从经验上看，设为比虹膜的平均辉度与瞳孔的平均辉度之差大，而比皮肤的平均辉度与瞳孔的平均辉度之差小即可。例如，在256灰度级的图像信号的情况下，由于瞳孔的平均辉度为40灰度级左右，虹膜的平均辉度为100灰度级左右，皮肤的平均辉度为200灰度级左右，所以作为辉度差阈值设定在60～160间即可。
认证处理部40，根据辉度差算出部120判定为正确的瞳孔的中心坐标，从眼睛图像数据中分出虹膜图像。然后，通过将虹膜图像变换成表示虹膜的模样的固有虹膜代码，并将其与已经登录的虹膜代码进行比较来执行认证动作。
图2是表示使用本发明的实施例1的瞳孔检测装置100的虹膜认证装置10的动作的流程图。
首先，通过使用者站在虹膜认证装置的前边来开始认证动作(S1)。然后，拍摄部20对使用者的眼睛图像进行拍摄(S2)。前处理部25判定所获得的眼睛图像的聚焦、辉度、对比度等的图像质量是否适当，在不适当的情况下，进行照明控制或对于使用者的指示等必要的处理，再次取入眼睛图像(S3)。
在所获得的眼睛图像适当的情况下，瞳孔检测装置100检测瞳孔位置及其大小。具体地说，首先，瞳孔候补检测部110使所取入的眼睛图像数据2值化，然后，从2值化后的眼睛图像中选择暗部区域。这时，也可以最初就将比预料的瞳孔的大小过大的区域或过小的区域去掉(S4)。接着，在所选择的暗部区域内求出内切的最大的圆并作为瞳孔候补输出其中心坐标和半径(S5)。
辉度差算出部120，以瞳孔候补的中心坐标为中心，求出具有比其半径大的半径的圆的圆周上的辉度数据最大值和最小值并计算其差(S6)。然后，如果差小于等于辉度差阈值，则将所选择的瞳孔候补看作是正确的瞳孔，向认证处理部40输出瞳孔的中心坐标及其半径。在差大于等于辉度差阈值的情况下，就将所选择的瞳孔候补判定为不是瞳孔而选择下一个瞳孔候补并返回到步骤S6(S7)。
当正确地检测出瞳孔后，认证处理部40，根据瞳孔的中心坐标，从眼睛图像数据中分出虹膜图像。然后，通过将虹膜图像变换成表示虹膜的模样的固有虹膜代码，并将其与已经登录的虹膜代码进行比较来执行认证动作(S8)。
图3A和图3B是用于说明本发明的实施例1的辉度差算出部120的动作的图，图3A是表示积分圆位于虹膜区域时的眼睛图像和此时的辉度的一例的图。图3B是表示积分圆位于眼镜框上时的眼睛图像和此时的辉度的一例的图。
当瞳孔候补是真的瞳孔501时，如图3A所示，辉度差算出部120，以瞳孔501的中心坐标为中心，求出位于具有比瞳孔501的半径稍大的半径的圆502的圆周上的眼睛图像的辉度数据，并计算其最大值与最小值之差。这时，由于上述的圆周位于虹膜部分，所以辉度的最大值、最小值都将进入到有限的辉度范围，其差将小于等于辉度差阈值。
但是，当瞳孔候补不是真的瞳孔时，例如图3B所示，在瞳孔候补检测部110将黑的眼镜框503的一部分检测为瞳孔候补的情况下，由于圆周521上的辉度在眼镜框503上低而在皮肤的部分上高，所以辉度的最大值与最小值之差变大。这样，通过计算以瞳孔候补的中心坐标为中心的圆502的圆周上的辉度的最大值与最小值之差，就能够判定瞳孔候补是否是真的瞳孔。
本实施例的瞳孔检测装置100，由于设置有判定由瞳孔候补检测部110所检测出的瞳孔候补是否是真的瞳孔的辉度差算出部120，所以只要在瞳孔候补中含有真的瞳孔，则瞳孔候补自身的检测精度不高也可以。因此，通过使瞳孔候补的检测精度下降到能够用比较廉价的CPU进行处理的程度，使用辉度差算出部120从瞳孔候补中找出真的瞳孔，就能够精度良好且高速地检测瞳孔位置。
(实施例2)图4A～4D是用于说明本发明的实施例2的瞳孔检测装置的瞳孔检测方法的图。图4A是表示包括瞳孔的图像的一例的图，图4B是表示对于积分圆的半径的积分值的图，图4C是表示用积分圆的半径对积分值进行微分后的值的图，图4D是表示在眼睛图像上移动的积分圆的图。
包括瞳孔的图像，如图4A所示，存在表示瞳孔的圆盘状的低辉度区域和在其外侧表示虹膜的圆环状的中辉度区域。因此，当以瞳孔中心的位置坐标(Xo，Yo)为中心使半径R顺序不同，沿着各自的积分圆C的圆周对图像数据进行环圆周积分时，如图4B所示，积分值I在瞳孔半径Ro处阶跃状地进行变化。因此，通过求出用半径R对积分值I进行微分后的值dI/dR超过差阈值ΔIth时的积分圆的半径，就能够知道瞳孔半径Ro。
实施例2的瞳孔检测装置，根据以上的思考方法，对瞳孔的位置坐标(Xo，Yo)和瞳孔半径Ro进行检测。首先，如图4D所示，在眼睛图像上设定中心坐标相等但半径不同的n个积分圆C1～Cn，对于每个积分圆Ci(i＝1～n)，对位于其圆周上的图像数据进行积分。实际上，计算位于每个积分圆Ci的圆周上的像素的图像数据的平均值，或者，从位于圆周上的像素中选择一定数量(m个)的像素并对其图像数据进行加算。
在实施例2中，设同心圆状的积分圆的数量n为20，从位于各个积分圆Ci的圆周上的像素中选择m＝8个像素，对其图像数据进行加算而作为环圆周积分的积分值I。此时，当积分圆C1～Cn的中心与瞳孔中心一致时，如上所述，由于对于各个积分圆Ci的积分值Ii阶跃状地变化，因此，如果求积分值Ii对于半径R的差值ΔIi，则在等于瞳孔半径Ro时，就表示大的极大值ΔI。
但是，当积分圆C1～Cn的中心与瞳孔中心不一致时，由于积分值Ii缓慢地变化，所以该差值ΔIi就不表示大的值。因此，通过求出差值ΔIi表示比差阈值ΔIth大的值的积分圆Ci，就能够求出瞳孔的位置及其半径。
但是，由于图像会存在偶发性地差值ΔIi表示大的值的可能性。特别是，虽然减小积分圆的数量n或在各个积分圆上选择的像素的数量m就能够减少计算量而能够进行高速的瞳孔检测，但相反，偶发性地差值ΔIi表示大的值的可能性增高，而瞳孔检测精度降低。为此，在实施例2中，通过设置辉度差算出部240，针对积分圆Ci中的每一者，求圆周上的辉度的最大值与最小值之差Bi，并且仅仅在该差Bi小于辉度差阈值Bth的情况下，将积分值Ii或其差值ΔIi作为有效，就防止了瞳孔检测精度的降低。
然后，使积分圆C1～Cn向眼睛图像上的各个位置移动，反复进行上述的动作。这样，通过求出差值ΔIi表示大的值时的积分圆Ci的中心坐标(X，Y)和此时的半径R，就能够求出瞳孔的位置坐标(Xo，Yo)和瞳孔的半径Ro。
另外，在256灰度级的图像信号的情况下，由于瞳孔的平均辉度为40灰度级左右，虹膜的平均辉度为100灰度级左右，皮肤的平均辉度为200灰度级左右，因此，作为辉度差阈值Bth，与实施例1同样设定在60～160之间。
此外，作为差阈值ΔIth，经验地说，设定在积分圆位于虹膜上时的积分值与积分圆位于瞳孔上时的积分值之差的1/4倍～1倍的范围内即可。在实施例2中，由于积分圆位于瞳孔上时的积分值I大致为40×8＝320，而积分圆位于虹膜上时的积分值I大致为100×8＝800，所以作为差阈值ΔIth，设定在其差480的一半左右，即设定为240。
图5是本发明的实施例2的瞳孔检测装置200的电路框图。虽然没有图示，但与实施例1同样，通过给瞳孔检测装置200附加拍摄部、照明部、认证处理部，就能够构成虹膜认证装置。
如图5所示，瞳孔检测装置200，具备将积分圆C1～Cn设定到眼睛图像上并提取各个积分圆Ci的圆周上的图像数据的图像数据提取部220；将所提取的图像数据以每个积分圆Ci的方式进行环圆周积分的环圆周积分部230；以每个积分圆的方式求图像数据的最大值与最小值之差Bi的辉度差算出部240；求积分值Ii对于半径Ri的差值ΔIi，当差值的最大值ΔI大于差阈值ΔIth时，就视为检测出了瞳孔，并将这时的积分圆的半径R作为瞳孔半径Ro输出的瞳孔半径检测部250；表示积分圆C1～Cn的中心坐标(X，Y)的指针部260；以及将瞳孔半径检测部250检测出瞳孔时的指针部260的输出作为瞳孔的X坐标Xo、Y坐标Yo输出的瞳孔位置检测部280。
图6是图像数据提取部220的电路图。同时，在图6中，还表示了与1个积分圆Ci对应的加法器230i和辉度差算出器240i。图像数据提取部220，由部分帧存储器210和用于从其中引出图像数据的引出线L构成。部分帧存储器210，是将先进先出型(FIFO型)的行存储器215多个串联起来的存储器。
于是，利用引出线Li从在图像上与积分圆Ci对应的m个像素中引出图像数据。另外，为了便于看图，虽然在图6中仅表示1个积分圆Ci和引出位于其圆周上的4个像素数据的引出线Li，但在实施例2中，从20个积分圆C1～C20中引出了各8个数据的引出线。
并且，由于每次当向部分帧存储器210内每1个像素地输入图像数据后，被保持在部分帧存储器210内的图像全体就每1个像素地进行移位，因此，从引出线Li引出的图像数据也每1个像素地进行移位。即，当向部分帧存储器210输入1个像素的量的图像数据后，在眼睛图像上积分圆C1～Cn就向右移动1个像素的量，而当输入1行的图像数据后，在眼睛图像上，积分圆C1～Cn就向下移动1行的量。
这样，在向部分帧存储器210输入1帧的图像数据的期间内，在眼睛图像上，积分圆C1～Cn就扫描眼睛图像全体。这时的积分圆的中心坐标(X，Y)由X计数器262和Y计数器264的输出表示。
环圆周积分部230具备相对于积分圆C1～Cn中的每一者独立的加法器230i～230n，其加算位于各个积分圆Ci的圆周上的m个图像数据，并将各自的加算结果作为积分值Ii向瞳孔半径检测部250输出。
辉度差算出部240，具备相对于积分圆C1～Cn中的每一者独立的辉度差算出器240i～240n。各个辉度差算出器240i都具备检测位于积分圆Ci的圆周上的m个像素数据的最大值的最大值检测器241i、检测最小值的最小值检测器242i、计算最大值与最小值之差Bi的减法器243i、对差Bi及辉度差阈值Bth进行比较的比较器244i。并且，向瞳孔半径检测部250输出n个比较结果。
瞳孔半径检测部250，具备n-1个的减法器252i～252n-1、选择器253、比较器254、255和寄存器255。减法器252i～252n-1求针对各个积分圆Ci的积分值Ii对于半径R的差。即，求对于积分圆C1～Cn之中的半径一个数不同的圆Ci与Ci-1的积分值Ii与Ii-1的差值ΔIi。
但是，在对于积分圆Ci的辉度差算出器240i的输出、即图像数据的最大值与最小值之差Bi大于辉度差阈值Bth的情况下，则强制性地将差值ΔIi设为0。然后，利用选择器253选择最大的差值ΔI和此时的积分圆的半径R。比较器254，对最大的差值ΔI和差阈值ΔIth进行比较，当差值ΔIi大于差阈值Δith时，向比较器255输出差值ΔIi。
比较器255，对被保持在寄存器259内的旧的差值ΔIold和从比较器254新输入的差值ΔInew进行比较。然后，当差值ΔInew大于旧的差值ΔIold时，就将寄存器259的数据改写成新输入的差值ΔInew。同时，将寄存器256的数据改写成从选择器253传来的新的半径Rnew。
当差值ΔInew小于等于旧的差值ΔIold时，就不进行改写。因此，在进行了1帧的量的上述动作后，使差值ΔI比差阈值ΔIth大且使差值ΔI变为最大的积分圆的半径作为瞳孔半径Ro被保持在寄存器256内。
如上所述，在本发明的实施例2中，在对于积分圆Ci的图像数据的最大值与最小值之差Bi比辉度差阈值Bth大的情况下，就强制性地将差值ΔIi设定为0。因此，在差Bi比辉度差阈值Bth大的情况下，就不会向瞳孔位置检测部280输出半径Ri。
如在实施例1中使用图3所说明的那样，在积分圆Ci～Cn的中心与瞳孔的中心一致的情况下，图像数据的最大值与最小值之差Bi就将小于等于某一有限的值。但是，在与瞳孔的中心不一致的情况下，差Bi将增大。因此，通过去掉差Bi比辉度差阈值Bth大的情况下的信息，就能够减小误检测的可能性，从而能够提高瞳孔检测精度。
瞳孔位置检测部280具备2个寄存器286、287，其将X计数器262和Y计数器264的值保持在寄存器286、287内。此外，每当改写瞳孔半径检测部250的寄存器256的数据时，寄存器286、287的内容也被改写。因此，在1帧的量的上述动作后，比差阈值ΔIth大且使差值ΔI变为最大的积分圆的中心坐标作为瞳孔瞳孔位置坐标(Xo，Yo)被保持到寄存器286、287内。
下面，对瞳孔检测装置200的动作进行说明。在以下的说明中，设眼睛图像数据是依次扫描数据，设1帧由例如480行×640像素的数字数据构成。图7是表示本发明的实施例2的瞳孔检测装置200的眼睛图像1帧的量的动作的流程图。
首先，瞳孔检测装置200，取入1个像素量的图像数据(S51)。如果所取入的图像数据是1帧的开头的数据(S52)，则使Y计数器264复位并且使瞳孔位置检测部280的各个寄存器286、287复位(S53)。如果所取入的数据是1行的开头的数据(S54)，则使X计数器262复位，使Y计数器264加1(S55)。然后，使X计数器262加1(S56)。
接着，将所取入的图像数据取入到部分帧存储器210内。之后，在眼睛图像上，从与n个积分圆C1～Cn对应的像素之中的各个积分圆Ci中每m个地引出n×m个图像数据。然后，与各个积分圆Ci对应的加法器230i，分别计算图像数据的积分值Ii，辉度差算出器240i计算图像数据的最大值与最小值之差Bi。瞳孔半径检测部250的减法器252i计算各个积分值Ii的差值ΔIi。
但是，这时，在差Bi比辉度差阈值Bth大的情况下，就强制性地使差值ΔIi变为0。然后，选择器253和比较器254，分别向寄存器259、256输出差值ΔIi之中的最大且比差阈值ΔIth大的差值ΔInew和与之对应的积分圆的半径Rnew(S57)。比较器255对新被输入的差值ΔInew和被保持在寄存器259内的旧的差值ΔIold进比较(S58)。
然后，在差值ΔInew比ΔIold大的情况下，就将寄存器259的内容改写成新的差值ΔInew，同时，寄存器256和瞳孔位置检测部280的寄存器287、286的内容也分别被改写成新的半径Rnew和新的坐标值Xnew、Ynew(S59)。然后，判定所取入的数据是否是1帧的末尾的数据(S60)，如果不是末尾，则返回步骤S51。
当输入的图像数据达到了1帧的最后的像素时，则输出被保持在寄存器256、286、287内的数据。这时，在检测出瞳孔的情况下，被保持在寄存器256、286、287内的数据分别表示瞳孔半径Ro、瞳孔的X坐标Xo、Y坐标Yo，当未检测出瞳孔时，由于寄存器256、286、287保持在步骤S53被复位的原状，所以被保持的数据都为0(S61)。
在以上的流程的从步骤51到步骤60的一连串的动作，每当向部分帧存储器210输入了1个像素的量的图像数据后被执行。例如，在帧频为30Hz，眼睛图像由640×480像素构成的情况下，是以小于等于1/(30×640×480)秒的时间执行上述一连串的动作。然后，由于向部分帧存储器210输入了1个像素后，积分圆在图像上移动1个像素的量，所以在输入1帧的图像的期间内，积分圆在图像上进行一次扫描。这样，就能够使用比较小的规模的电路，对于由拍摄部120所拍摄的图像数据实时地进行瞳孔检测。
另外，在本实施例中，虽然将同心圆状的积分圆的数量设为20，将从1个积分圆引出的图像数据的数量设为8个，但优选地这些数量兼顾检测精度、处理时间、电路规模等来决定。
按照本发明，则能够提供出能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。
工业上利用的可能性.
本发明，由于能够提供出能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置，所以作为个人认证等所使用的虹膜认证装置是有用的。


具备从眼睛图像中检测瞳孔候补的位置的瞳孔候补检测部(110)；以及求以瞳孔候补的中心坐标为中心具有指定的半径的圆的圆周上的眼睛图像的图像数据的最大值与最小值之差的辉度差算出部(120)；并且，当辉度差算出部(120)的输出大于指定的阈值时，则判定对应的瞳孔候补不是瞳孔。