早鸽—汇聚行业精英
  • 联系客服
  • 帮助中心
  • 投诉举报
  • 关注微信
400-006-1351
您的问题早鸽都有答案
3000+专业顾问
搜索
咨询

图像处理装置、内窥镜系统、程序以及图像处理方法

  • 专利名称
    图像处理装置、内窥镜系统、程序以及图像处理方法
  • 发明者
  • 公开日
  • 申请日期
  • 优先权日
  • 申请人
  • 文档编号
  • 关键字
  • 技术领域
    本发明涉及图像处理装置、内窥镜系统、程序以及图像处理方法等
  • 背景技术
  • 具体实施例方式
    以下,对本实施方式进行说明此外,以下说明的本实施方式并非不当地限定权利要求书所述的本发明内容另外,在本实施方式中说明的全部结构未必是本发明的必要技术特征I.本实施方式的方法
  • 专利详情
  • 全文pdf
  • 权力要求
  • 说明书
  • 法律状态
专利名称:图像处理装置、内窥镜系统、程序以及图像处理方法近年来,在内窥镜或显微镜等领域中,除了采用普通的白色光的普通光图像之外,还利用了采用具有特定分光特性的特殊光的特殊光图像。例如,在专利文献I中公开了如下这样的内窥镜装置,该内窥镜装置从已投放荧光物质的被检体中交替地取得采用普通白色光的普通光图像和在采用规定的激励光时获得的荧光图像,并将两个图像记录到存储装置内,从而同时进行显示。根据该专利文献I的技术,可在普通光图像中提高病变部等关注区域的识别能力。 另外,在专利文献2中公开了如下这样的内窥镜装置,该内窥镜装置交替地取得采用普通白色光的普通光图像和采用特定波长的特殊光的特殊光图像,并将两个图像记录到存储装置内,对两个图像进行不同的图像处理,并独立或合成地显示两个图像。根据该专利文献2的技术,可获得最优的普通光图像和特殊光图像,并能够在普通光图像中提高病变部等关注区域的识别能力。现有技术文献 专利文献专利文献I :日本特开昭63-122421号公报专利文献2 :日本特开2004-321244号公报
发明所要解决的问题但是,在专利文献1、2的现有技术中,可能会同时显示普通光图像和特殊光图像,但病变部等关注区域的识别依赖于作为使用者的医生等。因此具有如下这样的课题在如内窥镜装置等那样动态地进行摄像等的情况下,即使关注区域存在于特殊光图像上也会在短时间内向其它区域移动,此时使用者无法识别到。另外还具有如下这样的课题即使在静止状态下进行摄像时,如果特殊光图像上的关注区域的面积小,使用者也无法识别到。在专利文献1、2的现有技术中还具有如下这样的课题因为利用I比I的比例来交替地取得普通光图像与特殊光图像,所以在利用动态图像进行观察时作为基本的普通光图像的时间分辨率不足,从而难以观察。根据本发明的几个方式,可提供能够抑制关注区域的漏看并进行可靠性高的识别的图像处理装置、内窥镜系统、程序以及图像处理方法等。另外,根据本发明的几个方式,可提供在以动态图像进行观察的情况下能够抑制作为基本的第I图像的时间分辨率的降低并取得高品位的显示图像的图像处理装置、内窥镜系统、程序以及图像处理方法等。用于解决问题的手段本发明的一方式涉及图像处理装置,其包含第I图像取得部,其取得具有白色光波长频带下的信息的图像作为第I图像;第2图像取得部,其取得具有特定波长频带下的信息的图像作为第2图像;关注区域检测部,其根据上述第2图像内的像素特征量来检测上述第2图像中的关注区域;显示方式设定部,其对根据上述第I图像生成的显示图像进行显示方式设定处理;以及经过时间设定部,其根据上述关注区域的检测结果进行经过时间的设定处理,上述显示方式设定部根据所设定的上述经过时间进行上述显示方式设定处理。另夕卜,本发明涉及使计算机作为上述各个部发挥功能的程序或存储该程序的计算机可读取的信息存储介质。根据本发明的一方式,取得第I、第2图像,从第2图像中检测到关注区域。然后根据关注区域的检测结果进行经过时间的设定处理,根据所设定的经过时间进行显示图像的显示方式设定处理。这样当检测到关注区域时设定经过时间,并进行反映所设定的经过时间的显示图像的显示方式设定处理,所以可提供能够抑制关注区域的漏看并进行可靠性高 的识别的图像处理装置。另外,本发明的其它方式涉及图像处理装置,其包含第I图像取得部,其取得具有白色光波长频带下的信息的图像作为第I图像;第2图像取得部,其取得具有特定波长频带下的信息的图像作为第2图像;关注区域检测部,其根据上述第2图像内的像素特征量来检测上述第2图像中的关注区域;提醒信息输出部,其输出关于检测到的上述关注区域的提醒信息;以及经过时间设定部,其根据上述关注区域的检测结果进行经过时间的设定处理,上述提醒信息输出部在所设定的上述经过时间经过之前的期间输出上述提醒信息。另夕卜,本发明涉及使计算机作为上述各个部发挥功能的程序或存储该程序的计算机可读取的信息存储介质。根据本发明的其它方式,取得第I、第2图像,从第2图像中检测到关注区域。然后根据关注区域的检测结果进行经过时间的设定处理,在所设定的经过时间经过之前的期间,输出提醒信息。这样在经过时间经过之前的期间,输出提醒信息,由此可提供能够抑制关注区域的漏看并进行可靠性高的识别的图像处理装置。另外,本发明的其它方式涉及内窥镜系统,其包含第I图像取得部,其取得具有白色光波长频带下的信息的图像作为第I图像;第2图像取得部,其取得具有特定波长频带下的信息的图像作为第2图像;关注区域检测部,其根据上述第2图像内的像素特征量来检测上述第2图像中的关注区域;显示方式设定部,其对根据上述第I图像生成的显示图像进行显示方式设定处理;经过时间设定部,其根据上述关注区域的检测结果进行经过时间的设定处理;以及显示部,其显示上述显示图像,上述显示方式设定部根据所设定的上述经过时间进行上述显示方式设定处理。另外,本发明的其它方式涉及以下的图像处理方法取得具有白色光波长频带下的信息的图像作为第I图像;取得具有特定波长频带下的信息的图像作为第2图像,根据上述第2图像内的像素特征量来检测上述第2图像中的关注区域,根据上述第I图像生成的显示图像进行显示方式设定处理,根据上述关注区域的检测结果进行经过时间的设定处理,并且根据所设定的上述经过时间来进行上述显示方式设定处理。另外,本发明的其它方式涉及以下的图像处理方法取得具有白色光波长频带下的信息的图像作为第I图像;取得具有特定波长频带下的信息的图像作为第2图像,根据上述第2图像内的像素特征量来检测上述第2图像中的关注区域,输出关于检测到的上述关注区域的提醒信息,根据上述关注区域的检测结果进行经过时间的设定处理,并且在所设定的上述经过时间经过之前的期间,输出上述提醒信息。图I (A)、图I (B)是现有方法的说明图。
图2是根据关注区域的检测结果来变更显示图像的显示方式的方法说明图。图3是本实施方式的经过时间设定方法的说明图。图4是利用关注区域的检测来重新设定经过时间的方法说明图。图5是本实施方式的第I结构例。图6 (A)、图6 (B)是关于CXD的滤色镜的说明图。图7 (A)、图7 (B)是关于照明光和旋转滤镜的分光特性的说明图。图8是取得普通光图像以及特殊光图像的周期期间的说明图。图9 (A)、图9 (B)是基于关注区域检测的经过时间设定方法的说明图。图10是关注区域检测部的结构例。图11是用于关注区域检测的色调/饱和度的阈值的说明图。图12是经过时间设定部的结构例。图13 (A)、图13 (B)是检测信息的更新方法的说明图。图14是显示方式设定部的结构例。图15是提醒信息的附加方法的说明图。图16是在软件处理中使用的计算机的结构例。图17是在软件处理中使用的计算机的结构例。图18是说明本实施方式的整体处理的流程图。图19是说明关注区域检测处理的流程图。图20是说明经过时间设定处理的流程图。图21是说明显示方式设定处理的流程图。图22是本实施方式的第2结构例。图23是与运动量相应的经过时间的设定方法的说明图。图24是经过时间设定部的结构例。图25是关于运动量与经过时间的关系的说明图。图26是显示方式设定部的结构例。图27是本实施方式的第3结构例。图28是关于照明光的滤色镜的说明图。

首先,对本实施方式的概要进行说明。图I (A)以及图I (B)示出现有的方法。图I (A)示出普通光的观察状况。虽然能够获得整体明亮、容易观察的图像,但对于扁平上皮癌等一部分病变难以视觉识别。另外,图I (B)示出特殊光(例如窄频带光或者荧光)的观察状况。例如,以褐色来显示扁平上皮癌等病变之类的与普通光观察相比能够提高一部分病变的视觉识别性,但由于整体较暗,而成为难以观察的图像。作为解决这样的问题的方法还考虑了图2所示的方法。在该方法中,由特殊光图像(第2图像)来确定例如扁平上皮癌等病变部等关注区域,并根据该关注区域的检测结果来加工普通光图像,以提高病变部等关注区域的视觉识别性。具体地说,在关注区域中进行普通光图像的颜色与规定颜色的合成处理,或者进行利用规定颜色的线来包围关注区域的周缘部等的图像处理,以提高关注区域的视觉识别性。但是,即使采用此方法,当如图2所示医生专注于设备操作时,有可能会漏看病变部等关注区域。尤其,在利用内窥镜来拍摄动态图像的情况下,具有在特殊光图像上检测到的关注区域在短时间内移动到其它区域这样的问题。在本实施方式中,为了能够抑制这样的关注区域漏看并且进行可靠性高的识别,而采用以下说明的这种方法。首先,在本实施方式中如图3的A1、A2所示,取得普通光图像(广义上为第I图像)和特殊光图像(广义上为第2图像)。这些普通光图像以及特殊光图像可通过利用普通视野(scope )型内窥镜进行实时摄影来取得,或者可通过从存储装置中读出胶囊型内窥镜等所 拍摄的图像来取得。然后,当如图3的A2所示从特殊光图像中检测出关注区域时,如A3所示设定关于显示图像的显示方式变更处理的经过时间。并且在经过时间经过之前的期间进行变更显示图像的显示方式的处理(使显示图像变化的处理)。具体地说,如A4所示在经过时间经过之前的期间,生成在普通光图像中已设定(附加、重叠、混合)针对关注区域的提醒信息的显示图像,并显示到显示部上。然后在经过时间已经过时,不进行该显示方式的变更处理,例如将普通光图像作为显示图像进行显示。此外,在图3中,即使如A5所示没有从特殊光图像中检测到关注区域时,在A3的经过时间经过之前的期间,如A6所示变更显示图像的显示方式。由此,在没有检测到关注区域之后的片刻期间输出提醒信息,从而能够有效地抑制医生等使用者的漏看。另外,在图4中,取得MNl MN9作为普通光图像,取得MSl MS9作为特殊光图像。与頂SI MS9的各个特殊光图像对应地取得这些MNl MN9的各个普通光图像。并且,当如图4的BI所示在特殊光图像MSl中检测到作为病变部等的关注区域时,设定如B2所示的经过时间。然后通过B2的经过时间的设定,使该经过时间内的普通光图像MN2 MN6成为显示方式变更处理的对象,并将已变更MN2 MN6的显示方式的图像作为显示图像进行显示。另外如图4的B2所示在经过时间内,当如B3所示在下一特殊光图像MS2中检测到关注区域时,如B4所示重新设定经过时间。具体地说,设定以B3的关注区域的检测定时为起点的新经过时间,来延长经过时间。根据该B4的经过时间的重新设定,除了普通光图像MN2 MN6之外,MN7也成为显示方式变更处理的对象,并将已变更普通光图像IMN2 MN7的显示方式的图像作为显示图像进行显示。然后在B5的特殊光图像MS3中未检测到关注区域,因此不进行经过时间的重新设定,B6的普通光图像IMN8不是显示方式变更处理的对象,显示方式不变更。根据以上本实施方式的方法,取得普通光图像(第I图像)和特殊光图像(第2图像),例如根据特殊光图像的像素特征量来检测关注区域,根据检测结果进行经过时间的设定处理,根据所设定的经过时间来进行显示图像的显示方式设定处理。因此,即使在动态的观察中仅在短时间内检测到关注区域时,医生等使用者也能够识别出关注区域存在于当前位置的附近。因此,能够抑制关注区域的漏看,进行可靠性高的识别。尤其如图3的A5所示在特殊光图像中没有检测到关注区域时,只要是经过时间内也可以如A6所示变更显示图像的显示方式。因此,即使在如图2那样医生等使用者专注于设备的操作而漏看关注区域时,也会在片刻期间内输出提醒信息。由此,能够让使用者发现关注区域的存在,此外还能够进行可靠性高的识别。另外,在本实施方式中,如后所述,在规定的每个周期期间内取得普通光图像和特殊光图像,而且使普通光图像的取得比例高于特殊光图像。因此,能够抑制作为基本的普通 光图像的时间分辨率的降低,并获得高品位的普通光图像。而且如图3的A4所示,将普通光图像的例如周缘部设定为提醒区域并附加提醒信息(提醒图像),所以能够提供不妨碍普通光图像的观察且具有良好操作性的图像处理装置。2.第I结构例2. I整体结构图5示出实现以上这种方法的本实施方式的第I结构例。该第I结构例是本实施方式的图像处理装置90以及包含该图像处理装置90的内窥镜系统(内窥镜装置)的结构例。此外,本实施方式的图像处理装置90、内窥镜系统不限定于图5的结构,可实施省略该构成要素的一部分或者追加其它构成要素等各种变形。经由处于内窥镜前端部(插入部)的镜头系统100(广义上为光学系统)以及(XD101(广义上为摄像元件)拍摄的影像信号通过增益放大器104进行放大,利用A/D转换部105转换为数字信号。在内窥镜前端部中,来自照明光源102的照明光透过安装于旋转滤镜103上的滤镜(F1、F2),该透射光经由光纤照射至被摄体。来自A/D转换部105的数字影像信号经由缓存器106传送至WB (白平衡)部107、测光评价部108、切换部109。WB部107与增益放大器104连接,测光评价部108与照明光源102、增益放大器104连接。如图5所示,本实施方式的图像处理装置90 (图像处理部)包含切换部109、第I图像取得部110、第2图像取得部111、关注区域检测部112、经过时间设定部113、显示方式设定部114。此外,可实施省略这些构成要素的一部分或者追加其它构成要素等各种变形。切换部109与第I图像取得部110以及第2图像取得部111连接。第I图像取得部110经由显示方式设定部114与液晶显示器等的显示部115 (广义上为输出部)连接。第2图像取得部111与关注区域检测部112连接,关注区域检测部112与经过时间设定部113连接,经过时间设定部113与显示方式设定部114连接。由微型计算机等实现的控制部116与旋转滤镜103、增益放大器104、A/D转换部105、WB部107、测光评价部108、切换部109、第I图像取得部110、第2图像取得部111、关注区域检测部112、经过时间设定部113、显示方式设定部114、显示部115双向连接。另外,外部I/F (接口)部117与控制部116双向连接。该外部I/F部117具备电源开关、快门按钮、用于进行在摄影时切换各种模式等的设定的接口。接着,对图5的第I结构例的动作进行说明。使用者在经由外部I/F部117设定摄影条件之后,通过按压快门按钮来转移至摄像模式。将经由镜头系统100、(XD101拍摄的影像信号作为模拟信号以规定时间间隔连续地输出。在本实施方式中,假定1/30秒作为上述规定时间间隔。另外,假定在前表面配置Bayer型原色滤镜的单板CCD作为CCD101。图6 (A)示出Bayer型原色滤镜的结构例。Bayer型将2X2像素作为基本单位,红(R)、蓝(B)滤镜每配置I像素,绿(G)滤镜配置2像素。图6 (B)示出三种滤色镜R、G、B的分光特性。而且,在本实施方式中,假定将氙气灯等的普通的白色光用光源作为照明光源102,在旋转滤镜103中安装有二种滤镜。关于上述二种滤镜,一个是普通光图像用滤镜F1,另一个是特殊光图像用滤镜F2。
图7 (A)示出将照明光源102的照明光的分光特性与普通光图像用滤镜Fl组合后的分光特性。普通光图像用滤镜Fl具有在整个可视区域中均匀透射的特性,作为组合后的分光特性与照明光源102的照明光的分光特性相同。与图6 (B)所示的Bayer型CCD的分光特性对照来获得普通光图像的R、G、B信号。图7 (B)示出将照明光源102的照明光的分光特性与特殊光图像用滤镜F2组合后的分光特性。特殊光图像用滤镜F2如日本特开2002-95635所公开的那样,具有仅透过获得表层血管信息的蓝色光的窄频带(390 445nm)和获得深层血管信息的绿色光的窄频带(530 550nm)的特性,组合后的分光特性成为由蓝色光的窄频带和绿色光的窄频带这2个窄频带构成的分光特性。与图6 (B)所示的Bayer型CCD的分光特性对照来获得B信号为蓝色光的窄频带、G信号为绿色光的窄频带、R信号为0的信号作为特殊光图像。旋转滤镜103中的普通光图像用滤镜Fl与特殊光图像用滤镜F2在圆周方向上的面积比被设定为29:1。另外,假定旋转滤镜103以I旋转/秒的速度进行旋转。在此情况下,周期期间(T)为I秒,进行普通光图像用的照明的期间(Tl)为29/30秒,进行特殊光图像用的照明的期间(T2)为1/30秒。在本实施方式中,因为以1/30秒来拍摄影像信号,所以将I秒作为周期期间来交替地获得29张普通光图像和I张特殊光图像。因此,可充分维持与普通光图像相关的时间分辨率。例如图8所示,第I图像取得部110在每个规定的周期期间(T)取得至少I帧量的普通光图像(第I图像),具体地说,取得K帧量的普通光图像INl IN29 (K张特殊光图像)。另外,第2图像取得部111在每个周期期间(T)取得至少I帧量的特殊光图像,具体地说,取得L帧量的特殊光图像ISl (L张特殊光图像)。这里,普通光图像INl IN29是经由图5的普通光图像用滤镜Fl利用照明光对被摄体进行照明时获得的图像,特殊光图像ISl是经由特殊光图像用滤镜F2照明时获得的图像。并且,在图8中K=29、L=l,K>L的关系成立。这样,由于K>L的关系成立,从而关于在各周期期间(各图像取得期间)所取得的图像的张数,普通光图像一方较多。因此,可充分维持与普通光图像相关的时间分辨率,并能够抑制利用特殊光图像检测关注区域而引起的显示图像的动态图像品质劣化等。另外,关于特殊光图像,例如未直接显示到显示部115上,而是作为例如后台处理来执行关注区域的检测处理。因此,即使在各周期期间取得的特殊光图像的张数L少,也不会产生大的问题。另外,当将在图3、图4的方法中设定的经过时间的长度设为TE、将周期期间的长度设为T时,如图8所示TE>T的关系成立。通过这样,能够使经过时间的长度TE相对于周期期间的长度T充分长。因此,在如图4的B5那样检测不到关注区域之后,如B7所示,能够在经过时间经过之前的片刻期间显示关注区域的提醒信息。根据控制部116的控制,与CCDlOl的摄影动作同步地进行在内窥镜前端部设置的旋转滤镜103的旋转。利用摄影动作获得的模拟影像信号经由增益放大器104来放大规定量,并通过A/D转换部105转换为数字信号向缓存器106传送。缓存器106可记录I张普通光图像或特殊光图像的数据,并且伴随着摄影来覆盖图像。根据控制部116的控制以规定的时间间隔间歇地向WB部107以及测光评价部108 传送缓存器106内的普通光图像。在WB部107中通过使规定电平的信号按对应于滤色镜的每个颜色信号来累计,从而计算白平衡系数。并向增益放大器104传送上述白平衡系数,使上述白平衡系数与每个颜色信号不同的增益相乘,由此来执行白平衡调整。测光评价部108控制照明光源102的光量或增益放大器104的放大率等,以成为适当曝光。切换部109根据控制部116的控制,当缓存器106内记录有普通光图像时向第I图像取得部HO传送图像,当记录有特殊光图像时向第2图像取得部111传送图像。第I图像取得部110根据控制部116的控制,从切换部109读入单板状态的普通光图像,进行公知的插补处理、灰度处理等,向显示方式设定部114传送处理后的普通光图像。第2图像取得部111根据控制部116的控制,从切换部109读入单板状态的特殊光图像进行公知的插补处理、灰度处理等。此外如日本特开2002-95635所公开的那样,还根据与蓝色光的窄频带对应的B信号和与绿色光的窄频带对应的G信号一并进行生成伪彩色图像的处理。向关注区域检测部112传送处理后的特殊光图像。关注区域检测部112根据控制部116的控制,从第2图像取得部111读入特殊光图像,进行规定的关注区域在本实施方式中为血管密集存在的病变部的检测处理。向经过时间设定部113传送检测处理结果。经过时间设定部113根据控制部116的控制,从关注区域检测部112读入关注区域的检测处理结果,并针对普通光图像来决定设定提醒信息的经过时间,该提醒信息发出与检测处理结果相关的信息。在本实施方式中,在检测到关注区域时例如设定5周期期间即5秒作为经过时间,以后,即使没有检测到关注区域也设定5秒期间的提醒信息。另外,当在设定的经过时间内检测到新的关注区域时,如图4的B4所说明的那样,以此时刻为起点重新设定5秒的经过时间。经过时间设定部113判断当前时刻(当前时点)是否属于所设定的经过时间内,并向显示方式设定部114传送该判断结果。显示方式设定部114 (显示方式决定部、显示控制部)根据控制部116的控制,从经过时间设定部113读入是否属于经过时间内的判断结果,在属于经过时间内的情况下,选择对普通光图像设定(附加、重叠)提醒信息(提醒区域)的处理。另一方面,在当前时刻不属于经过时间内的情况下,不特别进行处理。此时,设定有提醒信息的普通光图像是在检测到关注区域的特殊光图像之后取得的普通光图像。例如在通过图4中BI的特殊光图像IMSl检测到关注区域时,对特殊光图像MSl之后取得的普通光图像MN2设定(附加,重叠)提醒信息来变更显示方式。向显示部115传送并依次显示在显示方式设定部114中生成的显示图像。当选择提醒信息的设定(显示方式的变更)时,将对普通光图像设定有提醒信息的图像作为显示图像进行传送,当选择不设定提醒信息(显示方式不变更)时,将普通光图像直接作为显示图像进行传送。此外,在图5中作为输出部的一例示出显示部115,但本实施方式的输出部不仅限于此,还能够以在硬盘或存储卡等记录介质中依次记录保存普通光图像的方式来实现。另外,作为提醒信息可输出声音提醒信息而不是图像。如以上这样在本实施方式中,如图8所示,第I图像取得部110按照周期期间(T)来取得至少I帧量(K帧量)的普通光图像,第2图像取得部111按照周期期间来取得至少I帧量(L帧量)的特殊光图像。
然后,如图9 (A)的Cl所示,当在周期期间TN (第N的周期期间)中从特殊光图像内检测到关注区域时,如C2所示利用经过时间设定部113来设定经过时间。这样,显示方式设定部114在周期期间TN之后的周期期间TN+1 (第N+1周期期间)中,进行变更显示图像的显示方式的处理。当在例如图8的Gl所示的特殊光图像ISl中检测到关注区域时,针对在下一周期期间取得的G2所示的INl以后的普通光图像设定提醒信息,来变更显示方式。然后,如图9 (A)的Cl所示在周期期间TN中从特殊光图像内检测到关注区域,如C3所示在周期期间TN+1中从特殊光图像内没有检测到关注区域。这是在图8的Gl所示的特殊光图像ISl中检测到关注区域、在G3所示的特殊光图像ISl中没有检测到关注区域的情况。在此情况下,显示方式设定部114如图9 (A)所示,在周期期间TN+1 周期期间TN+5 (广义上为第N+1周期期间 第M周期期间)中,变更显示图像的显示方式。另外,如图9 (B)的C4所示在周期期间TN中检测到关注区域,如C5所示设定了经过时间,然后如C6所示在下一周期期间TN+1的特殊光图像中也检测到关注区域。这相当于在图8的Gl的特殊光图像ISl中检测到关注区域、在G3的特殊光图像ISl中也检测到关注区域的情况。在此情况下,如图9 (B)的C7所示重新设定经过时间,使经过时间延长。然后,当如CS所示在下一周期期间TN+2的特殊光图像中也检测到关注区域时,如C9所示重新设定经过时间,使经过时间进一步延长。这样,只要检测到关注区域就进行显示图像的显示方式的变更处理,在检测不到关注区域之后,在经过时间经过之前的期间内也继续显示方式的变更处理。2. 2关注区域检测部图10示出关注区域检测部112的结构例。图10的关注区域检测部112包含缓存器200、色调/饱和度计算部201、关注区域判定部202、阈值用R0M203、缓存器204、可靠度计算部205。此外,可实施省略这些构成要素的一部分或者追加其它构成要素等各种变形。在图10中,第2图像取得部111经由缓存器200与色调/饱和度计算部201连接。色调/饱和度计算部201以及阈值用R0M203与关注区域判定部202连接。关注区域判定部202经由缓存器204与可靠度计算部205连接。可靠度计算部205与经过时间设定部113连接。控制部116与色调/饱和度计算部201、关注区域判定部202、阈值用R0M203、可靠度计算部205双向连接。第2图像取得部111向缓存器200传送被伪彩色图像化的特殊光图像。色调/饱和度计算部201根据控制部116的控制,从缓存器200读入被伪彩色图像化的特殊光图像。伪彩色图像化的特殊光图像由R、G、B这3个信号构成,例如采用下式(I) (3)将这三个信号转换为亮度信号Y以及色差信号Cb、Cr。Y=O. 29900R+0. 58700G+0. 11400B (I)Cb=-O. 16874R-0. 6G+0. 50000B (2)Cr=O. 50000R-0. 41869G-0. 08131B (3)而且,采用下式(4 )、( 5 )来计算色调H、饱和度C。H=tan_1 (Cb/Cr) (4)C= (Cb Cb+Cr Cr) 1/2 (5)向关注区域判定部202以像素为单位依次传送所计算的色调H、饱和度C。关注区域判定部202根据控制部116的控制,从色调/饱和度计算部201读入色调H、饱和度C,从阈值用R0M203读入与色调和饱和度相关的阈值。图11示出在阈值用R0M203中记录的阈值的一例。在被伪彩色图像化的特殊光图像中,红褐色状地显示病变部等表层血管密集的区域。因此,图11所示的扇状区域为病变部即关注区域。当假定为信号是8位级时,例如可利用下式(6)、(7)来规定上述关注区域。-70。〈色调 H〈30° (6)16〈饱和度 C〈128 (7)在阈值用R0M203中记录有上式(6)、(7)所示的与色调H相关的上限值以及下限值和与饱和度C相关的上限值以及下限值共计4个阈值。关注区域判定部202读入这4个阈值。然后关于满足上式(6)、(7)的像素将标签值=1向缓存器204输出,关于不满足的像素将标签值=0向缓存器204输出。由此在缓存器204中关于特殊光图像的全部像素记录有是否属于关注区域的标签值。可靠度计算部205所具有的面积判定部206根据控制部116的控制,从缓存器204读入上述标签值,并求出属于关注区域的像素数总和,由此来计算关注区域的面积。在本实施方式中,采用关注区域的面积来作为表示关注区域概率(是病变的概率)的指标即可靠度。即,根据关注区域的面积来计算可靠度。并且在所计算的关注区域的面积超过规定阈值时,将该关注区域评价为可靠度高,并判断为检测到关注区域。例如当所计算的关注区域的面积超过例如全部图像面积的1%这样的阈值时,判断为检测到关注区域。另一方面,当所计算的关注区域的面积小于等于规定阈值时,将该关注区域评价为可靠度低,并判断为没有检测到关注区域。向经过时间设定部113传送这样的表示关注区域的检测结果的检测信息。2. 3经过时间设定部图12示出经过时间设定部113 (经过时间决定部)的结构例。该经过时间设定部113包含更新部300、检测信息记录部301、控制信息输出部302 (加工控制部)。此外,可以实施省略这些构成要素的一部分或追加其它构成要素等各种变形。如图12所示,关注区域检测部112经由更新部300,检测信息记录部301与控制信息输出部302连接。控制信息输出部302与显示方式设定部114连接。控制部116与更新部300、检测信息记录部301、控制信息输出部302双向连接。当通过电源接通等使图像处理装置初始化时,控制部116使检测信息记录部301初始化,将检测信息的值设定为初始值O。更新部300根据控制部116的控制,从关注区域检测部112读入在特殊光图像中是否检测到关注区域的检测信息。更新部300在检测到关注区域的情况下,向检测信息记录部301输出规定值,在本实施方式中输出5作为检测信息。另一方面,在没有检测到关注区域的情况下,使在检测信息记录部301中记录的检测信息的值减I。如果,在检测信息的值为负数时将值置换为O。控制信息输出部302根据控制部116的控制,读入在检测信息记录部301中记录的检测信息的值。然后,在检测信息的值大于等于I的情况下,对显示方式设定部114输出指示显示方式的变更(提醒信息的设定)的控制信息。另一方面,在检测信息的值是0的情
况下,对显示方式设定部114输出指示显示方式不变更(不设定提醒信息)的控制信息。在本实施方式中,如图8所说明的那样,周期期间(T)的长度是I秒,假定在此周期期间中拍摄I张特殊光图像。因此,一旦检测到关注区域时,使作为检测信息的值从5减至0而需要5周期期间即5秒。因此,变更显示方式的经过时间(设定提醒信息的经过时间)为5秒。另外,当在该5秒内重新检测到关注区域时,使检测信息的值复位为5,所以从重新检测到的时刻起5秒期间,变更显示图像的显示方式。图13 (A)、图13 (B)是说明本实施方式的经过时间设定方法的图。在本实施方式中,检测信息记录部301记录关注区域的检测信息(表示在各个周期期间是否检测到关注区域的信息),更新部300根据来自关注区域检测部112的检测结果,进行检测信息(计数值)的更新处理(计数更新处理)。具体地说,更新部300按照例如图8所说明的每个周期期间(T)来进行检测信息的更新处理。然后控制信息输出部302根据检测信息记录部301所记录的检测信息,来输出对显示方式设定部114中的显示方式设定处理进行控制的控制信肩、O例如图13 (A)的Dl所示,假设在周期期间TN中从特殊光图像中检测到关注区域。在此情况下如D2所示,更新部300将检测信息的值VD设定为与经过时间对应的第I值VD1=5。由此,设定进行如D3所示的显示方式变更处理的经过时间(5秒)。另一方面,如图13 (A)的D4、D5所示,假设在例如周期期间TN之后的周期期间TN+U TN+2等中从特殊光图像内没有检测到关注区域。在此情况下如D6、D7所示,更新部300进行使检测信息的值VD从第I值VD1=5向第2值VD2=0变化的更新处理。即,进行使检测信息的值VD例如减至VD2=0的更新处理。此外,更新处理可以是使VD增加的处理。然后,控制信息输出部302在检测信息的值VD达到VD2=0之前的期间,输出对显示方式设定部114指示显示方式的变更的控制信息。另一方面,如图13 (A)的D8所示,在VD达到VD2=0的情况下,如D9所示输出对显示方式设定部114指示显示方式不变更的控制信息。另一方面,图13 (B)的DlO与图13 (A)的D4不同,在周期期间TN之后的周期期间TN+1中,从特殊光图像内再次检测到关注区域。在此情况下如Dll所示,将检测信息的值VD重新设定(复位)为第I值VD1=5。然后如D12、D13所示,在之后的周期期间TN+2、TN+3中,从特殊光图像内没有检测到关注区域,所以如D14、D15所示更新部300使VD从VD1=5向VD2=0变化。然后如D16所示,当VD达到VD2=0时,如D17所示指示显示方式不变更。
如以上那样在本实施方式中,在检测信息记录部301内记录检测信息,并利用图13 CA),图13 (B)的方法来进行检测信息的更新处理,由此实现图3,图4的方法。因此,可利用简单的结构或处理来实现基于关注区域检测结果的经过时间的设定处理或基于经过时间内的关注区域检测的经过时间的重新设定处理。2. 4显示方式设定部图14示出显示方式设定部114 (显示状态决定部)的结构例。该显示方式设定部114包含缓存器410、加工部400,加工部400包含选择部401 (加工法选择部)、提醒信息附加部402。此外,可以实施省略这些构成要素的一部分或追加其它构成要素等各种变形。在图14中,第I图像取得部110经由缓存器410与选择部401连接。经过时间设定部113与选择部401连接。选择部401与提醒信息附加部402以及显示部115连接。提醒信息附加部402与显示部115连接。控制部116与选择部401、提醒信息附加部402双向连接。向缓存器410传送并记录来自第I图像取得部110的普通光图像。选择部401根据控制部116的控制,从经过时间设定部113读入指示显示方式的变更或不变更的控制信息。另外,根据控制部116的控制,从缓存器410中读入普通光图像。然后,当所读入的控制信息指示了显示方式的变更(附加提醒信息、重叠提醒区域)时,向提醒信息附加部402传送从缓存器410读入的普通光图像。另一方面,当指示了显示方式不变更时,向显示部115 传送所读入的普通光图像。提醒信息附加部402根据控制部116的控制,在从选择部401传送来普通光图像时,对普通光图像进行附加提醒信息的处理。图15示出提醒信息的附加处理的例子。在图15中,对普通光图像的周缘部(周边部)的提醒区域进行例如重叠红色等警告色的处理。2. 5软件处理以上,主要说明构成图像处理装置90的各个部由硬件构成的情况,但本实施方式不仅限于此。例如,可构成为CPU对采用胶囊型内窥镜等摄像装置预先取得的图像进行各个部的处理,并通过CPU执行程序来作为软件进行实现。或者,可由软件构成各个部进行的一部分处理。在作为软件来实现图像处理装置90的各个部进行的处理时,可将工作站或个人计算机等公知的计算机系统用作图像处理装置。然后,预先准备用于实现图像处理装置90的各个部进行的处理的程序(图像处理程序),并通过计算机系统的CPU执行该图像处理程序来进行实现。图16是示出本变形例中的计算机系统600的结构的系统构成图,图17是示出该计算机系统600中的主体部610的结构的框图。如图16所示,计算机系统600具备主体部610、用于根据来自主体部610的指示在显示画面621上显示图像等信息的显示器620、用于向该计算机系统600输入各种信息的键盘630和用于指定显示器620的显示画面621上的任意位置的鼠标640。另外,该计算机系统600中的主体部610如图17所示具备CPU611、RAM612、R0M613、硬盘驱动器(HDD)614、能放入CD-R0M660的CD-ROM驱动器615、可拆装地连接USB存储器670的USB端口 616、连接显示器620、键盘630以及鼠标640的I/O接口 617和用于与局域网或广域网(LAN/WAN)N1连接的LAN接口 618。
而且,在该计算机系统600上连接有用于与互联网等公共线路N3连接的调制解调器650,并且经由LAN接口 618以及局域网或广域网NI来连接其它计算机系统即个人计算机(PC) 681、服务器682、打印机683等。然后,该计算机系统600参照在规定的记录介质中记录的图像处理程序(例如图18 图21)来读出并执行用于实现后述处理顺序的图像处理程序,由此实现图像处理装置。这里,所谓规定的记录介质包括记录有可利用计算机系统600读取的图像处理程序的所有记录介质(存储介质),如“可移动物理介质”、“固定物理介质”、“通信介质”等,该“可移动物理介质”除了⑶-R0M660或USB存储器670之外,还包括MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等;该“固定物理介质”是在计算机系统600内外具备的HDD614、RAM612或R0M613等;该“通信介质”如经由调制解调器650连接的公共线路N3、连接其它计算机系统(PC)681或服务器682的局域网或广域网NI等那样在发送程序时短期存储程序。
S卩,在“可移动的物理介质” “固定物理介质” “通信介质”等记录介质以计算机可读取的方式记录有图像处理程序,计算机系统600通过从这样的记录介质中读出并执行图像处理程序来实现图像处理装置。此外,不仅限于由计算机系统600执行图像处理程序的情况,在其它计算机系统(PC) 681或服务器682执行图像处理程序的情况或它们联动地执行图像处理程序这样的情况下,同样也可以应用本发明。作为由软件构成各个部进行的一部分处理时的一例,采用图18 图20的流程图来说明针对预先取得的图像利用软件来实现图像处理装置90的处理时的处理顺序。图18是用于说明本实施方式的整体处理的流程图。首先读入影像信号(步骤SI)。具体地说在本实施方式中,假定对来自Bayer型单板CCD的影像信号进行处理,如图8所说明的那样将I秒作为I周期期间,按照每I周期期间来交替地输入29张(29帧量)第I图像即普通光图像和I张(I帧量)第2图像即特殊光图像。接着,进行普通光图像与特殊光图像的切换处理(步骤S2),在输入普通光图像时转移至第I图像取得处理(步骤S3),当输入特殊光图像时,转移至第2图像取得处理(步骤S4)。并且当转移至第I图像取得处理(步骤S3)时,对第I图像即普通光图像进行公知的插补处理、灰度处理等。另一方面,当转移至第2图像取得处理(步骤S4)时,对第2图像即特殊光图像进行公知的插补处理、灰度处理等,此外还进行伪彩色图像化处理。然后进行关注区域的检测处理(步骤S5)。接着,设定(决定)对普通光图像设定(重叠)提醒信息(提醒区域)的经过时间,该提醒信息发出与检测处理结果相关的信息(步骤S6)。在显示方式设定处理(步骤S7)中,在当前时刻属于经过时间内的情况下,对普通光图像进行提醒信息的设定处理,在不属于经过时间内的情况下,不进行提醒信息的设定处理。并且,输出这样生成的显示图像(步骤S8)。接着,判断全部影像信号的处理是否已完成,在没有完成的情况下返回步骤S2,在已完成的情况下结束处理。图19是说明图18的步骤S5的关注区域检测处理的流程图。首先进行上式(I)
(5)所说明的色调或饱和度的计算处理(步骤S20)。接着,进行上式(6)、(7)所示的阈值判定处理,以像素为单位来判定是否属于关注区域(步骤S21)。然后,求出属于关注区域的像素数的总和,当像素数的总和超过规定阈值时,判断为已检测到关注区域,当小于或等于规定阈值时判断为没有检测到关注区域(步骤S22)。然后输出检测处理结果的检测信息(步骤S23)。图20是说明图18的步骤S6的经过时间设定处理的流程图。首先读入检测处理结果的检测信息(步骤S30)。然后进行图13(A)、图13 (B)所说明的检测信息的更新处理(步骤S31)。具体地说,在检测到关注区域的情况下,将检测信息的值VD设定为第I值VD1=5,当没有检测到关注区域时,使VD减I。当检测信息的值VD为负数时,设定为VD=0。接着进行与加工法相关的控制信息的设定处理(步骤S32)。具体地说,在检测信息的值VD大于或等于I的情况下,设定指示附加提醒信息的控制信息,在VD=O的情况下,设定指示不附加提醒信息的控制信息。然后输出所设定的控制信息(步骤S33)。图21是说明图18的步骤S7的显示方式设定处理的流程图。首先,读入与加工法相关的控制信息(步骤S40)。然后,根据所读入的控制信息来判断是否变更显示方式(步骤S41),在变更显示方式的情况下,进行在普通光图像的周缘部重叠红色等警告色的提醒信息附加处理,将已附加提醒信息的图像作为显示图像输出(步骤S42)。另一方面,在不变更 显示方式的情况下,将普通光图像直接作为显示图像输出。如以上这样,在本实施方式中,图像处理装置90包含第I图像取得部110、第2图像取得部111、关注区域检测部112、经过时间设定部113和显示方式设定部114。第I图像取得部110取得具有白色光的波长频带下的信息(信号)的图像来作为第I图像(狭义上为普通光图像)。另外,第2图像取得部111取得具有特定波长频带(狭义上为窄频带光或荧光等的波长频带)下的信息(信号)的图像来作为第2图像(狭义上为特殊光图像)。然后,关注区域检测部112根据第2图像内的像素特征量(狭义上为色调、饱和度、亮度等)来检测第2图像中的关注区域。另外,显示方式设定部114根据第I图像生成的显示图像(在显示部115中显示的图像)进行显示方式设定处理(显示方式的决定或变更的处理),经过时间设定部113根据关注区域检测部112中的关注区域的检测结果(检测信息)进行经过时间的设定处理(经过时间的决定或变更的处理)。然后在本实施方式中,显示方式设定部114根据经过时间设定部113所设定的经过时间来进行显示方式的设定处理。例如图3、图4所说明的那样,在经过时间经过之前的期间进行变更显示图像的显示方式的处理。具体地说如图15所例示的那样,在经过时间经过之前的期间,进行在显示部115上显示设定有关于关注区域的提醒信息的显示图像的处理。提醒信息是发出关注区域的检测结果的信息,例如进行对在第I图像的周缘部等处设定的提醒区域设定提醒信息(提醒图像)的处理。根据这样构成的本实施方式,即使在例如动态的观察中仅短时间内未检测到关注区域时,使用者也能够识别出关注区域存在于当前位置的附近,从而能够抑制关注区域的漏看,并进行可靠性高的识别。另外,因为在第I图像的周缘部等处设定提醒信息,所以能够抑制妨碍观察第I图像的情况等。此外,显示图像是至少采用第I图像来生成的图像即可,例如可以是第I图像和第2图像的合成图像。另外,显示图像的显示方式变更不限于图15这样的提醒信息的附加。例如可将第I图像的周缘部以外的区域设定为提醒区域,来设定提醒信息(提醒图像)。另夕卜,作为显示方式的变更处理,可进行变更与在第2图像中检测到的关注区域对应的第I图像中的对应关注区域图像的处理。例如可进行使第I图像的对应关注区域中的颜色接近于规定颜色、或者针对对应关注区域的图像实施强调处理或者在对应关注区域中合成第I图像和第2图像(混合)的处理。另外,所谓关注区域就是对于使用者来说观察的优先级比其它区域相对高的区域,例如在使用者为医生且希望治疗的情况下是指已拍摄有粘膜部或病变部的区域。另外,作为其它例,如果医生希望观察的对象是泡或便,则关注区域是拍摄有该泡部分或便部分的区域。即,使用者应该关注的对象根据其观察目的而不同,但无论如何在观察时,对于使用者来说观察的优先级比其它区域相对高的区域为关注区域。另外,如上述式子(I) (7)所说明的那样,可采用第2图像的像素特征量(色调、饱和度等)来检测关注区域,例如针对式子(6)、(7)的特征量的阈值根据关注区域的种类进行变化。例如针对第I种关注区域的色调、饱和度等特征量阈值与针对第2种关注区域的特征量阈值为不同的值。并且,在关注区域的种类已经改变的情况下,仅改变该特征量的阈值即可,关于关注区域的检测后的处理(经过时间的设定处理、显示方式的设定处理等),可通过与本实施方式所说明的处理同样的处理来实现。另外,在本实施方式中,如图3的A5、A6所说明的那样,显示方式设定部114即使 在经过时间内没有从第2图像中检测到关注区域时,至少在经过时间经过之前的期间内进行变更显示图像的显示方式的处理。这样,因为检测不到关注区域之后也在片刻期间内显示已变更显示方式的显示图像,所以能够更有效地抑制使用者漏看关注区域这样的情况。另外,在本实施方式中,如图4的B3、B4所说明的那样,经过时间设定部113在经过时间内从第2图像中检测到关注区域时,可进行设定以关注区域的检测定时为起点的新经过时间的处理。这样,每当检测到关注区域时,重新设定经过时间并使经过时间延长,所以能够实现与关注区域的检测对应的适当的经过时间设定处理。此外,设定新经过时间的起点的定时可以是检测到关注区域的周期期间的下一周期期间内的定时,也可以是检测到关注区域的周期期间内的定时。另外,在本实施方式中,如图8所说明的那样,第I图像取得部110按照规定的周期期间(图像取得期间)取得至少I帧量(I张)的第I图像,第2图像取得部111按照周期期间取得至少I帧量(I张)第2图像。然后,显示方式设定部114在第N周期期间(TN。N是自然数)内从第2图像中检测到关注区域时,在第N周期期间之后的第N+1周期期间(TN+1)中可进行变更显示图像的显示方式的处理。这样,在各个周期期间中进行关注区域的检测处理,当检测到关注区域时,可在下一周期期间以后变更显示图像的显示方式,令使用者知晓检测到关注区域。因此,能够将向使用者显示关注区域的提醒信息等时的迟延时间抑制到最小,并能够更有效地抑制关注区域的漏看。另外,在本实施方式中,第I图像取得部110按照周期期间来取得K帧量(K是自然数)的第I图像,第2图像取得部111按照周期期间来取得L帧量(L是自然数)的第2图像。具体地说,第2图像取得部111按照周期期间来取得例如I帧量(L=I)的第2图像。然后,如图8所说明的那样,在K与L之间K>L的关系可成立。这样,按照周期期间来取得K帧量的普通光图像与L帧量的特殊光图像,而且设K>L,由此能够使普通光图像的取得比例高于特殊光图像。因此,能够抑制作为基本的普通光图像的时间分辨率的降低,能够获得高品位的显示图像(例如动态图像)。此外,在将周期期间的长度设为T、将经过时间的长度设为TE时,如图3所示TE>T的关系可成立。这样,能够使经过时间比作为关注区域的检测单位的期间即周期期间长,所以变更显示方式的期间变长,能够有效地抑制使用者漏看关注区域的情况。另外,在本实施方式中如图9 (A)的Cl、C2、C3所说明的那样,当在第N周期期间(TN)中从第2图像内检测到关注区域、在第N+1的周期期间(TN+1)中从第2图像内没有检测到上述关注区域时,显示方式设定部114在第N+1周期期间 第M周期期间(TN+1 TN+5。M是M>N+1的整数)中,也可以进行变更显示图像的显示方式的处理。这样,在第N+1周期期间(TN+1)中检测到关注区域时,至少到之后的第M周期期间(TN+5)为止也变更显示图像的显示方式,与周期期间相比能够将经过时间的长度设定得较长。另外如图12所说明的那样,经过时间设定部113可包含检测信息记录部301,其记录关注区域的检测信息;更新部300,其根据来自关注区域检测部112的检测结果进行检测信息的更新处理;以及控制信息输出部302,其输出控制信息,该控制信息根据检测信息记录部301所记录的检测信息来控制显示方式设定部114中的显示方式设定处理。通过这样的结构可实现基于关注区域的检测信息的经过时间设定处理。另外,一旦检测到关注区域时,在检测信息记录部301中记录并保持该检测信息,所以即使在之后检测不到关注区域时,也能够利用检测信息记录部301所保持的检测信息来设定经过时间。此时,如图13所说明的那样,更新部300在从第2图像中检测到关注区域时,将检测信息的值VD设定为与经过时间对应的第I值VDl (例如VD1=5)。另一方面,当从第2图像中没有检测到关注区域时,进行使检测信息的值VD从第I值VDl向第2值VD2 (例如VD2=0)变化(减少、增加等)的更新处理。例如更新部300按照周期期间进行检测信息的更新处理。具体地说,当在第N周期期间(TN)中检测到关注区域时,将VD设定为VD1,当在第N周期期间(TN)之后的周期期间(TN+1、TN+2-)中没有检测到关注区域时,进行使VD从VDl向VD2变化的更新处理。然后,控制信息输出部302在检测信息的值VD达到第2值VD2之前的期间,输出对显示方式设定部114指示显示图像的显示方式变更的控制信息(控制信号、控制用标志),当达到第2值VD2时,输出指示显示方式不变更的控制信息。这样,可通过在检测信息记录部301中记录的检测信息的值的更新处理来有效地实现图3、图4等所说明的经过时间的设定处理。另外,如图13 (B)所说明的那样,更新部300当在第N周期期间(TN)之后的周期期间(TN+l、TN+2* )中从第2图像内检测到关注区域时,可将检测信息的值VD重新设定为第I值VDl (例如VD=VDI=5)o这样,可通过检测信息的值的重新设定来实现在经过时间内检测到关注区域时重新设定经过时间的处理。然后,重新设定检测信息的值直到变为检测不到关注区域为止,由此能够延长经过时间。另外,如图14所示,显示方式设定部114包含加工部400。并且,加工部400在通、过来自图12的控制信息输出部302的控制信息指示显示图像的显示方式变更时,对第I图像实施加工处理(提醒信息的附加等),将已实施加工处理的第I图像作为显示图像输出。另一方面,在利用控制信息来指示显示方式不变更时,将未实施加工处理的第I图像作为显不图像输出。这样,在经过时间设定部113的控制信息输出部302中设定控制信息,显示方式设定部114的加工部400根据该控制信息来进行第I图像的加工处理,由此能够实现基于关注区域的检测以及经过时间的设定的显示方式的变更处理。然后,加工部400仅根据来自经过时间设定部113的控制信息进行加工处理即可,所以能够使加工部400的结构或处理简化。另外,如图10所示,关注区域检测部112包含可靠度计算部205。该可靠度计算部205进行计算可靠度(表示是关注区域的概率的尺度)的处理,该可靠度表示所检测到的关注区域的概率。具体地说,根据检测到的关注区域的面积来计算可靠度。
这样,与没有采用可靠度的方法相比,能够提高关注区域的精度(例如可将病变部作为关注区域适当进行捕捉的精度等)。另外,在面积大的情况下检测为关注区域,在面积小的情况下不检测为关注区域,所以能够减轻噪音的影响等。此外,在本实施方式中,假定5周期期间(5秒)为检测到关注区域之后的经过时间,但本实施方式不仅限于此,可进行任意的经过时间的设定。或者,使用者可经由外部I/F部117来设定任意的经过时间。另外,虽然假定旋转滤镜103中的旋转速度为I转/秒、普通光图像用滤镜Fl与特殊光图像用滤镜F2在圆周方向上的面积比为29 :1,但本实施方式不仅限于此,可进行自由的设定。例如还可以构成为使作为基本的普通光图像的时间分辨率优先并且增加特殊光图像的配额(L相对于K的比率)。另外,在本实施方式中虽然假定了在摄像系统的前表面配置有Bayer型原色滤镜的单板(XD,但本实施方式不仅限于此。例如,也可以应用于二板、三板的(XD。另外,虽然假定了日本特开2002-95635所公开的使用蓝色光与绿色光的窄频带作为特殊光图像的结构,但无需限定于这样的结构。例如,还可以适用于如日本特开昭63-122421所公开的使用荧光的结构或可红外观察等的特殊光图像。此外还假定了为了进行普通光图像的摄影和特殊光图像的摄影而使用旋转滤镜103的结构,但无需限定于这样的结构。例如,还可以使用LED光源等,通过切换白色光和窄频带光的光源本身的结构来实现。另外,在本实施方式中假定了与由镜头系统100、(XD101、照明光源102、旋转滤镜103、增益放大器104、A/D转换部105、WB部107、测光评价部108构成的摄像部一体化的结构,但本实施方式不限于这样的结构。例如,还可以如胶囊型内窥镜那样将分体的摄像部所拍摄的影像信号以未处理的Raw数据形式保存到记录介质内,并以其它途径来处理来自记录介质的影像信号。另外,本实施方式还可以应用于使计算机作为本实施方式的各个部(第I图像取得部、第2图像取得部、关注区域检测部、显示方式设定部、经过时间设定部、运动量检测部等)发挥功能的程序。由此,例如胶囊型内窥镜等那样,首先积蓄图像数据,然后可针对所积蓄的图像数据利用PC等计算机系统以软件的方式进行处理。另外,本实施方式还可以适用于记录有能实现本实施方式的各个部(第I图像取得部、第2图像取得部、关注区域检测部、显示方式设定部、经过时间设定部、运动量检测部等)的程序代码的计算机程序产品。这里,计算机程序产品例如是记录有程序代码的信息存储介质(DVD等光盘介质、硬盘介质、存储器介质等)、记录有程序代码的计算机、记录有程序代码的互联网系统(例如,包含服务器和客户机终端的系统)等已装入程序代码的信息存储介质、装置、设备或者系统等。在此情况下,利用各个模块来安装本实施方式的各构成要素或各处理过程,并在计算机程序产品中记录由这些已安装的模块构成的程序代码。3.第2结构例
图22示出本实施方式的第2结构例。第2结构例是将本实施方式的图像处理装置90应用于显微镜系统的例子。显然如图5那样,第2结构例也适用于内窥镜系统等的其它电子设备。图22的第2结构例是将图5的第I结构例中的经过时间设定部113、显示方式设定部114置换为经过时间设定部500、显示方式设定部501的结构。基本结构与第I结构例相同,对相同的结构要素标注同一名称以及符号。以下,以不同的部分为中心进行说明。经由显微镜的镜头系统100以及(XD101拍摄的影像信号通过增益放大器104进行放大,并利用A/D转换部105转换为数字信号。将来自照明光源102的照明光透过在旋转滤镜103上安装的滤镜而导入至显微镜的载物台。第I图像取得部110与经过时间设定部500以及显示方式设定部501连接。显示方式设定部501与显示部115连接。关注区域检测部112与经过时间设定部500连接,经过时间设定部500与显示方式设定部501连接。控制部116与经过时间设定部500、显示方式设定部501双向连接。接着,对第2结构例的动作进行说明。第2结构例基本上与第I结构例相同,主要说明不同的部分。第I图像取得部110根据控制部116的控制从切换部109读入单板状态的普通光图像,进行公知的插补处理、灰度处理等,向经过时间设定部500以及显示方式设定部501传送处理后的普通光图像。关注区域检测部112根据控制部116的控制,从第2图像取得部111读入特殊光图像,进行关注区域(血管密集存在的病变部等)的检测处理。向经过时间设定部500传送检测处理结果。经过时间设定部500根据控制部116的控制,从关注区域检测部112读入关注区域的检测处理结果,从第I图像取得部110读入2张普通光图像。在本实施方式中,如图8所说明的那样假定在I秒的周期期间内可获得29张普通光图像和I张特殊光图像。因此,29张普通光图像与I张特殊光图像对应。以下,为了求出I周期期间的普通光图像的运动量,而读入第I张和第2张这2帧量的普通光图像。经过时间设定部500针对来自关注区域检测部112的检测处理结果,考虑由2张普通光图像计算的运动量来决定经过时间。具体地说,经过时间设定部500判断当前时刻是否属于所设定的经过时间内,并将该判断结果向显示方式设定部501传送。显示方式设定部501根据控制部116的控制,从经过时间设定部113读入是否属于经过时间内的判断结果,在属于经过时间内的情况下,选择附加提醒信息的处理。作为此时的提醒信息的附加处理(提醒区域的重叠处理)假定对普通光图像的边缘以及饱和度的强调处理。另一方面,在当前时刻不属于经过时间内的情况下不特别进行处理。将来自显示方式设定部501的显示图像向显示部115传送并依次进行显示。图23是说明第2结构例的经过时间设定方法的图。在第2结构例中,检测普通光图像的运动量,并根据所检测的运动量来进行经过时间的设定处理。具体地说,经过时间设定部113进行运动量越大经过时间越短的设定处理。另外,以在特殊光图像中检测到关注区域为条件来执行普通光图像的运动量检测。例如在图23中,在周期期间TN内取得的特殊光图像ISl内检测到关注区域。在此情况下,例如采用在下一周期期间TN+1取得的例如2张普通光图像IN1、IN2来检测这些图像间的运动量。然后设定与所检测的运动量相应的经过时间,并与第I结构例相同,在该经过时间内进行显示方式的变更处理。如果这样根据普通光图像的运动量来设定经过时间,则在摄像部(照相机的注视点)相对于被摄体高速移动时,经过时间变短,由此变更显示方式的时间变短。因此,由于摄
像部相对于被摄体高速移动从而关注区域存在于当前位置附近的可能性低,在此情况下因为变更显示方式的时间变短,所以能够提高使用者的利便性。图24示出经过时间设定部500的结构例。此外,可实施省略这些构成要素的一部分或者追加其它构成要素等变形。图24的经过时间设定部500构成为相对于图12的经过时间设定部113追加缓存器303、运动量检测部304、经过时间计算部305、经过时间用R0M306。基本结构与图12的经过时间设定部113相同,对同一构成要素附加同一名称以及符号。以下,主要说明不同的部分。第I图像取得部110经由缓存器303与运动量检测部304连接。运动量检测部304以及经过时间用R0M306与经过时间计算部305连接。经过时间计算部305与检测信息记录部301连接。更新部300与检测信息记录部301以及运动量检测部304连接。控制信息输出部302与显示方式设定部501连接。控制部116与运动量检测部304、经过时间计算部305、经过时间用R0M306双向连接。在通过电源接通等使图像处理装置初始化的情况下,控制部116使检测信息记录部301初始化,将检测信息的值设定为初始值O。更新部300根据控制部116的控制,从关注区域检测部112读入在特殊光图像中是否检测到关注区域的检测信息。更新部300在检测到关注区域的情况下,向运动量检测部304传送控制信号,以进行运动量的计算。另一方面,在没有检测到关注区域的情况下,使在检测信息记录部301中记录的检测信息的值减I。当检测信息的值成为负数时置换为O。运动量检测部304仅在从更新部300传送来控制信号时,计算缓存器303上的普通光图像的运动量。在缓存器303中如图23所示记录有各周期期间的第I张和第2张这二张普通光图像INI、IN2。此外,采用公知的块匹配技术等来计算运动量。计算出的运动量向经过时间计算部305传送。经过时间计算部305根据控制部116的控制从经过时间用R0M306中读入运动量与经过时间相对应的关系表。图25示出使运动量与经过时间(周期期间)相对应的关系表的一例,基本上处于随着运动量增加而经过时间减少的关系。其中,对经过时间设定有上限值(MAX)和下限值(MIN),经过时间在运动量为小于或等于一定值(ml)时被设定为上限值(MAX),在大于或等于一定值(m2)时被设定为下限值(MIN)。通过采用这样的关系表,随着运动量增加,变更显示方式的经过时间变短。这是为了防止由于在移动速度变快时与检测到的关注区域的距离变大从而关注区域存在于当前位置附近的可能性过低的情况。经过时间计算部305根据来自经过时间用R0M306的关系表,来求出与运动量检测部304所计算的运动量相对的经过时间,并作为检测信息的值向检测信息记录部301输出。例如在图13 (A)的Dl中,将检测信息的第I值固定为VD1=5,但在第2结构例中,第I值V
查看更多专利详情