专利名称：医用图像处理装置和医用图像处理方法以往，利用如下技木根据拍摄活体组织而得到的图像的特征量的计算结果，在该图像中检测存在规定对象物的区域。并且，用于通过Level-Set法等相位可变的动态轮廓检测方法对图像进行区域分割的方法在八木康史、齐藤英雄编著“コンビユータビジョン最先端ガイド〈1>，，，pp. 1-28、ァドコム· メデイァ株式会社(2009)(以下称为非专利文献 I) ;Tony F. Chan and Luminita A. Vese: "Activ e Contours Without Edges", IEEETRANSACTIONS ON IMAGE PROCESSING，VOL. 10、NO. 2、FEBRUARY 2001，pp.266-277(以下称为非专利文献 2)；以及 Christophe Samson, Laure Blanc-Feraud, GillesAubertj and Josiane Zerubia: Multiphase Evolution and Variational ImageClassification"，INRIA Sophia Antipolis (1999)(以下称为非专利文献 3)中有所公开。进而，例如在日本国特开2007-313119号公报(以下称为专利文献I)中公开了如下技木计算体腔内图像的像素的边缘强度，计算该边缘强度与根据泡图像的特征而预先设定的泡模型之间的相关值，根据该体腔内图像的边缘对该体腔内图像进行区域分割，根据该相关值和区域分割结果检测该体腔内图像中的泡区域。但是，近年来，由于内窥镜(也包括胶囊型内窥镜)系统的高分辨率化、放大内窥镜的普及和窄带光观察的普及，微细血管像和Pit (腺ロ)构造等粘膜微细构造的观察的重要性提闻。认为活体组织中的粘膜微细构造的形态和分布状况在正常组织与肿瘤组织的区分、以及癌深度的估计等病变诊断中是有用的。但是，在绝大部分情况下，这种诊断主要根据基于医师经验和知识的主观见解来进行。因此，期望实现作为不基于医师主观见解的诊断方法的、例如使用图像解析方法的粘膜微细构造观察结果的鉴别诊断支援方法。而且，这种鉴别诊断支援方法作为计算机诊断支援(Computer AidedDiagnosis、CAD)之一进行研究。另ー方面，在内窥镜图像中的粘膜微细构造的观察结果的解析中，观察结果多种多祥且复杂，并且，由于取得内窥镜图像时的观察距离、方向、角度和照明光量等摄像条件不定，所以认为很难从内窥镜图像中提取与观察结果对应的粘膜微细构造。例如，专利文献I所记载的区域分割方法和检测方法的技术具有如下课题在应用于具有大致ー样大的边缘强度的拍摄泡而得到的图像的情况下，能够得到有效的处理结果，但是，在应用于可能具有各种大小的強度的边缘的拍摄血管而得到的图像的情况下，很难得到有效的处理結果。其结果是，例如，在对拍摄血管而得到的图像应用专利文献I所记载的区域分割方法和检测方法的技术的情况下，导致血管的检测精度降低。并且，在非专利文献I中公开了用于通过被称为Level-Set法的动态轮廓检测方法对图像进行区域分割的方法。具体而言，在非专利文献I中公开了如下技术通过根据图像内的构造成分的边缘大小进行反复处理，能够动态地设定规定该图像中的区域的边界线。但是，在内窥镜图像中，作为图像内的构造成分，除了形状轮廓和可透视的血管等具有明确边缘的成分以外，可能还包含微细血管、pit (腺ロ)和粘膜微细图案等不具有明确边缘的多种多样的成分。因此，即使通过非专利文献I所公开的方法对内窥镜图像进行区域分割，在从该内窥镜图像中提取粘膜微细构造的用途中，也不一定能够得到良好的結果。与此相对，作为与Level-Set法类似的方法，在非专利文献2中公开了用于通过基于Mumford-Shah模型的动态轮廓检测方法(以下称为M-S法)对图像进行区域分割的方法。在非专利文献2所公开的方法中，在通过进行反复处理而动态设定规定区域的边界线的方面，与所述Level-Set法相同，另ー方面，不同之处在干，能够根据边界内外的各区域的特征量的平均值等值来设定边界线。具体而言，在非专利文献2中公开了如下技术在利用反复处理来动态设定规定区域的边界线时，通过设定边界线以使特征量在区域内外尽可能相同，针对包含不具有清楚边缘的构造的图像，也能够进行区域分割。 但是，根据非专利文献2所公开的方法，例如，在应用于区域内外的特征量的分布重复较少的图像、或明亮度均匀的区域孤立存在等比较简单的图像的情况下，能够得到良好的结果，但是，在应用于可能包含复杂的粘膜微细构造并且观察距离、方向、角度和照明光量等摄像条件可能始终变化的内窥镜图像的情况下，不一定能够得到良好的結果。具体而言，根据非专利文献2所公开的方法，例如，在对多个微细血管进行摄像而得到的内窥镜图像中，当考虑在粘膜下行走的深度的微妙差异、视野内的位置的光量变化和从周边粘膜反射的二次光等的影响来计算特征量的情况下，该特征量分布在非常宽的范围内，所以无法准确设定微细血管的边界线。并且，在非专利文献3中公开了如下方法使用与非专利文献2所公开的算法大致相同的算法，另ー方面，设边界内外的每个区域的特征量的分布为正态分布模型，进而，通过预先设定作为总体參数的平均值μ和标准偏差σ (或标准偏差的平方即方差σ2)来设定边界线，以使得各区域的特征量的总体參数接近所设定的总体參数。另ー方面，在将非专利文献I 3所公开的任意ー个方法应用于内窥镜图像的区域分割的情况下，至少需要考虑下述(A) (D)。但是，在非专利文献I 3中没有提及下述(A) (D)，也没有具体公开。(A)需要按照所分割的各种类预先设定总体參数。(B)在内窥镜图像中，由于所分割的区域的种类数量未知，所以不清楚准备几个用于动态设定轮廓的函数。(C)在(B)的基础上，在使用非专利文献3所公开的方法的情况下，不清楚准备几个与种类数量对应的总体參数，并且，如何设定这些总体參数的值成为问题。在考虑到区域分割结果的精度依赖于所设定的总体參数的情况下，需要按照各图像设定适当的总体參数。(D)在内窥镜图像中，例如举出血管作为例子时，组织学上作为属于血管这样的I个种类来进行处理，另一方面，有时需要作为属于与构造成分的特征量差异对应的相互不同的种类来进行处理并且需要进行图像的区域分割。本发明是鉴于上述情况而完成的，其目的在于，提供如下的医用图像处理装置和医用图像处理方法例如在对活体粘膜表面进行摄像而得到的图像(包含使用内窥镜或胶囊型内窥镜而得到的图像)中，按照作为处理对象的每个图像估计应该分割的区域的种类数量，适当设定各种类的特征量的总体參数，由此，能够良好地将存在血管和pit等粘膜微细构造的区域、以及存在出血、残渣和白苔等物质的区域分割为分别不同的区域，所以，其結果，能够提高在图像内存在的期望成分的检测精度。
用于解决课题的手段 本发明的医用图像处理装置能够对医用图像进行区域分割处理，其中，该医用图像处理装置具有特征量计算部，其根据所述医用图像计算至少I个特征量；种类设定部，其根据由所述特征量计算部计算出的特征量，在所述医用图像中设定多个种类；总体參数设定部，其根据由所述特征量计算部计算出的特征量，按照分别被分类为由所述种类设定部设定的种类的所述医用图像的各区域设定总体參数；以及区域分割部，其根据分布模型对所述医用图像进行区域分割处理，所述分布模型是基于由所述种类设定部设定的种类的数量和由所述总体參数设定部设定的总体參数规定的。本发明的医用图像处理装置能够对医用图像进行区域分割处理，其中，该医用图像处理装置具有特征量计算部，其根据所述医用图像计算至少I个特征量；构造成分区域设定部，其设定与所述医用图像中包含的构造成分对应的多个构造成分区域；区域合井部，其在所述多个构造成分区域的各个区域中对所述特征量相互类似的区域彼此进行合并；种类设定部，其根据所述区域合井部的合并结果来设定种类；总体參数设定部，其根据作为所述区域合井部的合并结果而得到的各个构造成分区域中的所述特征量，按照作为该合并结果而得到的构造成分区域分别设定总体參数；以及区域分割部，其根据分布模型对所述医用图像进行区域分割处理，所述分布模型是基于由所述种类设定部设定的种类的数量和由所述总体參数设定部设定的总体參数规定的。本发明的医用图像处理方法用于对医用图像进行区域分割处理，其中，该医用图像处理方法具有以下步骤特征量计算步骤，根据所述医用图像计算至少I个特征量；种类设定步骤，根据由所述特征量计算步骤计算出的特征量，在所述医用图像中设定多个种类；总体參数设定步骤，根据由所述特征量计算步骤计算出的特征量，按照分别被分类为由所述种类设定步骤设定的种类的所述医用图像的各区域设定总体參数；以及区域分割步骤，根据分布模型对所述医用图像进行区域分割处理，所述分布模型是基于由所述种类设定步骤设定的种类的数量和由所述总体參数设定步骤设定的总体參数规定的。本发明的医用图像处理方法用于对医用图像进行区域分割处理，其中，该医用图像处理方法具有以下步骤特征量计算步骤，根据所述医用图像计算至少I个特征量；构造成分区域设定步骤，设定与所述医用图像中包含的构造成分对应的多个构造成分区域；区域合并步骤，在所述多个构造成分区域的各个区域中对所述特征量相互类似的区域彼此进行合并；种类设定步骤，根据所述区域合并步骤的合并结果来设定种类；总体參数设定步骤，根据作为所述区域合并步骤的合并结果而得到的各个构造成分区域中的所述特征量，按照作为该合并结果而得到的构造成分区域分别设定总体參数；以及区域分割步骤，根据分布模型对所述医用图像进行区域分割处理，所述分布模型是基于由所述种类设定步骤设定的种类的数量和由所述总体參数设定步骤设定的总体參数规定的。图I是示出具有本发明的实施例的医用图像处理装置的内窥镜装置的主要部分的结构的一例的图。图2是示出图I的光源装置所具有的旋转滤镜的结构的一例的图。图3是示出图2的第I滤镜组所具有的各滤镜的透射特性的一例的图。图4是示出图2的第2滤镜组所具有的各滤镜的透射特性的一例的图。
图5是示出在本发明的第I实施例中进行的处理的一例的流程图。图6是示出作为处理对象的图像数据的一例的示意图。图7是示出边缘检测滤镜的一例的图。图8是示出在图6的图像数据中将多个圆设定为区域分割运算的初始解的情况的图。图9是示出区域分割处理的运算的中途经过的一例的图。图10是示出通过区域分割处理的运算而得到的处理结果的一例的图。图11是示出在本发明的第2实施例中进行的处理的一例的流程图。图12是示出图像数据的各像素中的规定色调特征量的发生频度的混合正态分布的一例的图。图13是示出根据图12的混合正态分布而估计出的2个正态分布的一例的图。

图像处理部41的视频信号生成部41c通过对由图像数据生成部41a生成的图像数据实施伽马转换和D/A转换等处理，生成视频信号并输出。控制部42根据观察模式切换开关24的指示，在检测到进行了切换为通常光观察模式的指示的情况下，对旋转滤镜驱动部35进行用于从光源装置3射出通常光观察模式用的宽带光的控制。然后，旋转滤镜驱动部35根据控制部42的控制，使电动机34进行动作，以使得在白色光源31的出射光路上插入第I滤镜组32A，并且，使第2滤镜组32B从白色光源31的出射光路上退避。
并且，控制部42根据观察模式切换开关24的指示，在检测到进行了切換为窄带光观察模式的指示的情况下，对旋转滤镜驱动部35进行用于从光源装置3射出窄带光观察模式用的多个频带的窄带光的控制。然后，旋转滤镜驱动部35根据控制部42的控制，使电动机34进行动作，以使得在白色光源31的出射光路上插入第2滤镜组32B，并且，使第I滤镜组32A从白色光源31的出射光路上退避。即，根据如上所述的内窥镜装置I的结构，在选择了通常光观察模式的情况下，能够在显示装置5中显示具有与利用肉眼观察对象物的情况大致相同的色度的图像(通常光图像)，并且(或者)存储在外部存储装置62中。并且，根据如上所述的内窥镜装置I的结构，在选择了窄带光观察模式的情况下，能够在显示装置5中显示对活体组织101中包含的血管进行了强调的图像(窄带光图像)，并且(或者)存储在外部存储装置62中。接着，对本实施例的作用进行说明。首先，手术医生接通内窥镜装置I的各部的电源后，在观察模式切换开关24中选择通常光观察模式。然后，手术医生一边观察在选择通常光观察模式时显示在显示装置5中的图像、即具有与利用肉眼观察对象物的情况大致相同的色度的图像，ー边将内窥镜2插入体腔内，由此，使前端部21b接近观察对象的活体组织101所存在的部位。当在观察模式切换开关24中选择了通常光观察模式吋，R光、G光和B光的各种颜色的光依次从光源装置3向活体组织101射出，在内窥镜2中分别取得与该各种颜色的光对应的图像。当图像处理部41的图像数据生成部41a被输入与R光对应的图像、与G光对应的图像和与B光对应的图像时，分别生成与各图像对应的颜色分量的图像数据(图5的步骤SI)。另外，在本实施例中，假设由图像数据生成部41a生成由R、G和B的3个平面构成的、具有水平方向ISX和垂直方向ISY的图像尺寸、进而各像素的灰度为O 255的8bit的图像数据。并且，以下将R、G和B的各平面中的第j个(I含KISXX ISY)像素的像素值分别设为rj.gj和bj进行说明。图像处理部41的运算部41b根据在图像数据生成部41a中生成的图像数据，按照该图像数据的各像素计算在以后的处理中使用的规定色调特征量(图5的步骤S2)。更具体而言，本实施例的运算部41b按照各像素(在全部的第I个 第(ISXX ISY)个像素中)计算R平面的第j个像素的像素值r j与G平面的第j个像素的像素值gj之比即gj/rj的值，作为所述规定色调特征量(根据选择通常光观察模式时生成的图像数据而计算的色调特征量)。另外，在本实施例中，假设像素值r jホO始終成立，进而，假设所述规定色调特征量的发生频度基于正态分布(多变量正态分布)，进行以下的说明。然后，图像处理部41的运算部41b使用在图5的步骤S2中计算出的规定色调特征量，进行在活体组织101中区分存在血管的区域和除此以外的区域的区域分割处理。这里，对本实施例的区域分割处理的详细情况进行叙述。另外，以下为了简化说明，例如，假设对图6所示的将相当于血管内部(血管内側)的区域表示为点图案、将相当干背景粘膜(血管外側)的区域表示为空白、并且将这2个区域的边界线表示为细实线的示意性的图像数据进行处理，从而进行说明。另外，图6示意性地示出使用放大内窥镜观察到的被称为胃粘膜的集合细静脉的复杂形状的血管。根据实际的内窥镜图像，不限于仅包含血管和背景粘膜区域的图像数据，例如，还取得包含从集合细静脉分支并朝向表层粘膜行走的微细血管和胃底腺(腺ロ)等各种构造的图像数据。然后，将这些各种构造视为属干与血管和背景粘膜区域均不同的其他种类，适当増加种类数量，由此，能够应用以下说明的ー连串处理。运算部41b进行用于估计使用与所述非专利文献3 (Christophe Samson, LaureBlanc—Feraud，Giiles Aubert, and Josiane Zerubia: Multiphase Evolution andVariationalImage Classification", INRIA Sophia Antipolis)所公开的 Mumford-Shah模型类似的动态轮廓模型的轮廓检测法的运算中的种类数量和各种类的总体參数的运算(图5的步骤S3)。以下叙述这种总体參数的估计方法的具体例。首先，对如下处理进行说明从图像中提取清楚的具有各种构造成分的区域和间质部等背景区域，求出种类数量和基于这些区域的特征量的每个种类的总体參数。运算部41b通过对图6的示意性的图像数据的G平面应用使用公知的边缘检测滤波器(例如图7所示的尺寸5X5的滤波器)的卷积运算，提取具有较大边缘的区域(像素值的变动大、具有较长边缘的区域)和大面积的背景区域(几乎没有边缘的区域)。具体而言，在将应用边缘检测滤波后的图像设为Ga、进而将图像Ga中的第j个(I兰jXISXXISY)像素的像素值设为gaj的情况下，运算部41b例如对|gaj|>0(||表示绝对值)的各像素进行ニ值化并提取，然后，按照连结成分应用公知的标记，由此生成边缘映射图M。另外，在这样生成的边缘映射图M中，假设存在所标记的C个(I含C)连结成分，进而设各连结成分为me(I ^ c ^ C)，继续进行以下的说明。
在不使用染色剂等的情况下的、根据通常内窥镜图像中的粘膜表面的微细构造而得到的图像Ga中，由于血红蛋白吸收G光中包含的波长成分，所以血管的像素值相对于周边粘膜的像素值而言相对较小。并且，在所述图像Ga中，由于对G光中包含的波长成分进行反射，所以pit的像素值相对于周边粘膜的像素值而言相对较大。然后，通过利用这种特性，能够提取各种种类。另ー方面，为了提取清楚的血管边缘，运算部41b生成与边缘映射图M不同的大边缘映射图し具体而言，运算部41b通过对I gaj I >Thl (例如Thl=IO)的各像素进行ニ值化并提取，生成所述大边缘映射图し另外，所述阈值Thl不限于设定为固定值，例如，也可以以包含像素值gaj的柱状图中的前20%的像素值的方式自适应地決定。另外，生成大边缘映射图L的理由如下所述。根据图6的示意性的图像数据，在图像中仅存在血管和背景区域，但是，根据实际的内窥镜图像，可能还包含各种血管和其他构造成分、以及噪声成分。因此，在生成边缘映射图M时，还设I gaj I >0来提取这些边缘。鉴于这种情况，通过生成与边缘映射图M不同的大边缘映射图L，确定构成闭合区域或构成闭合区域的至少一部分的较大的边缘。然后，通过进行后述处理，能够去除仅由值小的边缘构成的构造成分和噪声成分，即，能够仅确定比较清楚的构造成分。接着，运算部41b进行如下处理通过相互參照边缘映射图M和大边缘映射图L，选择边缘映射图M的各连结成分ml mC中的、与大边缘映射图L中判定为存在较大边缘的像素重复的(I个或多个)连结成分me。通过这种处理，能够仅提取边缘映射图M的各连结成分中的、相当于具有较大边缘的区域的、对血管进行摄像的可能性高的(I个或多个)连结成分。进而，运算部41b根据所述处理的处理结果，例如使用日本特开平11-003428号公报所公开的闭合区域检测方法，提取由判定为具有较大边缘的连结成分的各连结成分me构成的各个闭合区域。这样提取出的代表区域Ad (I ^ d ^ D)被提取为包含作为图像中 的区域分割对象的各种构造成分的区域，并且，包含该各种构造成分中的比较清楚的构造成分的区域。并且，运算部41b将在边缘映射图M中没有作为边缘提取的像素群视为大面积的背景区域进行提取。然后，运算部41b反复进行在提取出的各代表区域Ad中对色调特征量gj/rj的值相互类似的区域彼此进行合并而作为I个种类的处理，由此，估计图6的示意性的图像数据中包含的全部种类数量K (I ^ K)0另外，作为这种处理，例如可以应用日本特开2007-175432号公报所公开的使用色调特征量及其柱状图的聚类的处理。接着，运算部41b在通过以上所述的处理而得到的K个种类中，分别计算色调特征量gj/rj的值的平均值和标准偏差即μ GRi和OGRi (IさiさK)。另外，关于所述种类数量和总体參数的计算，作为与手术医生等的手动操作对应的区域，可以设定处理对象的区域。在这种情况下，运算部41b根据在未图示的输入接口中进行的输入操作，设定包含血管等构造成分的区域和背景粘膜区域，对所设定的各区域赋予种类编号i (I g i g K、K为种类数量)，进而，按照赋予了种类编号的各区域计算色调特征量gj/rj的平均值和标准偏差，取得计算结果即可。另外，在以上列举的估计方法中，在估计总体參数之前，通过将具有在多个种类中可能重复发生的色调特征量的值的像素除外，能够提高总体參数的估计精度。并且，关于不足够明亮的像素和光晕等高亮度像素等的、不适于计算色调特征量的像素，可以通过阈值处理将其除外，然后进行总体參数的估计。进而，在以上所述的ー连串处理中，不限于根据对G平面应用了边缘检测滤镜的图像Ga来进行总体參数的估计，例如，也可以直接使用各像素的色调特征量gj/rj的值进行总体參数的估计。而且，在直接使用色调特征量gj/rj的值进行总体參数的估计的情况下，能够减轻可能成为使像素值以乘数变动的要因的基于光量大小和阴影等的影响。并且，在直接使用色调特征量gj/rj的值进行总体參数的估计的情况下，在考虑通常的内窥镜图像中的gj/rj的值大致收敛于0〈gj/rj〈l的范围内后,适当决定ー连串阈值即可。另外，在血管和pit等粘膜微细构造中，由于具有怎样的组织性状和存在于粘膜下的多深的位置等的要因，经常发生如下情况虽然作为组织学构造而属于同一种类，但是色调相互不同。在这种情况下，例如，分离为血管I和血管2等多个种类，按照该多个种类分别估计总体參数即可。具体而言，适当决定进行代表区域Ad的合并时的合并基准或针对进行代表区域Ad的合并后的各区域的分离基准，估计最終的种类数量后，按照各种类估计总体參数，由此能够实现。并且，在以上所述的ー连串处理中，不限于使用gj/rj的值作为色调特征量，例如，也可以适当选择并使用gj/rj的值或bj/gj的值中的一方,作为与提取对象的种类对应的色调特征量。S卩，根据以上所述的估计方法，能够得到在图6的示意性的图像数据中总共包含K个种类数量这样的估计結果。进而，根据以上所述的估计方法，能够得到全部K个种类中的第i个种类中的规定色调特征量gj/rj的值的平均值μ GRi和标准偏差σ GRi,作为所述总体參数的估计結果。
另外，以下为了简化说明，假设在图6的示意性的图像数据仅包含相当于血管内部(血管内側)的区域和相当于间质部等背景粘膜(血管外側)的区域这2个种类(Κ=2、并且1=1或2中的任意一方),进行说明。另ー方面，运算部41b通过将在图5的步骤S3中得到的种类数量和总体參数的估计结果应用于M-S法的轮廓检测式，进行区域分割的运算(图5的步骤S4)。另外，在本实施例中，作为所述轮廓检测式，使用所述非专利文献3 (Christophe Samson, LaureBianc—Feraud，Gilles Aubert, and Josiane Zerubia: Multiphase Evolution andVariational Image Classification,,，INRIA Sophia Antipolis)所公开的下述算式(I )。
&(φ>，·"，φ尺)=ΣαK(①少ア)dx+Σr<K(φ-a.
(ΣαΛ)-1)み * ·.⑴上述算式(I)中的Oi (IきiきK)被称为距离函数，Φ^Ο的像素成为区域的边界，根据与边界之间的距离来设定其他像素中的Φ 的值。具体而言，关于存在于所述边界内部(区域内侦彳)的像素，Φ 的值取对应于与所述边界之间的距离的正值，关于存在于所述边界外部(区域外側)的像素，Φ 的值取对应于与所述边界之间的距离的负值。并且，上述算式(I)中的Fa CO1,…、Φκ)表示对包含全部K个种类的全部区域Ω进行区域分割时的评价值。即，经由(例如后述的)反复处理求出对？。(O1、…、Φκ)的值进行最小化的边界，由此，能够实现图像的区域分割。另外，上述算式(I)中的右边3个项分别依次意味着分割后的区域内的特征量的总体參数越接近Ui和越小的项、边界线的长度越短(越不复杂)则越小的项、以及对区域的重复等进行控制的项。另ー方面，在使用M-S法的区域分割中，可以经由下述算式(2)的反复处理求出对评价值Fa (Φ^…、Φκ)进行最小化的距离函数


本发明的医用图像处理装置能够对医用图像进行区域分割处理，该医用图像处理装置具有特征量计算部，其从所述医用图像中计算至少1个特征量；种类设定部，其根据由所述特征量计算部计算出的特征量，在所述医用图像中设定多个种类；总体参数设定部，其根据由所述特征量计算部计算出的特征量，按照分别被分类为由所述种类设定部设定的种类的所述医用图像的各区域设定总体参数；以及区域分割部，其根据分布模型对所述医用图像进行区域分割处理，所述分布模型是依照由所述种类设定部设定的种类的数量和由所述总体参数设定部设定的总体参数来规定的。