专利名称:荧光观察装置和荧光图像处理方法以往,公知有如下的荧光观察装置针对来自特异性聚积在存在于活体组织中的肿瘤等病变部的荧光物质的荧光强度,通过相同活体组织的表面的反射光强度对其进行归一化(例如参照专利文献I。)。现有技术文献专利文献 专利文献I :日本特开昭62-247232号公报
发明要解决的课题但是,通过对活体组织照射激励光来进行活体组织的荧光观察,通过对活体组织照射白色光等来进行活体组织的反射光观察,所以,由于荧光观察与反射光观察的时间偏差,有时在所取得的荧光图像与反射光图像之间产生偏差。荧光图像与反射光图像之间的偏差是由于活体组织的脉动、曝光时间的差异、荧光观察装置与活体组织的相对位置偏差等而广生的。该情况下,通过相对于荧光图像具有偏差的反射光图像对荧光图像进行归一化,由于没有进行正确的归一化,所以存在如下不良情况在不是病变部位的位置显示得好像存在病变,或病变部位被显示得好像是非病变的位置,对医师提供错误信息。本发明是鉴于上述情况而完成的,本发明提供如下的荧光观察装置和荧光图像处理方法即使在荧光图像与反射光图像之间产生位置偏差的情况下,也能够防止对医师提供错误信息,能够防止误诊。用于解决课题的手段为了实现上述目的,本发明提供以下手段。本发明的第一方式是一种荧光观察装置,其具有白色光图像生成部,其根据拍摄反射光而得到的信号生成白色光图像,该反射光是对观察对象照射的白色光的反射光;荧光图像生成部,其根据拍摄荧光而得到的信号生成荧光图像,该荧光是对观察对象照射激励光而产生的;荧光图像校正部,其通过由所述白色光图像生成部生成的白色光图像,对由该荧光图像生成部生成的荧光图像进行归一化;位移量计算部,其对根据隔开时间间隔拍摄得到的信号而由所述白色光图像生成部生成的多个白色光图像进行处理,计算该白色光图像内的所述观察对象的位移量;区域尺寸计算部,其对由所述荧光图像生成部生成的荧光图像进行处理,计算具有规定阈值以上的荧光强度的区域的大小;以及控制部,其对所述荧光图像校正部进行控制,以使得在由所述位移量计算部计算出的所述观察对象的位移量相对于由该区域尺寸计算部计算出的所述区域的大小大到规定比例以上时,停止荧光图像的归一化。根据上述本发明的第一方式的荧光观察装置,当得到由白色光图像生成部生成的观察对象的隔开时间间隔的多个白色光图像时,通过位移量计算部计算白色光图像内的观察对象的位移量。另一方面,当得到由荧光图像生成部生成的观察对象的荧光图像时,通过区域尺寸计算部计算荧光图像内的具有规定阈值以上的荧光强度的区域的大小。而且,在相对于高荧光强度区域的大小、观察对象的位移量较大时,利用白色光图像对荧光图像进行归一化时的精度低,所以,在位移大到规定比例以上时,控制部停止荧光图像校正部进行的荧光图像的归一化,由此,能够防止生成以低精度归一化的荧光图像。即,仅在相对于高荧光强度区域的大小、观察对象的位移量小于规定比例时,控制部进行荧光图像的归一化,仅生成以高精度归一化的荧光图像,能够将对医师提供错误信息的情况防患于未然。在上述本发明的第一方式的荧光观察装置中,也可以是,所述荧光观察装置具有归一化停止报知部,在所述控制部停止所述荧光图像校正部进行的荧光图像的归一化时,该归一化停止报知部报知该情况。 由此,医师等能够通过归一化停止报知部识别控制部停止荧光图像的归一化的情况。在上述本发明的第一方式的荧光观察装置中,也可以是,所述荧光观察装置具有归一化精度计算部,其根据由所述区域尺寸计算部计算出的所述区域的大小和由所述位移量计算部计算出的所述观察对象的位移量,计算所述荧光图像校正部进行的归一化的精度;以及归一化精度报知部,其报知由该归一化精度计算部计算出的归一化的精度。由此,相对于高荧光亮度区域的大小、观察对象的位移量越大,荧光图像与白色光图像的位置偏差越大,归一化的精度低,所以,通过归一化精度报知部报知由归一化精度计算部计算出的精度,医师等能够识别归一化的荧光图像的可靠性。在上述本发明的第一方式的荧光观察装置中,也可以是,所述荧光观察装置具有停止比率计算部,该停止比率计算部计算所述控制部停止所述荧光图像校正部进行的荧光图像的归一化的时间的比率,所述控制部根据由所述停止比率计算部计算出的归一化的停止时间的比率,调节所述比例。由此,在荧光图像与白色光图像的位置偏差较大时,成为保持停止归一化的状态,所以,缓和了用于停止归一化的比例,能够得到精度低、但归一化的荧光图像。本发明的第二方式是一种荧光图像处理方法,包括以下步骤白色光图像生成步骤,根据拍摄反射光而得到的信号生成白色光图像,该反射光是对观察对象照射的白色光的反射光;荧光图像生成步骤,根据拍摄荧光而得到的信号生成荧光图像,该荧光是对观察对象照射激励光而产生的;区域尺寸计算步骤,对通过该荧光图像生成步骤生成的荧光图像进行处理,计算具有规定阈值以上的荧光强度的区域的大小;位移量计算步骤,对根据隔开时间间隔拍摄得到的信号而生成的多个白色光图像进行处理,计算该白色光图像内的所述观察对象的位移量;以及荧光图像校正步骤,仅在通过所述位移量计算步骤计算出的所述观察对象的位移量相对于通过所述区域尺寸计算步骤计算出的所述区域的大小小于规定比例时,通过所述白色光图像对所述荧光图像进行归一化。发明效果根据本发明,发挥如下效果即使在荧光图像与反射光图像之间产生位置偏差的情况下,也能够防止对医师提供错误信息,能够防止误诊。图I是示出本发明的一个实施方式的荧光观察装置的框图。图2是说明由图I的荧光观察装置取得的荧光图像中的高荧光亮度区域和表示其大小的内切圆的直径的图。图3是示出图2的高荧光亮度区域的位移量的图。图4是示出由图I的荧光观察装置取得的荧光图像和白色光图像的取得定时的图。图5是示出用于说明基于图I的荧光观察装置的荧光图像处理方法的流程图的 图。图6是示出图5的荧光图像处理方法的第I变形例的流程图的图。图7是示出通过图6的荧光图像处理方法而在监视器中显示的合成图像的显示例的图。图8是示出在图6的荧光图像处理方法的第2变形例中存储在控制部中的归一化的级别与阈值的对应表的图。图9是示出用于说明图8的荧光图像处理方法的流程图的图。
S4)。存储在白色光图像存储部19中的白色光图像G1被送出到位移量计算部21。在位移量计算部21中,依次对从白色光图像存储部19送来的、隔开与观察周期对应的时间间隔IOOmsec而取得的连续的2张白色光图像G1进行图像处理,提取各个白色光图像G1内的特征点,在2个白色光图像G1之间计算同一特征点间的距离。由此,计算表示在取得2张白色光图像G1的期间内、观察对象A相对于插入部2的前端面2a相对移动多少的位移量d (步骤S5)。在位移量计算部21中计算出的位移量d和在区域尺寸计算部22中计算出的高荧光亮度区域R的区域尺寸D被送出到控制部26。在控制部26中,计算位移量d相对于送来的区域尺寸D的比例。在位移量d相对于区域尺寸D的比例d/D为1/2以下的情况下,控制部26容许归一化运算部23进行归一化运算(步骤S6)。当控制部26容许归一化运算时,归一化运算部23使计数器N增加计数(步骤S7),通过使荧光图像G2除以白色光图像G1,从而进行归一化(步骤S8)。然后,所生成的归一化荧光图像G2’被存储在归一化图像存储部25中(步骤S9),然后,反复进行步骤S2及以后的步骤。另一方面,在位移量d相对于区域尺寸D的比例d/D大于1/2的情况下,不进行归一化运算,在监视器7中显示白色光图像G1,反复进行步骤SI及以后的步骤(步骤S10)。在步骤S2及以后的步骤的反复进行中,只要位移量d相对于区域尺寸D的比例d/D不超过1/2,则计数器N的值继续增加,判定是否成为计数器N=10、即位移量是否连续10次小于1/2 (步骤S11)。在成为计数器N=IO的情况下,在图像合成部24中,将归一化荧光图像G2’与白色光图像G1进行合成(步骤S12),在监视器7中显示所生成的合成图像G (步骤S13)。以后,只要计数器N 3 10、即位移量d较少的状态连续10次以上,则将归一化荧光图像G2’与白色光图像G1进行合成,在监视器7中显示所生成的合成图像G。然后,判断观察是否结束,在继续观察的情况下,反复进行步骤S2及以后的步骤(步骤S14)。
另一方面,在步骤S2及以后的步骤的反复进行中,在位移量d相对于区域尺寸D的比例d/D至少一次超过1/2的情况下,在该时点切换为仅显示白色光图像G1,返回步骤SI,对计数器N进行复位。这样,根据本实施方式的荧光观察装置I和荧光图像处理方法,通过白色光图像G1中的位移量d,判定荧光图像G2与为了对该荧光图像G2进行归一化而使用的白色光图像G1的位置偏差,在位置偏差较大的情况下,不进行归一化,所以,不显示精度低的归一化荧光图像G2’,能够将对医师等提供错误信息的不良情况的产生防患于未然。并且,仅在通过计数器N而得到位移量d连续10次以上较小的情况下,显示归一化荧光图像G2’,所以,在位移量d较大的情况下、或者位移量d较小的状态不持续的情况下,不显示归一化荧光图像G2’,能够防止产生在短时间内(I秒以下)切换合成图像G和白色光图像G1的不良情况。另外,在本实施方式中,设观察周期为100msec,仅在位移量d较小的状态持续10次观察周期的情况下,显示合成图像G,但是不限于此,观察周期和计数器N的次数可以任 意设定。并且,在本实施方式的荧光图像处理方法中,在位移量d相对于区域尺寸D的比例d/D超过1/2的情况下,停止荧光图像G2的归一化,但是,该比例d/D不限于1/2,可以任意设定。例如,在比例d/D超过I的情况下、即区域尺寸D与位移量d相等的情况下,认为荧光图像G2和白色光图像G1没有重复而完全错开,所以,也可以仅在该情况下,停止荧光图像G2的归一化,在除此之外的情况下,进行归一化。由此,能够缩短停止荧光图像G2的归一化的期间。并且,该情况下,如图6和图7所示,也可以一并显示表示归一化的精度的信息。例如,也可以分为位移量d相对于区域尺寸D的比例d/D为1/2以下的情况、大于1/2且为I以下的情况、以及大于I的情况这3种情况,在以10次的观察周期计算出的比例d/D全部为1/2以下的情况下,将归一化的精度设定为LEVEL1,在至少I次大于I的情况下设定为LEVEL3,在除此之外的情况下设定为LEVEL2。具体而言,在步骤SI中对计数器N和计数器L进行初始化,在步骤S6中判断为位移量d相对于区域尺寸D的比例d/D为1/2以下的情况下,使计数器L、N增加计数(步骤S20、S7),在判断为比例d/D大于1/2且为I以下的情况下(步骤S21),仅使计数器N增加计数(步骤S7)。然后,在这些情况下,均实施荧光图像G2的归一化(步骤S8),存储归一化荧光图像G2’(步骤S9)。然后,在步骤Sll中成为计数器N=IO的情况下,判定是否成为计数器L=O(步骤S22),在计数器L=O的情况下、即比例d/D在10次的观察周期内始终为1/2以下的情况下,将归一化的精度设为LEVELl (步骤S23),在除此之外的情况下、即存在至少I次大于1/2且为D以下的情况的情况下,将归一化的精度设为LEVEL2 (步骤S24)。然后,对计数器N、L进行复位(步骤S25),在图像合成部24中对归一化荧光图像G2’、白色光图像G1、表示归一化的精度的信息进行合成(步骤S12),如图7所示,在监视器7中显示所生成的合成图像G (步骤S13)。然后,判断观察是否结束,在继续观察的情况下,反复进行步骤S2及以后的步骤(步骤S14)。另一方面,在步骤S21中判断为比例d/D大于I时,将归一化的精度设定为LEVEL3(步骤S26),对白色光图像G1和表示归一化的精度为LEVEL3的信息进行合成(步骤S27),在监视器7中显示所生成的合成图像G (步骤S28)。在图7所示的例子中,在归一化的精度为最高的LEVELl的情况下,2个圆形的显示B1^ B2双方均点亮,在LEVEL2的情况下,仅I个显示B1点亮,在LEVEL3的情况下,一个显示也不点亮。图7示出仅I个显示B1点亮的LEVEL2的状态。该归一化的精度的显示方法不限于图7的例子,而是任意的。并且,代替在监视器7中进行显示,也可以通过声音等进行报知。并且,如图8和图9所示,控制部26也可以根据归一化的精度对用于进行归一化的阈值进行变更。即,当开始观察时,在步骤SI中的计数器N、M的初始化后,设定归一化精度的级别(步骤S30)。如图8所示,控制部26对应地存储归一化精度的级别和阈值S,在最初的设定中,例如,将归一化精度的级别设定为作为最严格的阈值S的LEVELl。此时,阈值S例如为O。 接着,计数器N增加计数(步骤S31),进行荧光图像G2的生成/存储(步骤S2)、区域尺寸D的计算(步骤S3)、白色光图像G1的生成/存储(步骤S4)和位移量d的计算(步骤
S5),判定位移量d相对于区域尺寸D是否为阈值S以下(步骤S32)。在位移量d相对于区域尺寸D的比例d/D为阈值S以下的情况下,对荧光图像G2进行归一化(步骤S8),存储归一化荧光图像G2 ’(步骤S9),反复进行步骤S31 S9,直到计数器N=IO为止。另一方面,在位移量d相对于区域尺寸D的比例d/D大于阈值S的情况下,不进行荧光图像G2的归一化,使计数器M增加计数(步骤S33 ),在显示白色光图像G1后(步骤SIO ),反复进行步骤SI S9,直到计数器N=IO为止。然后,在步骤S9结束后,判定是否成为计数器N=10(步骤SI I ),在成为计数器N=IO的情况下,判定计数器M是否大于9 (步骤S34),在M>9的情况下、S卩10次内没有进行I次归一化的情况下,使归一化精度的级别降低I级(步骤S35)。在该例子中,将最初LEVEL6的级别变更为LEVEL5。另一方面,在步骤S34中判定计数器M是否小于7 (步骤S36),在M〈7的情况下、即10次中进行4次以上的归一化的情况下,将归一化精度的级别提高I级(步骤S37)。在处于最闻级别的情况下,不提闻到更闻的级别。然后,在图像合成部24中对归一化突光图像G2’、白色光图像G1、表不归一化的精度的信息进行合成(步骤S12),在监视器7中显示所生成的合成图像G (步骤S13)。然后,判断观察是否结束,在继续观察的情况下,反复进行步骤S31及以后的步骤(步骤S14)。由此,始终以一定的时间比例进行归一化运算,能够进行适合于观察环境的归一
化运算。另外,存储在图8所示的控制部26中的使归一化精度的级别与阈值S对应起来的值可以存储有2种以上的模式,能够通过设置在监视器7上的触摸开关等选择适合于观察条件的模式。并且,也可以通过将内窥镜的插入部2与图像处理部6连接,内置于插入部中的ID (识别码)被送出到控制部26,选择适合于要使用的插入部的模式。标号说明I :荧光观察装置;7 :监视器(归一化停止报知部、归一化精度报知部);17 :白色光图像生成部;18 :荧光图像生成部;21 :位移量计算部;22 :区域尺寸计算部;23 :归一化运算部(荧光图像校正部);26 :控制部(归一化精度计算部、停止比率计算部);A :观察对象;d 位移量;D :区域尺寸(大小)而白色光图像;G2 :荧光图 像;R:高荧光亮度区域(区域);S2 荧光图像生成步骤;S3 :区域尺寸计算步骤;S4 :白色光图像生成步骤;S5 :位移量计算步骤;S9 :归一化步骤(荧光图像校正步骤)。
即使在荧光图像与反射光图像之间产生位置偏差的情况下,也能够防止对医师提供错误信息,能够防止误诊。提供荧光观察装置(1),其具有白色光图像生成部(17),其根据对观察对象(A)照射的白色光的反射光生成白色光图像(G1);荧光图像生成部(18),其对观察对象(A)照射激励光而生成荧光图像(G2);荧光图像校正部(23),其通过白色光图像(G1)对荧光图像(G2)进行归一化;位移量计算部(21),其对隔开时间间隔的多个白色光图像(G1)进行处理,计算观察对象(A)的位移量(d);区域尺寸计算部(22),其对荧光图像(G2)进行处理,计算具有规定阈值以上的荧光强度的区域的大小(D);以及控制部(26),其对荧光图像校正部(23)进行控制,以使得在、观察对象(A)的位移量(d)相对于区域的大小(D)大到规定比例以上时,停止荧光图像(G2)的归一化。
荧光观察装置和荧光图像处理方法
- 专利详情
- 全文pdf
- 权力要求
- 说明书
- 法律状态
查看更多专利详情
下载专利文献
下载专利
同类推荐
-
小野芙美子渡边俊明, 石原康成渡边俊明, 石原康成渡边俊明, 石原康成吉田雅也徐红萍, 邓建清徐红萍, 邓建清
您可能感兴趣的专利
-
K-J·胡贝尔-哈格, I·比罗-弗朗斯K-J·胡贝尔-哈格, I·比罗-弗朗斯K-J·胡贝尔-哈格, I·比罗-弗朗斯杉田守男陶武刚, 陈健杉田守男杉田守男
专利相关信息
-
杉田守男杉田守男徐东泌