图像处理设备、图像处理方法和荧光导航手术系统的制作方法[0001]相关申请的交叉参考[0002]本申请要求2013年3月29日提交的日本在先专利申请JP2013-074785的权益，其全部内容并入在此以供参考。 [0004]在过去，怀疑是病毒转移的前哨淋巴结的解剖已经在乳腺癌的消融手术(ablative surgery)中执行。当不容易通过视觉检查识别的前哨淋巴结的解剖被执行时，前哨淋巴结通过使用作为荧光试剂的吲哚花青绿(ICG)识别。 [0005]使用ICG识别前哨淋巴结的方法的实例包括将近红外波段的激发光施加到观察区域并在近红外波段捕获从ICG发射的荧光的图像以观察图像的方法(例如，参见日本专利申请公开第2001-299676号)。 [0006]用于观察从用于识别前哨淋巴结的ICG试剂发射的荧光的图像的商业化系统的实例包括pde-neo (由Hamamatsu Photonics K.K.制造，参见日本专利第4745059号)、HyperEye医疗系统(由MIZUHO有限公司制造)和微型FLARE (Beth Israel医院，参见2009年 10 月的肿瘤外科年报；16 (10):2943-2952,互联网〈URL:http://www.ncb1.nlm.nih.gov/pmc/articles/PMG2772055/>)。 [0007]HyperEye医疗系统和微型FLARE具有这样的功能，例如，在由用于可见光图像观察的内置摄像机捕获的可见光观察图像上叠加荧光观察图像以显示叠加的图像。为适当地执行图像的叠加，例如，在微型FLARE系统中，用于可见光图像观察的摄像机和用于荧光图像观察的摄像机被配置为共享相同的用于成像的变焦透镜，从而使得两个图像的视场是相同的，并且包括具有相同像素数的相应的成像装置。
[0008]此外，近年来随着癌基因研究和试剂研究的发展，选择性地染色癌细胞正在成为可能(参见，例如，Hisataka Kobayashi 的研究，Nature Medicine 15, 104-109(2009) )0例如，已经开发了使癌细胞只能通过喷射发光的荧光试剂(参见新闻稿“fluorescentreagent that causes cancer cells to glow only by spraying has beendeveloped, ” [在线]，2011年11月24日，日本科学技术与技术代理机构[2013年3月18日搜索]，互联网〈URL:http://www.jst.g0.jp/pr/announce/20111124-2/index.html>)。
[0009]此外，在过去，对通过在医疗实践中的手术期间用摄像机捕获手术的图像并存储所述图像的应对医疗事故诉讼的措施已经考虑。然后，获得具有高分辨率(HD)术野的图像以捕获手术技术的图像，并且获得手术台和手术台周围的图像(具有标准分辨率(SD)或HD)以捕获整个手术的图像(参见，例如，日本专利申请公开第2005-346552号)。



[0010]在选择性地染色癌细胞的试剂被用于检测癌细胞的情况下，观察整个术野是重要的，所述术野不仅包括在手术期间由操作者集中注意力的区域，即，用手术刀等去除的区域，还包括除所述区域以外的区域。这是因为有必要确认，手术期间或手术后，还没有去除的癌细胞是否存在。
[0011]然而，诸如pde-neo、HyperEye医疗系统和微型FLARE的系统基于捕获图像的摄像机的变焦透镜用于调整由操作者观察的视场的大小的假设。具体地，在手术期间捕获的荧光观察图像仅包括操作者关注的术野的区域。因此，使用由所述系统所捕获的荧光观察图像证明不存在未去除的癌细胞是困难的。
[0012]另外，在现有系统中，荧光图像不一定适当地被捕获、显示和存储。
[0013]鉴于上述情况，希望提供能够适当地捕获、显示并存储荧光图像的图像处理设备、图像处理方法、信息处理程序、荧光观察系统以及荧光导航手术系统。
[0014]根据本公开的实施方式，提供一种信息处理设备，包括存储单元，被配置为将从活体的观察目标区域发射的荧光的图像作为观察目标区域的荧光图像存储在记录介质中，荧光的图像以第一分辨率捕获，荧光的图像通过将激发光施加到预先添加了荧光试剂的观察目标区域而获得，切割单元，被配置为使用户选择所述荧光图像的至少部分区域，并切割出所选择的区域作为ROI区域的荧光图像，以及显示控制器，被配置为使显示单元以低于所述第一分辨率的第二分辨率显示ROI区域的荧光图像。
[0015]在本公开中，整个观察目标区域的荧光图像以第一分辨率存储并且使显示单元以用于手术操作的第二分辨率显示由用户选择的ROI区域的荧光图像。因此，实现了存储和观察的两个目的，并且荧光图像可以被适当地捕获、显示并存储。
[0016] 在根据本实施方式的信息处理设备中，存储单元可以被配置为原样存储观察目标区域的荧光图像的RAW图像数据。
[0017]根据本公开的实施方式，提供了一种图像处理方法，包括将从活体的观察目标区域发射的荧光的图像作为观察目标区域的荧光图像存储在记录介质中，荧光的图像以第一分辨率捕获，荧光的图像通过将激发光施加到预先添加了荧光试剂的观察目标区域而获得，使用户选择所述荧光图像的至少部分区域，并切割出所选择的区域作为ROI区域的荧光图像，以及使显示单元以低于所述第一分辨率的第二分辨率显示ROI区域的荧光图像。
[0018]根据本公开的实施方式，提供了一种信息处理程序，使计算机用作:存储单元，被配置为将从活体的观察目标区域发射的荧光的图像作为观察目标区域的荧光图像存储在记录介质中，荧光的图像以第一分辨率捕获，荧光的图像通过将激发光施加到预先添加了荧光试剂的观察目标区域而获得，切割单元，被配置为使用户选择所述荧光图像的至少部分区域，并切割出所选择的区域作为ROI区域的荧光图像，以及显示控制器，被配置为使显示单元以低于所述第一分辨率的第二分辨率显示ROI区域的荧光图像。
[0019]根据本公开的实施方式，提供了一种荧光观察系统，包括激发光源，被配置为将激发光施加到预先添加了荧光试剂的观察目标区域，成像单元，被配置为以第一分辨率捕获从观察目标区域发射的荧光的图像作为观察目标区域的荧光图像，存储单元，被配置为将观察目标区域的荧光图像存储在记录介质中，切割单元，被配置为使用户选择所述荧光图像的至少部分区域，并切割出所选择的区域作为ROI区域的荧光图像，以及显示单元，被配置为以低于所述第一分辨率的第二分辨率显示ROI区域的荧光图像。
[0020]根据本公开的实施方式，提供了一种荧光导航手术系统，包括激发光源，被配置为将激发光施加到预先添加了荧光试剂的活体的观察目标区域，荧光成像单元，被配置为以第一分辨率捕获从观察目标区域发射的荧光的图像作为观察目标区域的荧光图像，存储单元，被配置为将观察目标区域的荧光图像存储在记录介质中，切割单元，被配置为使用户选择所述荧光图像的至少部分区域，并切割出所选择的区域作为ROI区域的荧光图像，荧光图像显示单元，被配置为以低于所述第一分辨率的第二分辨率显示ROI区域的荧光图像，可见光成像单元，被配置为使用户选择观察目标区域的至少部分区域，并捕获所选择的区域的图像作为可见光图像，以及可见光图像显示单元，被配置为显示可见光图像。
[0021]根据本公开的实施方式，提供了一种荧光导航手术系统，包括激发光源，被配置为将激发光施加到预先添加了荧光试剂的活体的观察目标区域，荧光成像单元，被配置为以第一分辨率捕获从观察目标区域发射的荧光的图像作为观察目标区域的荧光图像，存储单元，被配置为将观察目标区域的荧光图像存储在记录介质中，可见光成像单元，被配置为基于由用户输入的关于选择的位置的信息选择观察目标区域的至少部分区域作为ROI区域，并捕获ROI区域的可见光图像，切割单元，被配置为基于关于选择的位置的信息从观察目标区域的荧光图像中切割出ROI区域的荧光图像，叠加单元，被配置为通过将可见光图像的位置与所切割的荧光图像的位置对准并叠加这两个图像而产生叠加的图像，以及叠加图像显示单元，被配置为以低于第一分辨率的第二分辨率显示所述叠加的图像。
[0022]根据本公开的实施方式，提供了一种荧光导航手术系统，包括激发光源，被配置为将激发光施加到预先添加了荧光试剂的活体的观察目标区域，荧光成像单元，被配置为以第一分辨率捕获从观察目标区域发射的荧光的图像作为观察目标区域的荧光图像，存储单元，被配置为将观察目标区域的荧光图像存储在记录介质中，可见光成像单元，被配置为使用户选择观察目标区域的至少部分区域，并捕获作为ROI区域的选择的区域的可见光图像，切割单元，被配置为基于包括在可见光图像中的边缘信息从观察目标区域的荧光图像中切割出ROI区域的荧光图像，叠加单元，被配置为通过将可见光图像的位置与所切割的荧光图像的位置对准并叠加这两个图像而产生叠加的图像，以及叠加图像显示单元，被配置为以低于第一分辨率的第二分辨率显示所述叠加的图像。
[0023]如上所述，根据本公开，可适当地捕获、显示并存储荧光图像。
[0024]本公开的这些和其他目标、特征和优点根据其以下最佳模式实施方式的详细描述将变得更明显，如在附图中示出的。




[0025]图1是根据第一实施方式的荧光导航外科手术系统100的整体配置图；
[0026]图2是示出只有荧光区域FA发光的整个术野SA的图像的示图；
[0027]图3是示出根据修改实例的图像处理设备1B的功能模块的示图；
[0028]图4是根据本第二实施方式的荧光导航手术系统100B的整体配置图；并且
[0029]图5是根据第三实施方式的荧光导航手术系统100C的整体配置图。


[0030]下面，本公开的实施方式将参考附图描述。
[0031](第一实施方式)
[0032](整体配置)
[0033]首先将描述根据第一实施方式的荧光导航手术系统的整体配置。图1是根据本实施方式的荧光导航手术系统100的整体配置图。
[0034]荧光导航手术系统100主要分为用于操作者观察术野SA的可见光捕获系统300以及捕获、存储并显示荧光图像的荧光捕获系统200。因为荧光导航手术系统100被分为可见光捕获系统300和荧光捕获系统200，所以捕获系统的变焦透镜可以独立地操作，不像诸如共享相同的变焦透镜的微型FLARE的上述系统。
[0035](可见光捕获系统)
[0036]可见光捕获系统300被配置为包括用于术野观察的摄像机1、光学变焦透镜2以及用于术野观察的监视器3。用于术野观察的摄像机I能够捕获整个术野SA的图像，并且其捕获方向可旋转，即，摄像机可以摇摄。此外，用于术野观察的摄像机I可以用光学变焦透镜2执行光学变焦以仅捕获操作者关注的ROI区域的图像。因为用于术野观察的摄像机I需要准确捕获操作者的针的处理的图像，期望以高帧速率输出图像。应该注意的是，操作者关注的区域ROI表示他/她想要试图去除的区域或已经被去除的区域。
[0037]用于术野观察的监视器3被配置为以HD显示图像。如图1所示，例如，整个术野SA显示在用于术野观察的监视器3上。在荧光波长是不处于可见光波段的近红外波长的情况下，荧光区域FA不在用于术野观察的监视器3上显示。应该注意的是，可见光捕获系统300主要用在内窥镜手术的情况下，并且不用在一般腹部手术的情况下或一些情况下的开心手术。
[0038](荧光捕获系统)
[0039]另一方面,突光捕获系统200被配置为包括LED4、透镜5、激发滤光器(excitingfilter) 6、24M像素摄像机7、光学变焦透镜8、发射滤光器(emiss1n filter) 9,图像处理设备10以及用于荧光图像观察的监视器16。LED4、透镜5和激发滤光器6构成激发光源。应该注意的是，在一般的腹部手术或开心手术的情况下，荧光捕获系统200可具有与上述pde-neo或微型FLARE相同的尺寸和形状，并且在腹腔镜手术或内窥镜手术的情况下可以分别具有可以集成到腹腔镜或内窥镜的尺寸。
[0040]此外，图像处理设备10被配置为包括缺陷校正和显影单元(defect correct1nand development unit)ll、图像压缩单元12、图像存储单元13、数字变焦和摇摄单元14以及图形板15。
[0041] 图像处理设备10由个人计算机(PC)的硬件元件组成，其包括，例如，CPU (中央处理单元)、R0M (只读存储器^PRAM (随机存取存储器)。可选地，图像处理设备10可以由专用集成电路(IC)如FPGA (现场可编程门阵列)组成。
[0042]图像处理设备10与缺陷校正和显影单元11、图像压缩单元12、图像存储单元13、数字变焦和摇摄单元14以及图形板15交换各种信号并执行各种类型的算术处理以处理荧光图像。用于各种类型的算术处理的各种程序和各种类型的数据被加载到RAM。CPU执行加载到RAM中的程序。ROM存储加载到RAM中的程序和数据。
[0043]应该注意的是，CPU执行从ROM等加载到RAM的程序，并且因此实现缺陷校正和显影单元11、图像压缩单元12、图像存储单元13、数字变焦和摇摄单元14的功能模块。
[0044](元件和处理流程的细节)
[0045]首先，在荧光捕获系统200中，激发光通过包括LED4、透镜5和激发滤光器6的LED照明而被施加到术野SA。
[0046]诸如ICG的荧光对照介质预先被局部注入或喷洒在术野SA中，并因此在期望的地方聚集。施加到术野SA的激发光引起荧光对照介质发光(在下文中，在荧光对照介质聚集的发光的区域被称为荧光区域FA)。
[0047]从荧光区域FA发射的荧光传输穿过发射滤光器9，并且荧光的图像通过光学变焦透镜8放大，并通过24M像素的摄像机7捕获。发射滤光器9起用来阻挡具有不同于目标荧光的波长的光。光学变焦透镜8用来通过24M像素摄像机7调整视场，从而使得经受手术的整个图像存储区域RA的图像被捕获。
[0048]在本公开中，24M像素摄像机7是最重要的元件，其具有24M个像素，并且包括能够以例如6kX4k的超高分辨率捕获图像的成像装置。从成像装置中，图像可以以高达例如6.3fps的速率被输出。因为不同于用于术野观察的摄像机，24M像素摄像机7不捕获例如针的处理的可移动物体的图像，而捕获例如发射荧光的癌细胞的不移动的物体的图像，所以它只需要具有从Ifps到3fps的帧速率。
[0049]从24M像素摄像机7输出的荧光图像被输入到图像处理设备10。首先，输入到图像处理设备10的荧光图像在缺陷校正和显影单元11中受到诸如缺陷校正处理和去马赛克处理的显影处理。在显
[0050]输入到图像压缩单元12的荧光图像通过图像压缩处理被压缩，并且因此图像尺寸减小。在这之后，压缩的荧光图像被输出到图像存储单元13。
[0051]在图像压缩后，输入到图像存储单元13的荧光图像被存储在图像存储单元13中。图像存储单元13包括诸如HDD (硬盘驱动器)存储介质，并且压缩的荧光图像被存储在存储介质中。存储在存储介质中的图像例如是只有荧光区域FA发光的整个术野SA的图像，其在图2中示出。
[0052]在显影处理后，数字变焦和摇摄单元后14对输出到数字变焦和摇摄单元14的荧光图像执行数字变焦处理或摇摄处理，以仅放大操作者关注的区域ROI的图像，并显示图像。
[0053]此外，数字变焦和摇摄单元14可执行小像素处理(small pixilat1nprocessing)，以清楚地显示操作者关注的仅仅区域ROI的荧光图像，即，在用于荧光图像观察的监视器16上逐像素显示图像像素。
[0054]在数字变焦和摇摄单元14中受到处理影响的荧光图像经由图形板15被显示在用于荧光图像观察的监视器16上。用于荧光图像观察的监视器16被配置为以HD显示图像。如图2所示，在用于荧光图像观察的监视器16上，例如，操作者关注的包括荧光区域FA的区域ROI被放大并被显示。
[0055](将被存储的荧光图像和将被显示的荧光图像)
[0056]本公开具有一种特征在于，为医疗事故诉讼等准备的存储的图像不同于在手术操作期间由操作员参照的显示在用于荧光图像观察的监视器16上的图像。具体地，操作者关注的区域ROI显示在用于荧光图像观察的监视器16上，而存储在图像存储单元13中的图像通过捕获其中视场由光学变焦透镜8调整的整个术野SA的图像而获得。
[0057]存储在图像存储单元13中的图像不是通过捕获在手术的时候操作者关注的仅仅区域ROI的图像获得，而是通过捕获整个术野SA的荧光图像而获得。因此，在手术后，可确认是否存在包括例如在手术期间被荧光标记的癌的区域的未去除部分。
[0058](与典型技术的比较)
[0059]在上述典型技术中，即使成像装置是高分辨率的，但包括在捕获图像的照相机中的成像装置具有2M个像素的高分辨率。因此，即使整个术野SA的图像通过数字变焦被放大，并且操作者关注的仅仅区域ROI如在本公开中一样被提取，图像质量劣化，并且因此该图像不适合实际使用。因此，别无选择只有在手术期间仅捕获操作者关注的区域的图像，并不可能捕获整个术野SA的图像用于确认在手术后是否存在包括例如癌的未去除部分。
[0060]此外，在具有例如约15cmX 1cm的尺寸的术野SA的图像使用具有约2M像素成像装置被捕获的情况下，成像装置的像素分辨率为约75 μ m。具体地，因为分辨率比细胞的尺寸大几倍，癌细胞极有可能在未去除癌细胞的确认中被遗漏。
[0061]然而，在本公开的实施方式中使用的24M像素成像装置来捕获具有约15cmX10cm的尺寸的术野SA的图像的情况下，成像装置的像素分辨率为约25μπι。因为可以实现几乎与癌细胞的尺寸相同的分辨率，所以，可以以其中具有荧光标记的癌细胞等很难被遗漏的分辨率来存储荧光图像。
[0062]另外，在本实施方式中，使用24Μ像素成像装置捕获的具有例如约15cmX10cm的尺寸的术野SA的图像受到数字变焦处理影响，并且操作者关注的具有约5cmX2.5cm的尺寸的区域ROI被放大并显示。即使在这种情况下，因为图像可以在用于荧光图像观察的监视器16上以不小于逐像素分辨率的分辨率显示，所以可以向操作者提供良好质量的荧光图像。
[0063](关于术野的尺寸和成像装置的像素数)
[0064]现在，将描述其图像被捕获的术野SA的尺寸和捕获荧光图像的成像装置的像素数之间的关系。
[0065]例如，在妇产科中使用腹腔镜的卵巢切除术中，因为观察视场调整，从而使得在针处理中使用的夹钳和针不移出视场，其图像被捕获的视场通常设定为约7cm至8cm的正方形或比这稍微大一点。
[0066]然后，为了不遗漏具有约100 μ m的尺寸的肿瘤，希望使用具有约50 μ m或更小的像素分辨率的光学系统来捕获荧光图像。
[0067]在一边具有为7cm的尺寸的术野SA的图像用50 μ m的像素分辨率捕获的情况下，成像装置的像素数是1400。因此，在一边具有约1cm的尺寸的术野SA的情况下，在期望使用在短边上具有不小于2000像素的成像装置以便实现本公开的上述效果。
[0068](关于本公开的效果)
[0069]根据本实施方式的荧光导航手术系统能够响应于用户的请求通过数字变焦放大操作者关注的区域ROI的图像并能够显示该图像，并以不遗漏肿瘤的像素分辨率捕获和存储整个术野SA的图像。因此，可捕获操作者不关注的区域的图像(其在典型系统中没有被捕获)，并且存储图像。因此，例如，可以为医疗事故诉讼对策的市场做准备。
[0070](修改实例(关于当存储时图像没有被压缩的配置))
[0071]接下来，将描述在图像存储单元13中存储由24M像素摄像机7捕获到的荧光图像的方法的修改实例。
[0072]在上述实施方式中，荧光图像在缺陷校正和显影单元11中显影，然后在图像压缩单元12中被压缩。然而，在期望避免由于压缩而导致的图像劣化的情况下，荧光图像不被压缩并被存储。在这方面，在本修改实例中，从24M像素摄像机7输出的RAW图像数据没有被压缩，并被存储在图像存储单元13中。
[0073]通常，在其中红色、绿色和蓝色(RGB )的颜色的彩色滤光器以贝尔图案布置在单个板上的彩色成像装置中，RAW图像数据被输出，输出的RAW图像数据被显影，并且因此可以得到最终的彩色图像。通过显影处理获得的彩色图像的尺寸显著大于原始RAW图像数据的尺寸。
[0074]例如，在亮度信息为14位的情况下，从具有24M个像素的成像装置输出的RAW图像数据的尺寸约为50MB。如果将RAW图像数据显影成其亮度信息是16位的彩色图像，则尺寸为147MB。然后，即使显影的彩色图像的亮度信息减少到8位，图像仍具有大约73MB的尺寸。
[0075]如上所述，原始RAW图像数据具有比其亮度信息是从16位减为8位的彩色图像更小的尺寸。因此，在图像没有被压缩并被存储的情况下，当显影前的RAW图像数据被存储时，可以原样存储具有小数据尺寸的图像。然后，因为在图像存储单元13中存储荧光图像所必需的存储介质的容量可减少，从系统操作的成本的观点来看它是有效的。
[0076] 图3示出根据本修改示例的图像处理设备1B的功能模块。如图3所示，图像处理设备1B被配置为包括缺陷校正单元11B、图像存储单元13、显影单元11C、数字变焦和摇摄单元14以及图形板15。
[0077]缺陷校正单元IlB和显影单元IlC通过将根据上述实施方式的缺陷校正和显影单元11的功能划分为缺陷校正处理和显影处理而获得。图像处理设备1B不包括图像压缩单元12。
[0078]关于处理的流程，首先，图像处理设备1B接收从24M像素摄像机7输出的荧光图像。
[0079]输入到图像处理设备1B的荧光图像在缺陷校正单元IlB中受到缺陷校正处理。缺陷校正处理之后，荧光图像被输出到图像存储单元13和显影单元IlC中。
[0080]输入到图像存储单元13的荧光图像被存储在图像存储单元13中。图像存储单元13的功能和配置与上述实施方式相同。
[0081]输入到显影单元IlC的荧光图像受到诸如去马赛克处理的显影处理。在这之后，显影的荧光图像被输出到数字变焦和摇摄单元14。
[0082]在显影处理后，数字变焦和摇摄单元14对输出到数字变焦和摇摄单元14的荧光图像执行数字变焦处理或摇摄处理，以仅放大操作者关注的区域ROI的图像并显示图像。数字变焦和摇摄单元14的功能和配置与上述的实施方式相同。
[0083]在数字变焦和摇摄单元14中经受处理的荧光图像经由图形板15在用于荧光图像观察的监视器16上显示。
[0084](第二实施方式)
[0085]接下来，将描述本公开的第二实施方式。在第二实施方式与第一实施方式之间的主要区别在于，在第一实施方式中，用于术野观察的监视器3和用于荧光图像观察的监视器16分离，而在第二实施方式中，两个图像叠加并且在监视器上观察叠加的图像。应该注意的是，第二实施方式和第一实施方式的相同之处在于，操作者关注的区域ROI显示在监视器上而经受手术的整个图像存储区域RA被存储。
[0086]图4示出根据本实施方式的荧光导航手术系统100B的整体配置。应该指出的是，与根据第一实施方式相同的功能的兀件将用相同的参考符号来表不，并且其中的描述将省略。
[0087]荧光导航手术系统100B主要分为用于操作者观察术野SA的可见光捕获系统300B以及捕获并存储荧光图像的荧光捕获系统200B。然后，用于手术的系统基于这样的假设，即，假设在看到由可见光捕获系统300B捕获的用于术野观察的图像的同时进行手术。因此，荧光导航手术系统100B进一步包括图像处理设备10D，其将由荧光捕获系统200B捕获的荧光图像的显示范围与用于术野观察的图像的显示范围对准以将两个图像叠加；以及用于显示叠加的图像的叠加图像观察的监视器16B。
[0088](可见光捕获系统)
[0089]可见光捕获系统300B被配置为包括用于术野观察的摄像机I和光学变焦透镜2。用于术野观察的摄像机I能够捕获整个术野SA的图像，并且其捕获方向可旋转，即，摄像机可以摇摄。此外，用于术野观察的摄像机I能够使用光学变焦透镜2执行光学变焦，以捕获操作者关注的仅仅区域ROI的图像。由用于术野观察的摄像机I捕获的图像被输出到图像处理设备1D。
[0090](荧光捕获系统)
[0091]另一方面, 突光捕获系统200B被配置为包括LED4、透镜5、激发滤光器6、24M像素摄像机7、光学变焦透镜8、发射滤光器9以及图像处理设备10C。
[0092]此外，图像处理设备1C被配置为包括缺陷校正和显影单元11、图像压缩单元12以及图像存储单元13作为功能模块。
[0093]在缺陷校正和显影单元11中收到缺陷校正处理和显影处理的荧光图像被输出到图像压缩单元12以及图像处理设备1D中的数字变焦和摇摄单元14。
[0094](图像处理设备1D的配置和处理的流程)
[0095]图像处理设备1D被配置为包括数字变焦和摇摄单元14以及位置对准和图像组合单元17的功能模块以及图形板15。应该注意的是，图像处理设备1C和1D可以由PC或专用IC (诸如FPGA)组成，类似于根据第一实施方式的图像处理设备10。
[0096]在图像处理设备1D中，首先，数字变焦和摇摄单元14接收从缺陷校正和显影单元11提供的荧光图像以及从用于术野观察的摄像机I提供的关于用于术野观察的摄像机I的光学变焦和摇摄的信息。数字变焦和摇摄单元14基于所接收的关于光学变焦和摇摄的信息对荧光图像执行数字变焦处理和数字摇摄处理，以适当地将荧光图像与从用于术野观察的摄像机I提供的图像进行叠加。受到变焦处理和摇摄处理的荧光图像被输出到位置对准和图像组合单元17。
[0097]接下来，位置对准和图像组合单元17将从用于术野观察的摄像机I提供的用于术野观察的图像与从数字变焦和摇摄单元14提供的荧光图像进行叠加，并将这些图像进行组合。因此组合的叠加的图像经由图形板15被输出到用于叠加的图像观察的监视器16B，并以HD在屏眷上显不。
[0098]应该注意的是，在上述的描述中，基于从用于术野观察的摄像机I提供的关于用于术野观察的摄像机I的光学变焦和摇摄的信息执行位置对准。然而，本公开不限于此，通过诸如边缘检测的图像分析处理获得用于叠加图像的未回以叠加图像。
[0099]在上文中，已经描述了第二实施方式的配置。应该注意的是，在以上的描述中，已经描述了这样的配置，其中，用于术野观察的图像和荧光图像被叠加，并且因此获得的图像被显示在用于叠加的图像观察的监视器16B上。然而，存在根据操作者的爱好在手术期间在显示器上分开显示用于术野观察的图像和荧光图像的请求。因此，同样在第二实施方式的配置中，可分开提取从用于术野观察的摄像机I输出并输出到用于术野观察的监视器3的用于术野观察的图像，并分开提取从数字变焦和摇摄单元14输出并输出到用于荧光图像观察的监视器16的图像。
[0100](第三实施方式)
[0101]接下来，将描述本公开的第三实施方式。第三实施方式与第二实施方式之间的主要区别在于，在第二实施方式中，用于术野观察的摄像机I和24M像素摄像机7从不同的方向捕获存储区域RA的图像或操作者关注的区域ROI的图像，而在第三实施方式中，所述图像从相同的光轴方向捕获。
[0102]图5是根据本实施方式的荧光导航手术系统100C的整体配置图。应该指出的是，与根据第一实施方式和第二实施方式相同的功能的兀件将用相同的参考符号来表不，并且其中的描述将省略。
[0103]如上所述，荧光导航手术系统100C是其中可见光捕获系统与荧光捕获系统集成的捕获系统，并且光学系统的一部分共享。
[0104](配置和捕获流程)
[0105]捕获系统被配置为包括用于术野观察的摄像机1、光学变焦透镜2B、透镜驱动单元21、摇摄台20、LED4、透镜5、激发滤光器6、24M像素摄像机7、光学变焦透镜8C、发射滤光器9、分色镜9B、变焦透镜8B、可见光LED30、透镜31以及可见光滤光器32。
[0106]将首先描述用可见光的捕获。包括可见光LED30、透镜31以及可见光滤光器32的可见光照明将可见光施加到图像存储区域RA。从图像存储区域RA反射的光入射在变焦透镜8B上。变焦透镜8B的视场在24M像素摄像机7中以整个图像存储区域RA的图像被捕获的方式被调整。传输穿过变焦透镜8B的可见光入射在分色镜9B上。分色镜9B被配置为仅反射从荧光区域FA发射的荧光并使得可见光传输穿过。已经传输穿过分色镜9B的可见光入射在变焦透镜2B上。变焦透镜2B由透镜驱动单元21驱动，并且用于术野观察的摄像机I的视场以捕获操作者关注的区域ROI的图像所必需的放大倍率被放大。此外，通过摇摄台20通过摇摄用于术野观察的摄像机，用于术野观察的摄像机I的视场聚焦在操作者关注的区域ROI上。
[0107]以这种方式，在用于术野观察的摄像机I中捕获了操作者关注的区域ROI的图像。捕获的可见光图像被输出到位置对准和图像组合单元17。此外，为将视场只聚焦在操作者关注的区域ROI上，关于由透镜驱动单元21执行的变焦和由摇摄台执行的摇摄的信息被输出到数字变焦和摇摄单元14作为关于光学变焦和摇摄的信息(位置选择信息)。
[0108]接下来，将描述使用荧光的捕获。荧光区域FA利用从包括LED4、透镜5以及激发滤光器6的激发光源发射的激发光而发光。从荧光区域FA发射的荧光传输穿过变焦透镜SB (其视场以整个图像存储区域RA的图像被捕获的方式被调节)、由分色镜9B反射、传输穿过发射滤光器9和光学变焦透镜8C、入射在24M像素的摄像机7上从而被捕获。
[0109]以这种方式，整个图像存储区域RA的荧光图像由24M像素摄像机7捕获。捕获的荧光图像被输出到缺陷校正和显影单元11。
[0110]通过上述配置，可以从相同的方向捕获可见光图像和荧光图像。因此，在位置对准和图像组合单元17中可以容易地执行位置对准，并且可精确地对准两种图像的位置并叠加图像。
[0111]在上文中，已经描述了第三实施方式。
[0112](补充说明)
[0113]此外，本技术的实施方式不限于上述实施方式，并且在不偏离本技术的主旨情况下可以进行各种修改。
[0114] 本领域技术人员应该理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围内。