专利名称：投影图像生成技术的制作方法近年来，随着例如多排检测器CT (MDCT)之类的医疗设备(modality)的发展，已经可以获得高质量的三维图像数据。在利用这种图像数据的图像诊断技术中，已经越来越频繁地使用虚拟或伪三维被检体图像，以及高分辨率横断面图像。此外，还可以使用图像识别技术从三维医学图像中提取器官结构，并且已经可以从这些结构已得到很好地识别的三维医学图像生成虚拟或伪三维图像。之后，将这样生成的图像用于手术前的规划和模拟、以及手术中的导航。关于生成虚拟或伪三维图像的方法，采用绘制技术(例如表面绘制或体积绘制) 的方法是已知的。具体而言，通过透视投影(中心投影)从被检体内部的虚拟视点所获得的图像被称之为虚拟内窥镜图像，该图像仿佛是通过内窥镜观察到的图像。有人提出了使用这些虚拟内窥镜图像辅助内窥镜手术的技术。例如，日本未审查专利公开No. 2002-263053描述了这样一种装置其通过传感器检测内窥镜的位置，并在将所检测的位置作为视点的情况下，生成其场角比内窥镜的场角宽的虚拟内窥镜图像，并以叠加方式显示内窥镜所采集的实际内窥镜图像和虚拟内窥镜图像。此外，日本未审查专利公开No. 2005-021353描述了这样一种装置其实时检测内窥镜的位置，生成视野与内窥镜的视野相同、并且在该视野内使血管结构可视化的虚拟内窥镜图像，实时检测在内窥镜手术中使用的处置工具的位置，通过将表示处置工具的图像与在处置工具位置处的虚拟内窥镜图像组合而生成复合图像，并显示该复合图像和实际内窥镜图像。在内窥镜手术中，视线方向与处置工具的操作方向不同。这使得即使采用上述专利文献中所描述的从内窥镜视点看到的虚拟内窥镜图像来透视性地观察器官中的病变，也难以明了处置工具的操作方向(即，处置工具朝着图像中的病变接近的状态)。例如，如在图7中示例性示出的，对于其中视线方向VL对应于视野中心的虚拟内窥镜图像而言，难以明了处置工具进入器官的位置。虽然可以通过半透明处理来观察对手术而言要考虑的器官中的其他结构(例如血管等)，但是难以明了这种结构是否处于处置工具从进入位置到病变的路径当中。鉴于上述情况开发了本发明。本发明的一个目的是提供用于生成投影图像的技术，该技术使得能够容易地明了相对于被另一结构(例如器官中的病变)所遮蔽的注意结构，处置工具的接近路径的状态。
本发明的投影图像生成设备是这样一种设备其具有投影图像生成装置，其中，通过使用三维医学图像作为输入信息，生成投影图像，该投影图像是将在多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点看到在三维医学图像中的第一结构体，并且所述投影图像生成设备还包括处置工具位置设定装置，用于在三维医学图像的坐标空间中设定处置工具的假定位置；表面检测装置，用于从三维医学图像中检测第一结构体的表面；第二结构体识别装置，用于识别所述三维医学图像中的第二结构体，该第二结构体位于当从所述处置工具的所述假定位置观察所述第一结构体时被所述第一结构体遮蔽的位置处；以及交点检测装置，用于检测当处置工具从假定位置朝着第二结构体移动时所形成的假定路径与第一结构体的表面之间的交点，其中所述投影图像生成装置是这样一种装置其生成投影图像，其中所述交点以可识别的方式显示在投影面上的如下位置处连接所述视点与所述交点的视线上的图像信息投影在该处。本发明的投影图像生成方法是具有下列步骤的方法使用三维医学图像作为输入信息，生成投影图像，所述投影图像是将在多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点看到在三维医学图像中的第一结构体，该方法还包括下列步骤在三维医学图像的坐标空间中，当从视点看第一结构体时，在第一结构体的正面并且是该第一结构体的外部的位置处设定处置工具的假定位置；从三维医学图像中检测第一结构体的表面；识别当从处置工具的假定位置观察第一结构体时，在被第一结构体遮蔽的位置处的、位于三维医学图像中的第二结构体；以及检测当处置工具从假定位置朝着第二结构体移动时所形成的假定路径与第一结构体表面之间的交点，其中所述的生成投影图像的步骤是这样的步骤其生成投影图像，其中交点以可识别的方式显示在投影面上的如下位置处连接所述视点与所述交点的视线上的图像信息投影在该处。其上记录有本发明的投影图像生成程序的计算机可读记录媒介是这样一种媒介 其上记录有使计算机执行上述投影图像生成设备中各个装置的功能作为处理步骤的程序， 从而使得计算机发挥投影图像生成设备的作用。这里，“第一结构体”是这样的结构当从处置工具的假定位置观察第一结构体时， 第一结构体遮蔽“第二结构体”。“第一结构体”和“第二结构体”的实例可以是这样的情况 其中作为第二结构体的病变存在于作为第一结构体的器官的内部。除此以外，可以是这样的情况其中当从处置工具的假定位置观察第一结构体时，第二结构体位于第一结构体后面。“第一结构体”的另一具体实例可以是体表。另一方面，“第二结构体”通常是处置工具的处置目标，即，手术中的目标区域。从给定视点向给定投影面投影以生成“投影图像”的投影方法可以是中心投影、或者是在假设视点无限远的情况下的平行投影。当“在多个视线上的图像信息”被投影时，在每个视线上的图像信息可以是使用视线相邻像素的图像信息、通过内插法而获得的图像信息。“给定视点”可以是由使用者手动设定的位置，或者是在三维医学图像的三维坐标空间中对应于如下位置的位置由内窥镜位置检测装置实时检测的内窥镜被插入到被检体体腔中的位置。在这种情况下，可以采用以下布置其中，表示体腔内部的实际内窥镜图像通过实时成像形成，并且生成了叠加图像(其中，实际内窥镜图像和投影图像被叠加，该投影图像是在基本上形成实际内窥镜图像的同时，根据由内窥镜位置检测装置所检测到的内窥镜的位置而得到的)。“处置工具的假定位置”可以是由使用者手动设定的位置，或者是在三维医学图像的三维坐标空间中对应于如下位置的位置由处置工具位置检测装置实时检测的处置工具被插入到被检体体腔中的位置。“检测第一结构体”的方法和“检测第二结构体”的方法可以是利用已知的图像识别技术的自动方法、使用者手动进行的方法、或者它们的组合。“检测交点”的方法的具体实例可以是这样的方法其通过将第二结构体投影到第一结构体的一部分表面上以检测交点，第一结构体位于第二结构体朝向处置工具的假定位置的方向上。在这种情况下，通过将投影在第一结构体表面的一部分上的第二结构体从给定视点投影到投影面上，交点可以以“可识别的方式”显示在投影图像中。这里，优选的是通过平行投影将已投影在第一结构体表面的一部分上的第二结构体投影到投影面上。在这种情况下，当从处置工具的位置观察第二结构体时，位于第二结构体前部的第三结构体可以进一步被投影到第一结构体表面的一部分上，该第一结构体位于第二结构体朝向处置工具的假定位置的方向上。“第三结构体”的具体实例可以是在手术中需要注意的解剖结构，例如血管、器官、肿瘤等。根据本发明，当使用三维医学图像(其包括当从处置工具的假定位置观察第一结构体时，被第一结构体遮蔽的第二结构体)作为输入信息，生成投影图像(其是将在多个视线上的图像信息从给定视点投影在给定投影面上而形成的图像)时，检测当处置工具从假定位置朝着第二结构体移动时所形成的假定路径与第一结构体的表面之间的交点，并将该交点以可识别的方式显示在投影图像的投影面的如下位置处连接视点和交点的视线上的图像信息投影在该位置处。这使得在给定视点的投影图像中，可以明了处置工具进入到遮蔽第二结构体(即，注意目标)的第一结构体中的进入位置。如果从给定视点看到的投影图像被用作在普通诊断、手术模拟或手术导航中使用的视点图像，则观察者可以明了处置工具对被另一结构(第一结构体)遮蔽的注意结构(第二结构体，例如器官中的病变)的接近路径的状态，与普通手术中观察被影响区域时的感觉相同，没有不舒服的感觉或混乱， 这有助于提高手术的精确度和安全性。图1是医学图像诊断系统的示意性构造图，其中安装有根据本发明实施方式的手7术模拟功能。图2是示意性地示出用于实现本发明第一实施方式中的手术模拟功能的构造和处理流程的框图。图3是示出使用根据本发明实施方式的医学图像诊断系统进行手术模拟的处理流程的流程图。图4是示意性地示出用于设定视线和处置工具的位置的屏幕实例。图5示意性地示出在视线方向上的光线投射和在处置工具的操作方向上的光线投射。图6示意性地示出本发明第一实施方式中生成的投影图像的实例。图7示意性地示出本发明的比较例中在视线方向上的光线投射。图8示意性地示出本发明的比较例中生成的投影图像的实例。图9示意性地示出本发明第二实施方式中的光线投射以及在第二实施方式的比较例中的光线投射。图10示意性地示出在本发明的第二实施方式和第二实施方式的比较例中生成的投影图像的实例。图11示意性地示出本发明第三实施方式中生成的投影图像的实例。图12示意性地示出本发明第四实施方式中如何通过表面绘制来生成投影图像的情况。图13示出内窥镜检查辅助系统的硬件构造，其中根据本发明的第五实施方式来实施手术导航功能。图14是第五实施方式的内窥镜检查辅助系统的功能框图。图15是示出使用第五实施方式的内窥镜检查辅助系统进行手术导航的处理流程的流程图。图16示意性地示出本发明第五实施方式中的显示图像的实例，其中实际内窥镜图像和虚拟内窥镜图像彼此叠加。

图像处理工作站3是这样的计算机，其响应来自影像读取机(radiology reader) 的要求，对来自医疗设备1或图像存储服务器2的医学图像数据进行图像处理(包括图像分析)，并显示所生成的图像。图像处理工作站3具有已知的CPU硬件构造、主存储单元、辅助存储单元、输入/输出接口、通讯接口、输入设备(鼠标、键盘等等)、显示设备(显示器)、 数据总线等，并具有安装在其上的已知操作系统。使用本发明的投影图像生成处理，在图像处理工作站3中实施手术模拟功能，并且该处理是通过执行安装自记录介质(例如⑶-ROM 等)的程序而实现的。可供选择地，该程序可以是在从服务器的存储单元下载之后安装的程序，该服务器通过网络(例如互联网等)连接。图像数据的存储格式以及通过网络9连接的系统的各个元件之间的通讯基于 DICOM协议等。图2是示出与根据本发明第一实施方式的手术模拟处理相关的图像处理工作站3 的一部分功能的框图。如图2所示，根据本发明第一实施方式的手术模拟处理通过三维图像获取单元11、视线设定单元12、处置工具位置设定单元13、病变位置识别单元14、表面位置检测单元15、交点检测单元16、投影图像生成单元17和显示控制单元18实现。在图2 中，三维医学图像V、投影图像Ip、投影图像Ip中的视线VL、处置工具假定位置(在下文中， 称为处置工具位置)Pt、肝脏病变位置P1、肝脏表面位置SF、以及在处置工具操作方向和肝脏表面位置之间的交点Pa是通过上述各个单元写入到图像处理工作站3的预定存储区、并从中读出的数据。图3是示出用户操作、计算处理、显示处理等流程的流程图，这些处理在用于本发明第一实施方式的手术模拟的软件下进行。将参照图2和图3来描述本发明第一实施方式的手术模拟流程。首先，通过医疗设备1对被检体的腹部成像，并形成三维图像V。在图像处理工作站3中，三维图像获取单元11获得了医疗设备1所形成的三维图像V (#1)，病变位置识别单元14提取出由三维医学图像V所表示的肝脏中的病变、并识别其位置P1 (#2)，并且表面位置检测单元15检测肝脏的表面位置SF(#;3)。同时，视线设定单元12和处置工具位置设定单元13根据用户操作，分别设定要在后一步骤中生成的投影图像Ip的视线VL、以及用于手术的处置工具的位置Pt (#4)。然后，使用三维图像作为输入信息，投影图像生成单元17生成投影图像IP，该图像是通过将在多个视线上的图像信息投影到预定投影面上而生成的图像，该多个视线是通过视线设定单元12设定的(#5、#6、#8、#9、#10)。同时，交点检测单元16检测以下两者之间的交点Pa 当处置工具从处置工具位置设定单元13所设定的处置工具位置朝着由病变位置识别单元14所识别的病变位置P1移动时要形成的假定路径(操作方向)与由表面位置检测单元15所检测的肝脏表面位置SF (#7)，并且投影图像生成单元17生成投影图像IP，其中被交点检测单元16检测的交点Pa以可识别的方式显示在下列位置处在穿过交点Pa的视线VL上的图像信息被投影在该位置处(#8)。虽然将在后面详细描述这一系列处理，但是通过将病变位置识别单元14所提取的病变位置P1沿处置工具的操作方向平行投影到肝脏的表面SF，本实施方式中的交点检测单元16适于检测交点PA，并且对于每条视线，在投影图像生成单元17的投影处理中顺次进行交点检测单元16的处理。之后，显示控制单元18使得所生成的投影图像Ip显示在图像处理工作站3的显示设备上(#11)。下面将详细描述在图像处理工作站3的各个单元中进行的处理。三维医学图像获取单元11具有通讯接口功能，以从医疗设备1接收三维医学图像 V,并将该图像V存储到图像处理工作站3的预定存储区。视线设定单元12和处置工具位置设定单元13具有用户接口，包括在图4中作为例子示出的设定屏幕，以分别接受用户操作，以在投影图像Ip中设定视线VL以及在手术中使用的处置工具的位置Ρτ。如图4所示，视线设定单元12和处置工具位置设定单元13基于三维医学图像V来生成轴向横断面图像，并使得已生成的图像显示在设定屏幕中。这里，轴向横断面图像的位置可以(例如)是在生成轴向横断面图像之前，穿过由病变位置识别单元14所识别的病变位置P1的中心的位置。此外，横断面的位置可以根据用户使用键盘、点击设备等操作来改变。将标记叠加在表示病变的区域(在图中用P1表示的区域)。例如， 如果使用者使用点击设备从工具条(未示出)中选择用于设定视线的图标，然后通过在轴向横断面图像中的所需位置处保持点击操作同时进行拖动操作，来绘制表示视线方向的箭头(图中的VL)，则视线设定单元12检测该操作并确定视线VL在三维医学图像V的坐标空间中的方向，并将确定结果存储在预定的存储空间。同时，例如，如果使用者使用点击设备从工具条(未示出)中选择出用于设定处置工具的位置的图标，然后在轴向横断面图像中的处置工具的所需假定位置(图中的点Pt)处进行点击操作，则处置工具位置设定单元13 检测该操作，并识别处置工具位置Pt在三维医学图像V的坐标空间中的位置，并将识别结果存储在预定的存储空间中。注意的是，处置工具朝向病变位置P1的中心的方向，即，处置工具的操作方向(图中的TL)通过处置工具位置Pt的确定而确定。病变位置识别单元14使用三维医学图像V作为输入信息，并采用已知的图像识别方法从图像V中提取出手术目标肝脏病变区域，从而识别病变位置Pp例如，当使用由本申请人在日本未审查专利公开No. 2008-245719中所提出的方法时，病变位置识别单元14可以通过如下方法提取出病变区域借助于点击设备操作等来接受在轴向横断面图像中病变区域的任意点的用户设定，使用预先限定的病变区域的可能尺寸的信息来确定病变区域的可能存在的三维范围，并且基于使用者所设定的点以及在所述存在范围之外的点采用区域分割方法(例如图切割)。在本实施方式中，病变位置P1指的是表示被病变位置识别单元 14提取的三维病变区域的点的集合。下文中，病变位置P1有时根据上下文可称之为病变区域P!。表面位置检测单元15使用三维医学图像V作为输入信息，并采用已知的图像识别方法从图像V中检测肝脏的表面位置SF。例如，当使用由本申请人在日本未审查专利公开 No. 2009-211138中所提出的方法时，采用表面位置检测单元15以下列方式从三维医学图像中检测肝脏区域。首先，作为对在轴向横断面图像(其表示肝脏)中用户的点击设备操作的反应，用户在肝脏区域中设定任意点(下文中，称为用户设定点)。然后使用通过机器学习(例如AdaBoost法)而获得的鉴别器，检测肝脏区域轮廓的棱角部分作为基准点。然后，以用户设定点为中心，对于尺寸足以包括肝脏区域的三维区域(下文中，称为处理目标区域)中的每个点(像素)，使用通过机器学习(例如AdaBoost法)而获得的鉴别器，计算估算值，该估算值表明每个点是否是位于肝脏区域轮廓上的点。然后，在确定将在处理目标区域的周边上的每个点作为肝脏区域外的背景区域中的点，同时确定将用户设定点和基准点作为肝脏区域中的点之后，通过使用在处理目标区域中每个点的估算值，应用图切割方法从三维医学图像V中提取出肝脏区域。这里，所提取的肝脏区域的轮廓是表面位置SF。交点检测单元16应用已知的光线投射方法，以将病变位置P1沿处置工具的操作方向TL投影到表面位置SF上，从而获得在处置工具的操作方向TL与肝脏的表面位置SF 之间的交点PA，即，处置工具进入肝脏的位置。同时，投影图像生成单元17如下生成投影图像Ip 使用三维医学图像V作为输入信息，并使用体积绘制方法(其采用已知的光线投射)平行投影到视线VL的方向。在本实施方式中，如在图3的流程图的步骤#6到#10中所示，交点检测单元16和投影图像生成单元17进行一体化处理。在下文中，将参照图5中示出的示意图来描述该处理。注意的是，通过程序开始参数或通过设置文件进行下列预定义将彩色信息(R、G、B的各个信号值)C1和不透明度αι(= 1)分配到属于被病变位置识别单元14所识别的病变位置&的每个像素，将彩色信息Csf和不透明度α SF(= 1)分配到表示肝脏的表面位置SF(其由表面位置检测单元15检测)的每个像素，并将彩色信息Cra和不透明度α = 0)分配到其他区域。首先，投影图像生成单元17读取视线VL上的第一搜索点的信息(#5)，并确定该搜索点是否是在表面位置SF上(#6)。更具体地讲，确定搜索点本身、或者相邻的八个体素中的至少一个是否是在表面位置SF上。如果搜索点不在表面位置SF上(#6 否)，则利用被分配到该搜索点的彩色信息和不透明度进行光线投射(视线方向光线投射)(#9)。另一方面，如果搜索点在表面位置SF上(#6 =YES)，则交点检测单元16从搜索点朝着操作方向 TL上的被检体的内部进行光线投射(操作方向光线投射)，以获得彩色信息Ci和累积不透明度α ι的计算结果(#7)。然后，基于被分配到表面位置SF上的搜索点的彩色信息Csf， 以及通过操作方向光线投射而获得的彩色信息Ctl和累积不透明度α W投影图像生成单元 17用aTL. Ctl+(I-Qtl) · CsfR替搜索点的彩色信息，并进行视线方向光线投射(#8)。这使得在视线方向的一个搜索点的光线投射终止。此时，如果满足视线方向光线投射的终止条件，即，如果累积不透明度α皿在视线方向光线投射中达到值1，或者如果搜索点在三维医学图像V的范围外(#10 :YES)，则视线方向光线投射终止。另一方面，如果不满足终止条件(#10 否)，则获得在视线方向的下一个搜索点的信息(#5)，重复步骤#6到#9，直到满足终止条件(#10 =YES)。虽然没有在图3的流程中清楚地表示，但是对于多个视线的每一个 (其对应于构成投影图像Ip的每个像素)并列地或按顺序地进行步骤#5至#10。在图5所示的实例中，在沿着视线VL1和VL2中的每一个的视线方向光线投射中， 各个搜索点的不透明度α oh的值均是0，直至搜索点到达肝脏的表面位置，因此，彩色信息不被累积。当在每个视线方向光线投射中，搜索点到达肝脏的表面位置SF时，进行沿着操作方向TL1的光线投射以及沿着操作方向TL2的光线投射。对于位于肝脏的表面位置SF上的视线VL1上的搜索点，从搜索点直至搜索点到达病变区域P1中的操作方向光线投射中，每个搜索点的不透明度α 的值是0，因此，彩色信息Ctu和累积不透明度ciTU不被累积。然而，当搜索点到达病变区域P1时，彩色信息C1被累积，并且由于病变区域P1中每个搜索点的不透明度α χ的值是1，所以满足操作方向光线投射的终止条件(与视线方向的终止条件相同)，从而操作方向光线投射终止。因此，通过操作方向光线投射获得彩色信息CTU(=病变区域P1中的彩色信息C1)和累积不透明度aTU(=病变区域& = 1中的不透明度α》。这里，返回到视线方向光线投射，从分配到肝脏的表面位置SF的彩色信息Csf、通过操作方向光线投射而获得的彩色信息Ctu ( = C1)和累积不透明度aTU( = 1)，得到搜索点的彩色信息是α TL1 .CTL1+(l-aTL1) -Csf = C1，并且被分配到肝脏的表面位置SF的搜索点的不透明度aSF的值是1，从而也满足了视线方向光线投射的终止条件，光线投射终止。这导致对应于视线VL1的投影图像Ip的像素的彩色信息是C115同时，对于位于肝脏的表面位置SF上的视线VL2I的搜索点，因为在操作方向TL2上不存在病变区域P1中的搜索点，因此在操作方向TL2上所有搜索点中的每一个的不透明度a oh的值均是0，使得在彩色信息Cm和不透明度a TL2不累积的情况下搜索点到达三维医学图像V的范围外，从而满足终止条件，并且在彩色信息Cm和累积不透明度a TL2的值均保持为0的情况下终止操作方向光线投射。这里，返回到视线方向光线投射，从通过操作方向光线投射而获得的彩色信息Cm ( = 0)和累积不透明度= 0)中，得到搜索点的彩色信息是Cim .(^f(I-Cim) -Csf = Csf，并且被分配到肝脏的表面位置SF上的搜索点的不透明度a SF的值是1，从而也满足了视线方向光线投射的终止条件，光线投射终止。这导致对应于视线VL2的投影图像Ip的像素的彩色 fn息是Csf。如上所述，视线方向光线投射和操作方向光线投射的组合进行使得病变区域P1在操作方向上被平行投影到肝脏的表面SF，并且通过在视线方向上的平行投影，使得不同于肝脏表面其他区域的彩色信息被投影到投影图像Ip的投影面上。即，检测处置工具从处置工具位置Pt到病变位置P1的操作路径与肝脏表面SF之间的交点PA，并以可识别的方式将交点Pa显示在投影图像Ip中。图6示意性地示出以如上所述的方式生成的投影图像Ip的例子。如图6所示，将交点Pa(其是处置工具从假定位置Pt向着病变区域P1移动的进入位置)叠加在体积绘制图像(其中肝脏的表面SF投影在该图像中)上。与此形成对比的是，图7和8示出了本发明第一实施方式的比较例。如图7中所示意性示出的，当沿着视线VL将病变区域P1平行投影到肝脏的表面位置SF时，所生成的投影图像类似于图8中示出的投影图像，并且病变区域P1的投影位置P/不同于本发明第一实施方式中的投影位置PA，导致投影位置P/不对应于处置工具的进入位置。注意的是， 示出图8中的投影位置Pa仅是为了比较的目的，其并不是按照图7所示的投影方法实际描
fe ο如上所述，根据本发明的第一实施方式，当使用三维医学图像V作为输入信息、通过投影图像生成单元17生成投影图像IP(其是将位于多个视线VL上的图像信息投影到预定投影面上而形成的图像，所述视线VL由视线设定单元12设定)时，通过将病变位置识别单元14识别的病变区域P1在处置工具的操作方向(其是当处置工具从处置工具位置设定单元13所设定的假定位置Pt移动到病变区域P1时处置工具的方向)上平行投影到肝脏的表面上，用交点检测单元16检测交点PA，并且可以通过投影图像生成单元17生成投影图像 IP，其中将检测到的交点Pa以可识别的方式显示在下列位置处穿过所检测的交点Pa的视线上的图像信息被投影在该位置处。这使得可以容易且正确地明了投影图像Ip中处置工具进入具有病变区域P1的肝脏中的位置。此外，投影图像Ip可以具有与手术时的视野一样的视野。因此，在手术模拟中使用投影图像Ip使得观察者明了处置工具接近肝脏中的病变区域P1的路径，这与普通手术中观察被影响区域的感觉相同，没有不舒服的感觉或混乱，有
12助于提高手术的精确度和安全性。此外，将病变位置识别单元14所提取的病变位置P1沿着处置工具的操作方向平行投影到肝脏的表面SF上，可以直接地反映该病变位置P1的形状和尺寸，从而可以得到更适于观察的投影图像IP。在上述实施方式中，交点检测单元16和投影图像生成单元17 —体地进行处理。但是也可以采用这样的布置其中，交点检测单元16将病变区域P1沿着操作方向TL投影到肝脏的表面SF，并用CIt^ CtJ (1-aj · Csf代替肝脏表面SF上的位置(病变区域P1投影到该处)的彩色信息，然后投影图像生成单元17沿视线方向VL进行平行投影。或者，可以采用这样的布置其中，首先投影图像生成单元17沿视线方向VL进行平行投影，然后交点检测单元16将病变区域P1沿着操作方向TL投影到肝脏的表面SF上，然后识别投影图像 Ip中的位置(投影位置Pa投影到此处)，并用替换已识别的位置的彩色信息。本发明的第二实施方式是这样的实施方式其中将彩色信息Cx(兴0)和不透明度 αχ(0< αχ< 1)分配到肝脏内部的结构体(例如血管)，并在0 < Ci1 < 1的范围内改变病变区域P1的不透明度αχ。此外，交点检测单元16和投影图像生成单元17不一体化进行处理，而是按照交点检测单元16和投影图像生成单元17的顺序或者以与此相反的顺序进行处理。如图9中示意性示出的，这使得当通过交点检测单元16沿处置工具的操作方向进行光线投射时，结构体Px (其具有分配到其上的彩色信息Cx和不透明度α χ，并位于连接处置工具位置Pt和病变区域P1之间的直线上)以及病变区域P1被投影到肝脏的表面SF上。 图10示意性地示出在本发明的第二实施方式中生成的投影图像ΙΡ。如图10所示，将表示病变区域P1的区域Pa和表示其他结构体Px的区域I3b投影到操作方向TL与投影图像Ip中的肝脏表面SF相交的位置处。这使得容易地明了病变区域P1与其他结构体Px在处置工具的操作方向上的位置关系，并且可以容易地发现在手术时要注意的结构体(在该例子中是 Px)，从而可以进一步提高手术的精确度和安全性。同时，与本发明的第一实施方式的比较例一样，当将病变区域P1和其他结构体Px沿视线方向VL投影时，它们分别投影为投影图像 Ip中的P/和IV，从而难以明了病变区域P1与其他结构体Px在处置工具的操作方向TL 上的位置关系。本发明的第三实施方式与第二实施方式相同，不同之处在于在0< aSF<l的范围内改变被分配到肝脏表面SF的不透明度aSF。如图11中示意性示出的，在病变区域 P1和结构体Px沿处置工具的操作方向TL被投影到肝脏表面SF并叠加的情况下，生成投影图像IP，该投影图像Ip是其中使得肝脏的表面SF半透明，并且肝脏的内部结构(例如血管等)视觉上可辨别的体积绘制图像，从而有利于观察肝脏的内部结构，同时可以明了处置工具的进入位置。本发明的第四实施方式是这样的实施方式其中使用已知的表面绘制方法生成投影图像IP。更具体地讲，如图12中示意性示出的，病变位置识别单元14生成病变区域的表面模型P1，表面位置检测单元15生成肝脏的表面模型SF，当沿着处置工具的操作方向TL将表面模型P1投影时，在表面模型P1与肝脏的表面模型SF之间的交点处，交点检测单元16 附加上表示病变区域的表面模型P1的结构，并且投影图像生成单元17生成投影图像IP，其中将肝脏的表面模型SF(表示病变区域的表面模型P1的结构被附加在该肝脏的表面模型 SF)可视化。尽管绘制方法不同，但是这可以提供与第一实施方式相同的有利效果。本发明的第五实施方式是其中安装有手术导航功能的内窥镜检查辅助系统。图 13是该内窥镜检查辅助系统的硬件构造图，示出了其概貌。如图13所示，该系统包括内窥镜101、数字处理器102、光源单元103、实际内窥镜图像显示器104、医疗设备105、处置工具 106、内窥镜标记107a、处置工具标记107b、位置感测器108、图像处理工作站109以及用于图像处理工作站的显示器110 (下文中称为WS显示器)。在本实施方式中，内窥镜101是用于腹腔的刚性内窥镜，其被插入到被检体的腹腔中。被来自光源单元103的光纤导向的光从内窥镜101的尖端部分输出，并通过内窥镜 101的成像光学系统获得被检体腹腔内部的图像。数字处理器102将通过内窥镜101获得的图像信号转化成数字图像信号，通过进行数字信号处理(例如白平衡调整、阴影校正等) 校正图像质量，并通过附加由DICOM标准定义的辅助信息来输出校正过的图像信号作为实际内窥镜图像数据(Ike)。根据符合DICOM标准的通信协议，将输出的实际内窥镜图像数据 (Iee)通过LAN传输到图像处理工作站109。另外，数字处理器102将实际内窥镜图像数据 (Iee)转化为模拟信号，并将该模拟信号输出到实际内窥镜图像显示器104，从而将实际内窥镜图像(Ike)显示在实际内窥镜图像显示器104上。通过内窥镜101在预定的帧速率下获得图像信号，并且实际内窥镜图像显示器104显示实际内窥镜图像(Ike)作为表示腹腔内部的动画片。此外，内窥镜101还可以根据用户操作得到其他图像。医疗设备105与第一至第四实施方式中的医疗设备1相同，并且根据符合DICOM 标准的通信协议，通过LAN将形成的三维图像数据(V)传输到图像处理工作站109。内窥镜标记107a、处置工具标记107b以及位置感测器108构成了已知的三维位置测量设备。内窥镜标记107a和处置工具标记107b分别设置在靠近内窥镜101和处置工具106的把柄部位，并且光学位置感测器108以预定的时间间隔检测每个标记107a和107b 的三维位置。内窥镜标记107a和处置工具标记107b均包括多个标记片，并且位置感测器 108可以从每个标记片之间的位置关系检测到内窥镜101和处置工具106的方向，并且可以通过偏移量计算方法来计算内窥镜101和处置工具106的尖端部分的三维位置(P、、PST)。 位置感测器108将计算得到的内窥镜101和处置工具106的三维位置数据(PSE、PSt)通过 USB接口传输到图像处理工作站109。图像处理工作站109是这样的计算机其具有已知的CPU硬件构造、主存储单元、 辅助存储单元、I/O接口、通信接口、数据总线等，并且输入设备(点击设备、键盘等)和WS 显示器110彼此连接。图像处理工作站109通过LAN连接与数字处理器102和医疗设备 105相连接，并通过USB连接与位置感测器108相连接。此外，图像处理工作站109具有已知的操作系统和安装在其中的多种类型的应用软件。还安装有用于执行本发明的手术导航功能的应用软件。这些软件可以从记录媒介(例如CD-ROM等)安装，或者从服务器(通过网络，例如因特网等连接)的存储单元下载之后安装。图14是根据本发明的第五实施方式、按功能分开的内窥镜检查辅助系统的框图。 如图14所示，根据本发明的第五实施方式的内窥镜检查辅助系统包括内窥镜101、实际内窥镜成像单元102、实际内窥镜图像显示器104、三维图像形成单元105、处置工具106、WS显示器110、内窥镜位置检测单元111、处置工具位置检测单元112、实际内窥镜图像获取单元
14121、内窥镜位置获取单元122、处置工具位置获取单元123、三维图像获取单元124、病变位置识别单元125、表面位置检测单元126、交点检测单元127、虚拟内窥镜图像生成单元1 以及显示控制单元129。注意的是，相同的参考数字用于图13所示的硬件设备以及与其基本上一一对应的图14所示的功能块。即，实际内窥镜成像单元12的功能由图13中所示的数字处理器来实现，三维图像形成单元105的功能由图13中所示的医疗设备来实现。同时，内窥镜位置检测单元111的功能通过内窥镜标记107a和位置感测108来实现，并且处置工具位置检测单元112的功能通过处置工具标记107b和位置感测器108来实现。图14 中的虚线框表示图像处理工作站109，并且虚线框中各单元的功能通过执行图像处理工作站109上的预定程序来实现。此外，实际内窥镜图像Ike、内窥镜位置IV处置工具位置Ρτ、 三维医学图像V、病变位置P1、遮蔽病变的结构(下文中称为遮蔽结构)的表面位置SF、在虚线框中示出的虚拟内窥镜图像Ive是被虚线框中的各个单元写入图像处理工作站109的预定存储区并从其中读取的数据。现在将利用图15中示出的流程图来概述在根据本发明第五实施方式的内窥镜检查辅助系统中进行的用户操作流程，以及在上述各个单元中进行的处理。首先，在使用内窥镜101对被检体的腹腔进行内部检查之前，通过用三维图像形成单元105将被检体的腹腔内部成像以形成三维医学图像V。在图像处理工作站109中，三维图像获取单元1 获得该三维医学图像V(#101)，并且病变位置识别单元125提取出在三维医学图像V中出现的病变区域，并识别该位置P1 (下文中也称之为病变区域P1,如在第一实施方式中所述的那样)(#102)，并且表面位置检测单元1 从三维医学图像V中检测出遮蔽结构的表面位置SF (#103)。如图15的流程图右侧所述，在病变区域P1的内窥镜手术中，即，在观察被检体的腹腔内部的过程中，实际内窥镜成像单元102在预定的帧速率下、通过插入到体腔中的内窥镜101重复地形成实际内窥镜图像Ike，并且所形成的实际内窥镜图像Ike以动画片的形式实时地显示在实际内窥镜图像显示器104中，直至观察结束(#113 =YES)。内窥镜位置检测单元111和处置工具位置检测单元112分别以预定的时间间隔，实时地重复检测插入到体腔内的内窥镜101和处置工具106的位置PSe和PSt。在图像处理工作站109中，实际内窥镜图像获取单元121获得由实际内窥镜成像单元102形成的实际内窥镜图像Ike(#104)。基本上与此同时，内窥镜位置获取单元122获得由内窥镜位置检测单元111所检测到的内窥镜位置PSe，将所获得的内窥镜位置转化成三维医学图像V的坐标体系中的位置，并输出所获得的内窥镜位置IV同时，处置工具获取单元123获得由处置工具位置检测单元112检测到的处置工具位置PSt，将所获得的处置工具位置转化为三维医学图像V的坐标体系中的位置，并输出所获得的处置工具位置 Pt (#105)。使用由三维图像获取单元IM所获得的三维医学图像V作为输入信息，虚拟内窥镜图像生成单元1 生成虚拟内窥镜图像Ive，该虚拟内窥镜图像Ive是在假定由内窥镜位置获取单元122所获得的内窥镜位置为视点的情况下，将多个视线上的图像信息中心投影到预定的投影面上而形成的图像(#106、#107、#109、#110、#111)。同时，交点检测单元127检测在假定路径(操作方向)与由表面位置检测单元1 检测到的遮蔽结构的表面 SF之间的交点PA，其中所述假定路径是在当处置工具从由处置工具位置获取单元123所获得的处置工具位置Pt处朝着由病变位置识别单元125所识别的病变位置P1移动时形成的 (#108)。然后，虚拟内窥镜图像生成单元128生成虚拟内窥镜图像Ive，其中交点Pa以可识别的方式显示在如下位置处穿过被交点检测单元127所检测的交点Pa的视线上的图像信息投影在该处(#109)。然后，显示控制单元1 使得由实际内窥镜图像获取单元121获得的实际内窥镜图像Ike以及由虚拟内窥镜图像生成单元128生成的虚拟内窥镜图像IVE，以叠加的方式显示在WS显示器110上(#112)。在图像处理工作站109中，重复如下步骤采集新的实际内窥镜图像Ike(#104)、同时采集内窥镜位置I3e以及处置工具位置Pt (#105)、生成虚拟内窥镜图像Ive (#106至#111)、 并更新实际内窥镜图像Ike和虚拟内窥镜图像Ive的叠加显示(#112)，直至观察到操作指示终止(#113 否)。接下来，将详细描述在图像处理工作站109的每个单元中进行的处理。实际内窥镜图像获取单元121是这样的通信接口 其通过与实际内窥镜成像单元 (数字处理器)102通信，从而接收实际内窥镜图像IKE，并将接收到的图像存储在图像处理工作站109的预定存储区中。根据实际内窥镜图像获取单元121的要求，从实际内窥镜成像单元102中转移实际内窥镜图像IKE。内窥镜位置获取单元122具有通过与内窥镜位置检测单元111通信而获得内窥镜位置的通信接口功能，并且还具有将所获得的内窥镜位置转换成内窥镜位置Pe (该位置用来自位置感测器108的三维坐标体系的三维医学图像V的三维坐标体系中的坐标值来表示)、并将内窥镜位置I3e存储在图像处理工作站109的预定存储区中的功能。在前者的通信接口功能中，根据内窥镜位置获取单元122的要求，从内窥镜位置检测单元111获得内窥镜位置PSE。在后者的坐标转换功能中，如果根据位置感测器的三维坐标体系的各坐标轴的方向与三维医学图像V的三维坐标体系的各坐标轴的方向之间的对应关系预先获得各轴的旋转量，并预先测量在被检体中的位置(其对应于三维医学图像V原点)在位置感测器108的三维坐标体系中的坐标值，以及根据原点的坐标值预先计算得到两个对应坐标轴之间的平移量，则可以使用进行了旋转量的旋转以及平移量的平移的矩阵，将在位置感测器108的三维坐标体系中所表示的内窥镜位置，转换为由三维医学图像V的三维坐标体系的坐标值所表示的内窥镜位置IV处置工具位置获取单元123类似于内窥镜位置获取单元122，具有用于通过与处置工具位置检测单元112通信从而获得处置工具位置的通信接口功能，并且还具有将所获得的处置工具位转换成内窥镜位置Pt(该位置用来自位置感测器108的三维坐标体系的三维医学图像V的三维坐标体系中的坐标值来表示)、并将处置工具位置Pt存储到图像处理工作站109的预定存储区中的功能。三维图像获取单元IM具有用于从三维医学图像形成单元105接收三维医学图像 V，并将所接收的图像存储在图像处理工作站109的预定存储区中的通信接口功能。病变位置识别单元125与第一至第四实施方式的病变位置识别单元14相同。表面位置检测单元1 通过采用已知的图像识别技术(与第一实施方式中一样) 的方法，或者通过检测从内窥镜位置I3e的中心投影中每个视线上的位置(像素值在预定阈值以上急剧改变的位置、或者像素值大于预定阈值的位置)，来检测遮蔽结构的表面SF。
16
交点检测单元127与第一至第四实施方式的交点检测单元16相同，不同之处在于处置工具位置Pt是从处置工具位置获取单元123获得的处置工具106的实际位置。虚拟内窥镜图像生成单元1 与第一至第四实施方式的投影图像生成单元17相同，不同之处在于由内窥镜位置获取单元122获得的内窥镜101的实际位置Pe作为视点， 通过中心投影生成投影图像，而不是沿视线VL的方向平行投影生成投影图像。S卩，虚拟内窥镜图像生成单元1 对应于投影图像生成装置。因此，图15中的步骤#106至#111与图3中的步骤#5至#10相同。S卩，通过虚拟内窥镜图像生成单元1 进行的视线方向光线投射与通过交点检测单元127进行的操作方向光线投射的组合，使得病变区域P1沿处置工具106的实际操作方向被平行投影到遮蔽结构的表面SF上，并使得通过从实际内窥镜位置1的中心投影，不同于遮蔽结构的表面SF的彩色信息的其它彩色信息被投影到虚拟内窥镜图像Ive的投影面上。显示控制单元1 生成这样的显示图像其中，实际内窥镜图像Ike和虚拟内窥镜图像Ive彼此叠加使得视野中心彼此对应，并且将该显示图像输出到WS显示器110。关于两个图像的叠加，可以使用已知的α共混法。图16示意性地示出该显示图像的例子，其中实际内窥镜图像Ike和具有较宽视野的虚拟内窥镜图像Ive叠加，并且沿操作方向投影在遮蔽结构的表面SF上的病变区域P1以可识别的方式在虚拟内窥镜图像Ive中显示为ΡΑ。如上所述，在本发明的第五实施方式中，使用由处置工具位置检测单元112检测的、并通过处置工具位置获取单元123进行坐标转换的处置工具106的实际实时位置Ρτ， 交点检测单元127确定了病变位置P1在该方向上被投影的操作方向，并且在通过内窥镜位置检测单元111检测的、并被内窥镜位置获取单元122坐标转换的内窥镜101的实际实时位置 作为中心投影的视点的情况下，虚拟内窥镜图像生成单元1 生成虚拟内窥镜图像 IVE。因此，其中通过实时反馈内窥镜位置检测单元111和处置工具位置检测单元112检测的内窥镜101和处置工具106的位置结果，就能够实时改变虚拟内窥镜的视野以及处置工具106进入遮蔽结构的位置Pa，从而连续生成虚拟内窥镜图像Ive，使得所谓的增强现实感显示器(augmented reality display)得以实现，从而动态且正确地辅助内窥镜手术。上述的实施方式仅是示例性目的，并不能理解为限制本发明的技术范围。应当理解的是，可以在不脱离本发明的精神的情况下，对上述的实施方式中的系统构造、硬件构造、处理流程、模块结构、用户界面、具体处理内容等进行的多种变型和改变也包括在本发明的范围内。例如，对于系统构造，可以在图1的系统构造中设置多个图像处理工作站3，并且处理可以被每个工作站共享。此外，在图13的系统构造中，图像存储服务器可以与LAN连接，由医疗设备105形成的三维医学图像V可以暂时存储在该图像存储服务器的数据库中， 并且响应来自图像处理工作站109的要求，可以将三维医学图像V从图像存储服务器转移到图像处理工作站109。对于硬件构造，除了上述的CT系统之外，图1中的医疗设备1和图13中的医疗设备105还可以是超声波诊断系统或MRI系统。图13中的内窥镜101可以是软性内窥镜或胶囊内窥镜而不是刚性内窥镜。此外，关于内窥镜位置检测单元111和处置工具位置检测单元112，可以使用磁性编码器，或使用在日本未审查专利公开No. 2005-21353中所述的陀螺编码器或旋转编码器。
此外，除了肝脏或腹腔之外，例如胸腔等的被检体区域可以作为检查区。在图像处理工作站3和109进行的处理中，三维医学图像获取单元11和IM可以被构造为在手术前或手术过程中获得三维图像V。这里，在第五实施方式的情况下，当在手术期间获得三维图像V时，可以在不使用内窥镜标记107a、处置工具标记107b和位置感测器108的情况下，通过已知的图案识别方法，由手术期间所获得的三维图像V来检测内窥镜 101和处置工具106的位置。此外，当在手术期间连续获得三维图像时，为了降低被检体受到的辐射量，优选的是使用超声波诊断系统作为医疗设备1或105。病变位置识别单元125可以适合于获得与三维图像V的辅助信息相关联的病变位直Pi fn息。交点检测单元16和127可以适合于将病变位置P1平行投影到等同于表面位置SF 的位置(例如，远离表面位置SF若干像素的位置)，而不是投影到表面位置SF。此外，不用将病变位置P1沿着操作方向平行投影到表面位置SF上，取而代之的是，交点检测单元16和127可以适合于计算直线(该直线连接着病变区域P1的中心和处置工具位置Pt并表示操作方向)与表面位置SF之间的交点Pa的位置，而投影图像生成单元17或虚拟内窥镜图像生成单元1 适合于在投影图像Ip或虚拟内窥镜图像Ive中的交点Pa位置处添加批注，例如箭头标记、圆圈标记、文字评述等。第一实施方式中的投影图像生成单元17可以适合于通过中心投影而生成投影图像IP。在这种情况下，设置用于手动设定视点位置的处理单元，以代替视线设定单元12。可以采用下列布置其中，在虚拟内窥镜生成单元128中进行在内窥镜位置获取单元122和处置工具位置获取单元123中所进行的坐标转换。


本发明使得可以容易地理解处置工具朝着被另一结构体遮蔽的结构体接近时的路径的状态。提供一种装置，其具有用于生成投影图像的单元，该投影图像是将多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点观察到三维医学图像中的第一结构体；用于在三维图像中设定处置工具的假定位置的单元；用于从三维医学图像中检测第一结构体的表面的单元；用于识别所述三维医学图像中的、位于被第一结构体遮蔽的位置处的第二结构体(如病变)的单元；用于检测在假定路径与第一结构体的表面之间的交点的单元，所述假定路径在处置工具从假定位置朝着第二结构体移动时形成，从而该单元以可识别的方式在如下位置处显示该交点连接视点和交点的视线上的图像信息投影在该处。