专利名称：用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释的制作方法当前，外科医生使用用于对小组织区域进行手术的许多手术间诊断设备及外科手术设备和/或治疗设备，例如，腹腔镜超声设备和/或射频(RF)消融设备。外科医生通过视频馈送观察设备相对于解剖结构的位置。在诊断装置的情况下，外科医生必须记录该位置和成像结果并随时间推移利用解剖结构跟踪该位置。随时间推移，外科医生为了介入或检查会想要再访特定解剖结构。如果外科医生记不起或不确定与特定区相关联的先前诊断图像的位置或内容，则诊断设备可能必须被再引入到手术场，这会耗费时间。在外科手术设备的情况下，外科医生必须相对于一些可见标志给已经治疗的区绘图。这在治疗处于目标组织内部或不改变组织的外观时是困难的。要避免遗漏的治疗位置、过度治疗的治疗位置或不正确的治疗位置。外科医生可以选择检查或治疗可以稀疏地定位的多个解剖区域，例如10个标志。这在已具有挑战性的微创过程中给外科医生增加了认知负担。此外，解剖结构可能自然地或由于介入本身而扭曲或改变颜色，这增加了跟踪相关标志和相关联的手术间信息的困难。例如，在玻璃体视网膜外科手术的情况下，用眼内成像探针询问视网膜是非常罕见的。然而，在发现新的实时的手术间成像模态(自聚焦(GRIN)透镜内窥镜、光谱学、超声、光学相干断层扫描(0CT))、兼容探针和多功能装置的情况下，新的外科手术技术会是可能的。这些新的技术使组织以非常接近的距离和非常小的体积来成像。最终的数据被稀疏地定位，从而需要外科医生利用显微镜视图中的对应的解剖位置跟踪多扫描或图像，这给已具有挑战性的外科手术任务增加了明显的认知负担。这在由于外科手术处理、流血、生物标记、肿胀以及视场、照明方法和/或方向及眼内流体条件的内在变化而造成的改变的解剖结构的情况下会变得更困难。因此，仍需要用于外科手术干预的改善的视觉跟踪和注释系统及方法。
根据本发明的一些实施方式的一种用于外科手术干预的视觉跟踪和注释系统具有图像获取和显示系统，该图像获取和显示系统被布置成获得关注的外科手术区域的图像流和与关注的外科手术区域接近的外科手术装置的图像流并向用户显示获取的图像；跟踪系统，该跟踪系统被配置成相对于关注的外科手术区域跟踪外科手术装置；数据存储系统，该数据存储系统与图像获取和显示系统以及跟踪系统通信；以及数据处理系统，该数据处理系统与数据存储系统、图像获取和显示系统以及跟踪系统通信。数据处理系统被配置成响应于来自用户的输入信号对显示给用户的图像进行注释。根据本发明的一些实施方式的一种用于外科手术干预的视觉跟踪和注释方法包括获取关注的外科手术区域的图像和与关注的外科手术区域接近的外科手术装置的图像，相对于关注的外科手术区域跟踪外科手术装置、以及显示关注的外科手术区域和外科手术装置。显示包括响应于来自用户的输入信号增加的注释。根据本发明的一些实施方式的一种计算机可读介质包括用于外科手术干预的视 觉跟踪和注释的软件的非瞬态存储器，当被计算机系统执行时，该软件包括处理关注的外科手术区域的图像数据和与关注的外科手术区域接近的外科手术装置的图像数据以提供关注的外科手术区域的图像和外科手术装置的图像；处理图像数据以相对于关注的外科手术区域跟踪外科手术装置；处理图像数据和来自用户的输入信号以对图像进行注释；以及显示具有该注释的关注的外科手术区域的图像和外科手术装置的图像。结合描述、附图和示例，另外的目的和优点将变得明显。图I是根据本发明的实施方式的用于外科手术干预的视觉跟踪和注释系统的示意图。图2示出了根据本发明的实施方式的用于外科手术干预的视觉跟踪和注释系统的显示的图像的示例。图3示出了根据本发明的实施方式的外科手术装置的实施方式。图4示出了根据本发明的实施方式的具有集成的光纤OCT探针的显微外科拣选器(pick)的CAD侧视图(左上)；实际原型的图片(左下)；使用原型的样本的A扫描数据(右)。图5左侧提供了根据本发明的实施方式的外科手术系统的示意图。右侧示出了轴向OCT扫描数据。图6是根据本发明的实施方式的外科手术装置的示意图。图7示出了根据本发明的实施方式的包括外科手术装置和手持机器人的外科手术系统。图8是根据本发明的实施方式的外科手术系统的示意图。
各个注释可以被外科医生增加至集合或被移除。注释基于其时间性质可以具有多个状态注释的相关联的解剖结构是可见的(闭塞，来自工具)、过程导致的变形还是一定量的自然变化。这些状态可以用颜色、强度、可见度或文本注释来表示。注释本身可以是点、线、区域、体积、文本注释、与装置的形状对应的图像、或成像区或体积的形状的形式。这些注释可以基于标志、组织类型(从手术时成像本身被询问或治疗的组织的基本性能)、或设备类型产生或者是特定的或者是上下文的内在关系。在本发明的一些实施方式中，来自多设备的信息可以被注释在同一视频上。本发明的一些实施方式可以包括用户接口，诸如踏板、计算机鼠标、触摸屏、语音识别输入端，或者其可链接至被使用的装置上的传感器活动级别。在一些实施方式中，可以包括在视频中的装置的姿态识别。此外，根据本发明的实施方式，视频中的工具位置跟踪可以使系统能够从简单传感器提供较丰富的信息。本发明的实施方式可以包括手术时光学相干断层扫描(0CT)，其中系统根据A扫描产生B扫描图像并根据视频工具跟踪模块产生对应的姿势估计。例如另外的实施方式可以将这样的方法扩展至像立体C扫描这样的信息表
/Jn ο本发明的一些方面包括但不限于以下I.跨图像流(视频)相对于解剖结构获取注释。我们用传感器流数据注释解剖结构(即，器官)上的位置。2. “信息融合”:传感器数据是可以在视频上相关联的序列数据或相对于解剖结构空间上跟踪的姿势序列。在关注的区域上移动的传感器位置可以被跟踪，并且该时间同步的工具位置可以与工具传感器数据流组合以通过视频序列产生图像。例如，被转换成B扫描和/或M扫描数据的A扫描流。3.注释的检查可以包括用户与注释交互。简单的交互可以包括通过用跟踪的工具点击、或通过其他的输入(声音、踏板等等)来选择“有效”注释。较复杂的交互可以指出装置在注释本身当中的什么地方。4.传感器流可以在多视频图像序列上被关联。
图I提供了根据本发明的实施方式的用于外科手术的视觉跟踪和注释系统10的示意图。视觉跟踪和注释系统10包括图像获取和显示系统12，该图像获取和显示系统12被布置成获得关注的外科手术区域的图像流和与关注的外科手术区域接近的外科手术装置的图像流并向用户显示获取的图像。图像获取和显示系统12可以包括光学部件，诸如但不限于例如外科手术显微镜、以及内窥镜和/或摄像机。图像获取和显示系统12也可以包括一个或更多个显示器，诸如但不限于视频显示器或头戴式显示器。视觉跟踪和注释系统10还包括跟踪系统14，该跟踪系统14被配置成相对于关注的外科手术区域跟踪外科手术装置；数据存储系统16，该数据存储系统16与图像获取和显示系统12及跟踪系统14通信；以及数据处理系统18，该数据处理系统18与数据存储系统16、图像显示系统12和跟踪系统14通信。数据处理系统18可以包括一个或更多个个人计算机的处理器，例如，该处理器可以如特定应用所需要的是本地的、集群式的和/或分布式的。在本发明的一些实施方式中跟踪系统14可以在计算机上实现并且可以使用常规上可获得的图像识别算法和跟踪算法。在一些实施方式中，跟踪系统可以在数据处理系统18上实现，或者跟踪系统在其他的实施方式中可以是独立的系统。可以根据特定的应用从广范围可获得的数据存储设备中的一个或多个选择数据存储系统16。数据处理系统18被配置成响应于来自用户的输入信号 对显示给用户的图像进行注释。根据本发明的一些实施方式，视觉跟踪和注释系统10也可以包括用户输入设备20，该用户输入设备20与数据处理系统通信以提供输入信号。根据本发明的一些实施方式，输入设备20可以是但不限于一个或更多个踏板、小键盘、开关、麦克风、眼睛跟踪系统或外科手术装置。在本发明的一些实施方式中，数据处理系统18可以被配置成对显示给用户的图像进行注释以包括外科手术装置的位置或轨迹的至少一个。图2示出了根据本发明的实施方式的用标注为A、B和C的三条OCT路径注释的图像的示例。图2也示出了响应于用户对外科手术装置的放置所显示的OCT M-模式数据的画中画。这只是可以包括在本发明的各个实施方式中的广范围可能的注释中的一个示例。本发明的广义概念不限于该特定示例。在一些实施方式中，数据处理系统18可以被配置成对显示给用户的图像进行注释以显示来自数据存储系统的与外科手术装置的位置对应的信息。例如，图2中的M-模式数据用OCT设备通过扫描来捕获，并且当OCT设备放置在先前被扫描的路径上时图2中的M-模式数据从数据存储系统16中被再调用以显示。在本发明的一些实施方式中，用户输入设备20可以是适合于被跟踪系统跟踪的外科手术装置。外科手术装置可以包括被构造并布置成提供与关注的外科手术区域的局部部分相关的数据流的传感器系统，并且可以与数据存储系统通信使得被外科手术装置获得的数据可以被保存用于以后检索。在本发明的一些实施方式中，传感器系统可以包括光学传感器系统、超声传感器系统、或力感测系统中的至少一个。根据本发明的一些实施方式的外科手术装置可以允许同时成像和外科手术干预功能性集成到单个装置中。根据本发明的实施方式，可以通过装置的在光学传感器的视场中可见的参考部分来实现装置登记到光学传感器。此外，根据本发明的其他实施方式，多成像探针可以被集成到装置中用于增大的成像体积、多成像方向、增大的分辨率，或用于提供其他类型的用于同时多模态成像功能性的成像。在一些实施方式中，多成像点探针(多芯纤维、或多纤维束)可以改善工具端部到光学传感器的登记。图3中示出了根据本发明的实施方式的外科手术装置100。根据本发明的一些实施方式，这样的外科手术装置可以被用作用户输入设备20。外壳手术装置100包括具有近端104和远端106的外科手术工具102，以及具有附接到外科手术工具102的至少一部分的光学传感器。在图3中，不是直接可见的光纤沿着外科手术工具102内的腔延伸并附接至外科手术工具102。光纤被包在保护性线缆108内，在该示例中，该保护性线缆108具有标准的纤维耦合器110。如我们在图4中可以更清楚地看到的，外科手术工具102具有适合于提供外科手术工具102的参考部分112的部分。光学传感器114 (见图5)具有相对于外科手术工具102的参考部分112固定的端116，使得外科手术工具102的参考部分112可以与在使用时与外科手术工具102的远端106接近或接触的组织118 —起被检测到。在图3的示例中，以可以通过纤维耦合器110连接至光学传感器的剩余部分的一部分示出了外科手术装置100。在图5的示例中，光学传感器114是光学相干断层扫描(OCT)系统。在其他的实施方式中，在本发明的广义概念内，我们可以将多于一个的OCT或 其他类型的光学传感器包括到外科手术装置100中。另外，尽管对于许多应用将光学传感器114的大部分设置在如图3至图5的示例中示出的工具的外部是有利的，但是本发明的广义概念还包括整个传感器或多个传感器包括在外科手术工具内的实施方式。图5的实施方式中的光学相干断层扫描系统包括提供光学传感器114的固定端116的单模式光纤，单模式光纤被布置成将光导向到外科手术工具102的参考部分112和与外科手术工具102的远端106接近或接触的组织118 二者，并检测从外科手术工具102的参考部分112和组织118 二者反射回来的光以提供与外科手术工具102的远端106到组织118的选定部分的相对距离相关的信息。术语“反射回来”意在具有广泛意义，包括镜面反射和散射二者，只要光被反射回来。另外，术语“光”意在具有广泛含义，包括可见光和对于人类不可见的光(诸如红外光(IR)和紫外光)。在本发明的一些实施方式中，例如，OCT系统可以利用IR源以提供与可见光相比对组织的明显较大的穿透深度。本发明的一些实施方式例如可以在OCT系统中包括宽带源(见图6)。然而，本发明的总体概念不限于光学传感器114中使用的光源的特定类型。已经发现频域OCT检测系统适用于本发明的一些特别应用；然而，本发明的总体概念不排除时域OCT系统的使用。此外，光学传感器的一些实施方式可以没有光源而依靠环境光源或外部光源。可替代地，或者除作为光学传感器114示出的OCT系统之外，光学传感器114可以是或可以包括视觉成像系统。例如，光学成像系统可以包括光纤或一束光纤以对外科手术工具102的参考部分112和与外科手术工具102的远端106接近或接触的组织118同时成像。在一些实施方式中，外科手术工具102可以例如是适合眼外科手术中使用的拣选器。然而，本发明的总体概念不限于外科手术工具的特定类型。可以想象到适合用于外科手术工具102的广泛类型的外科手术工具，诸如但不限于拣选器、镊子、刀、光传输设备、剪刀、注射器、玻璃体切除工具或其他的显微外科工具。外科手术工具适于集成到诸如在图5中由外科手术系统200不出的或在图7中由手持机器人300不出的机器人系统中。在本发明的实施方式中，投射在组织上的激光可以被用来方便视觉跟踪或改善用户交互。在一些实施方式中，传感器相对于工具的体的位置是已知的，所以可以通过工具跟踪来跟踪传感器位置。
图8是根据本发明的实施方式的可以包括视觉跟踪和注释系统的外科手术系统400的示意图。外科手术系统400包括外科手术装置402、与外科手术装置402通信的数据处理器404，以及与数据处理器404通信并被布置成在外科手术过程中向外科医生显示信息的显示系统406。根据本发明的一些实施方式，外科手术装置402可以例如是如以上描述的外科手术装置100。在图8的示例中，外科手术装置402具有专用数据处理器，诸如OCT个人计算机(PC)408。然而，本发明的广义概念不限于仅在图8中示出的特定结构。例如，数据处理器可以执行用于外科手术系统400的OCT系统和用于外科手术系统400的其他部分的处理。外科手术系统400也包括机器人系统410。机器人系统410可以例如具有专用数据处理器412，或者机器人系统410可以例如与OCT处理器一起包括在单个多用途处理器上。一般应认为数据处理器404包括一个或更多个数据处理器，包括一个或更多个远程处理器。外科手术系统400示出了作为显示系统406的示例的视频显示器。然而，本发明的总体概念不限于该特定示例。显示器可以是或包括头戴式显示器、用于传达信息的触觉设备或音频设备和/或向外科医生提供信息的装置。机器人系统400可以是但不限于例如稳手(steady-hand)机器人系统或手持机器人系统。在本发明的一些实施方式中，数据处理器404可以被配置成基于外科手术装置的远端到组织的相对位置的值来提供警告信号或反馈 响应信号的至少一个。在本发明的一些实施方式中，数据处理器404可以被配置成基于外科手术装置的远端与组织的相对距离或装置的位置中的至少一个的值来向机器人系统提供反馈响应信号，使得机器人系统提供反馈响应。示例以下是根据本发明的一些实施方式的视觉跟踪和注释系统的使用的几个示例。提供这些示例用于说明而不意在限制本发明的广义范围。玻璃体视网膜外科手术(VitroRetinal Surgery) 外科医生将OCT探针放在关注区的附近。 当脚踏板被按压(或语音命令致动)时，外科医生将探针扫过关注区。 相对于组织跟踪扫描的位置，并通过视觉的和/或外部的工具跟踪将扫描的位置投射在视频馈送上。时间同步的传感器数据流与该路径相关联。 从这时开始，标记的解剖区被跟踪从而被注释。 外科医生可以选择产生另外的扫描或研究再检查现有的扫描。 外科医生可以口头请求使用外科手术工具重新检查“扫描数3 ”或悬停在“扫描数3”上。本说明书中示出并讨论的实施方式仅意在将本发明人所了解的用于完成并使用本发明的最佳方式教导给本领域内技术人员。在描述本发明的实施方式中，为了清楚起见使用了特定术语。然而，本发明不意在限于所选定的特定术语。鉴于以上教导，本领域内技术人员应理解，在不脱离本发明的情况下可以修改或改变本发明的上述实施方式。因此应理解在权利要求及其等同内容的范围内，本发明可以以除所具体描述之外的方式来实施。


一种用于外科手术干预的视觉跟踪和注释系统包括图像获取和显示系统，该图像获取和显示系统被布置成获得关注的外科手术区域的图像流和与关注的外科手术区域接近的外科手术装置的图像流，并向用户显示获取的图像；跟踪系统，该跟踪系统被配置成相对于关注的外科手术区域跟踪外科手术装置；数据存储系统，该数据存储系统与图像获取和显示系统以及跟踪系统通信；以及数据处理系统，该数据处理系统与数据存储系统、图像获取和显示系统以及跟踪系统通信。数据处理系统被配置成响应于来自用户的输入信号对显示给用户的图像进行注释。