专利名称：外科手术机器人的合成表征的制作方法外科手术机器人的合成表征由机器人外科手术系统实施的微创外科手术是公知的并且其被经常用在远程或其他对于不需人来实施外科手术而言是有利的环境中。这种遥控机器人外科手术系统的一个示例是共有美国专利No. 7，155，315中描述的微创机器人外科手术系统。由加利福尼亚森尼维尔的直觉外科公司antuitive Surgical)制造的da Vinci 外科手术系统是微创机器人外科手术系统的说明性实施例(例如，遥控操作的；遥控外科手术的)。微创外科手术的常规形式是内窥镜检查术。微创医疗技术的内窥镜外科手术器械一般包括用于观察外科手术区域的内窥镜以及包括末端受动器的作用工具。典型的外科手术末端受动器包括例如夹具、抓握器、剪刀、缝制器或针保持器。作用工具是相似于常规 (开放)外科手术中使用的那些工具，但是除了每个工具的末端受动器被支撑在例如大致 12英寸长的扩展管的末端上。为了操纵末端受动器，人类操作者，一般是外科医生操纵或其他方式命令本地提供的主操纵器。来自主操纵器的命令被适当地转换并且被发送至远程使用的副操纵器。然后，副操纵器根据操作者的命令操纵末端受动器。微创机器人外科手术系统还可包括力反馈。为了提供这种反馈，远程副操纵器一般提供力的信息至主操纵器，并且这种力的信息被用来提供力的反馈至外科医生，以便作用在副操纵器上的感觉力的构想被提供给外科医生。在一些力反馈的实施方式中，触觉的反馈可以向外壳医生提供在作用工具及其末端受动器上组织反应力的人工感觉。主控制一般位于外科控制台处，其通常包括离合器或其他用于在病人位置释放多个作用工具中的一个的其他装置。该特征可用于在例如存在多于两个作用工具的系统中。 在这样的系统中，外科医生可通过一个主装置释放对一个作用工具的控制并且通过该主装置建立对另一作用工具的控制。外科医生一般仅能看到在内窥镜视场内的作用工具的远端的图像。外科医生看不到在视场范围之外的工具部分或者工具整体。因此，如果两个或两个以上工具在视场之外相互干扰，则外科手术医生是看不到的。此外，因为内窥镜可相对外科手术位置和外科医生主体参考系被操纵至各位置和方向，所以外科医生可能对工具的一般位置没有概念。结果， 外科医生不知道怎样最好地移动主操纵器，以避免中间工具的相互干扰或者相对外科手术位置对一个或多个工具重新取向。
以下展示了本发明的一些方面和实施例的简化概要，以便提供对本发明的基本理解。该概要不是本发明的外延的概括。其并不想要指明本发明的关键/决定性要素或勾画本发明的范围。其唯一目的是以简化形式将本发明的一些方面和实施例展示为将要展示的更详细的说明的序幕。在一个实施例中，提供了机器人外科手术系统。该系统包括机器人，所述机器人包括支撑至少一个用于在病人身上进行外科手术的工具的连杆；联接所述机器人的运动学部件，以便获得关于所述连杆的接合状态信息；显示器；以及将所述显示器与所述运动学部件联接的第一部件，以便显示所述机器人的合成表征，其包括基于与所述连杆有关的连杆结构数据和所述接合状态信息对所述连杆的至少一部分的图形表征。在另一实施例中，提供了机器人外科手术系统。该系统包括机器人，其包括具有视场的图像捕捉装置以及支撑至少一个用于在病人身上进行外科手术的工具的连杆；运动学部件，其被联接至所述连杆以便获得关于所述连杆的接合状态信息；关于所述第一连杆和所述至少一个工具的结构的数据；和碰撞检测部件，其被联接至数据和所述运动学部件以便产生警告。在另一实施例中，提供了控制机器人系统中工具的位置的方法。方法包括在显示器上显示第一图像，所述第一图像包括对于在视场内的机器人的工具或连杆的视频馈送； 在所述显示器上显示第二图像，所述第二图像表示所述工具或连杆的三维模型，其中所述第二图像中的三维模型对齐于所述工具或连杆的所述第一图像；并且参考显示器上的第一图像和第二图像移动输入装置以便控制所述工具或连杆的运动。在另一实施例中，提供了提供机器人系统的工具的运动范围的方法。方法包括显示表示所述工具的位置的第一图像；并且在所述第一图像上叠加显示所述工具的运动限制的第二图像。在另一实施例中，提供了机器人系统。方法包括保持与机器人系统的工具的位置有关的信息；并且由于所述工具处于距离所述工具的运动限制的阈值距离内而产生信号。在另一实施例中，提供了机器人外科手术系统。系统包括支撑至少一个用于在病人身上进行外科手术的工具的连杆的机器人；图像捕捉装置，其具有涵盖所述工具的视场； 运动学部件，其被联接至所述机器人，以便获得来自所述连杆的接合状态信息；显示器，其被联接至所述图像捕捉装置以显示视场；以及第一部件，其将所述显示器与所述运动部件连接，以便显示与显示呈现在视场中的工具上的信息，所述信息的位置基于关于所述连杆的连杆结构数据以及所述接合状态信息。在另一实施例中，提供了机器人系统中的方法。方法包括显示第一图像，所述第一图像包括对于在视场内的由机器人支撑的工具的视频馈送；以及显示包括所述工具的所述机器人的合成三维表征。在另一实施例中，提供了机器人系统中方法。该方法包括显示第一图像，其包括对于在视场内由机器人支撑的工具的视频馈送，其中所述第一图像由所述机器人的第一部分构成；并且显示包括所述工具的机器人的合成三维表征，其中所述合成三维表征包括大于所述第一部分的所述机器人的第二部分。在另一实施例中，提供了机器人系统中的方法，方法包括显示第一图像，其包括对于在视场内由机器人支撑的工具的视频馈送，所述第一图像由从第一方向观察的所述机器人的第一部分构成；并且显示包括所述工具的机器人的合成三维表征，其中合成三维表征是从第二方向观察的。图1示出包括微创遥控外科手术系统的手术室的俯视图。图2是图1的微创遥控外科手术系统的病人推车(patient cart)的正视图。图3是表示图1的微创远程外科手术系统部件的方块图。图4是表示图1的微创远程外科手术系统中使用的计算机部件的方块图。图5是主控制器的侧向透视图。图6是机器人的合成图像视图。图7是表示更新合成图像产生的过程的流程图。图8是由显示器提供的提供内窥镜的视场和支撑内窥镜的机器人的合成图像二者的视图。图9是显示观察机器人的合成图像的一部分的可替代角度的平面窗。图10示出两个工具碰撞的视场。图11是示出提供碰撞信息的过程的流程图。图12是表示丢失工具恢复的过程的流程图。图13示出通过包括机器人的合成图像的平铺窗口投影的视场。图14是表示利用建模部件显示信息的过程的流程图。
10
根据一个实施例，建模部件108根据由工具跟踪部件90和/或运动学部件92提供的信息来不断地对合成图像120的部件的位置和/或方向进行更新。例如，运动学部件 92的初始状态可以被确定成包括病人侧推车的一个或多个末端受动器的位置。这些位置可以与由工具跟踪部件90提供的位置信息做比较。如以上描述的，由工具跟踪部件90确定的实际位置与由运动学部件92提供的末端受动器的估计位置之间的差值可导致偏差，这可被存储在误差校正部件94中或以其他方式被其使用。该偏差可用于将由工具跟踪部件 90确定的末端受动器的位置和方向寄存为由运动学部件92估计的位置和方向。由于可以从工具跟踪部件90获取数据，所以末端受动器的实际位置可被跟踪并且被寄存为由运动学部件92提供的信息。当从工具跟踪部件90不可获取工具跟踪信息时，可作出这样的假设，即由运动学部件92提供的运动学信息中的任何改变均是对末端受动器实际运动的指示。即，当工具跟踪不可用时，末端受动器的位置可由当前位置和最后已知的位置(如通过运动学部件92计算的)之间的坐标位置的改变而被准确地确定。在此的假设是，位置的改变可以仅使用运动学数据而不使用工具跟踪信息被准确地计算。该假设是合理的，因为虽然运动学信息对于计算空间内末端受动器的位置通常是不准确地，但是一旦位置已知，对于计算位置的改变一般是准确的，特别是在较短时间段或者较小运动量的情况下。因此，非同步数据可通过工具跟踪部件90提供，并且同步数据可通过运动学部件92提供。该信息的组合提供了与病人侧推车40的部件的位置和方向有关的数据。可利用由运动学部件提供的接合状态来确定机器人臂组件的部件的位置。这些接合状态从末端受动器被反向计算，末端受动器的位置是已知的，如以上描述的。此外，因为在病人侧推车的机器人臂组件122的接合处的副编码器102针对每个接合提供了状态信息的改变，所以机器人臂组件的每个部段的相对位置可被准确地估计和跟踪。因此，信息能够被提供至建模部件108，这足以使得建模部件108通过利用建模数据104产生合成图像 120，其带有机器人臂组件122的每个部段的位置，其包括在机器人臂组件的端部处的工具 124或者在一个机器人臂组件的端部处的内窥镜126。再次参考图6，在一个实施例中，除了病人侧推车的合成图像120之外，还提供了内窥镜的视体130。视体130表示内窥镜126的视场的投影。视场是可由内窥镜观察到的视图，并且视体是视场边界的投影。即，视体130表示可由内窥镜1 观察的3-D空间。如果期望，如图4示出的，镜头信息132可被提供至建模部件108。镜头信息包括关于镜头的一组标定的本征和非本征参数。本征参数包括例如焦距和主点，这构造了光学透视图谱。此外，本征参数还解释透镜失真。非本征参数可解释例如立体内窥镜视图之间的相对位置和方向。如可被理解的，改变内窥镜的参数，例如焦距，将改变内窥镜的视体，例如使得视体变窄或变宽。此外，随着内窥镜126的移动，视体130也将相应移动。镜头信息允许产生来自图像捕捉装置的被叠加在末端受动器的立体视图上的3-D立体呈现(rendering)，如以下描述的。图7是表示根据一个实施例对合成图像120的呈现进行更新的过程的流程。在 401处开始，病人侧推车或其任意部分的位置和方向被感测。该感测可例如经由工具跟踪部件90和/或运动学部件92发生，如以上描述的。在402处，来自401的位置和方向信息被用来产生模型(例如，合成图像120)。如以上描述的，建模部件108使用建模数据104产生模型。由401提供的位置和方向信息被用于正确地设置合成模型的位置和方向，进而与病人侧推车的信息匹配。在404处，因为病人侧推车的移动，所以信息被接收。该移动可以是例如一个机器人臂组件的移动、内窥镜的移动、内窥镜焦点的改变或者一个末端受动器所导致的移动。末端受动器的移动可以是位置或方向的改变，包括例如闭合夹钳(pincher)或末端受动器的其他操作性运动。在406，做出了工具跟踪信息是否可用的确定。在图4中示出的实施例中，该确定是图像是否可用，以便可使用工具跟踪部分90来发现在内窥镜1 的视场(例如视体130) 内的末端受动器或工具的任何部分的实际位置。在一个方面，如果工具跟踪可用，则在406 分支到408，在此工具跟踪信息被用来对关于工具和/或末端受动器的位置和方向的信息进行更新。在410，运动学信息被用来对病人侧推车的机器人的每一个连杆的接合的位置和方向的信息进行更新。在412，如果期望则偏差也被更新。在414，合成图像120的显示被更新，并且过程分支返回至404。在406，如果工具跟踪信息不可使用，则过程分支到416，在此由运动学部件92提供的运动学信息被用来确定末端受动器的位置。然后，过程进行至410，并且然后继续该过程，虽然因为工具跟踪信息在该环路中不可使用，所以偏差将不被更新，跳过412。利用在图7中示出的方法，产生了合成图像120的3-D呈现，并且合成图像在整个外科手术过程期间在任意点处及时地准确表示了病人侧推车的物理配置。该信息能够被外科医生S或其他人利用并且观察，以评估病人侧推车的状态。如以下描述的，观察器34或显示器82可示出观察自与内窥镜的观察点相同的观察点或者观察自另一角度或距离的合成图像120。合成图像120使得能够经由观察器32观察病人侧推车的所有部件，因此允许外外科医生S监控机器人和工具的运动。此外，根据一个实施例，可以与视体130结合地观察这些部件，从而允许外科医生在空间上对于内窥镜的视场具有良好的理解。视体130提供了外科医生S在观看观察器32时正看到的情形的三维表征。如果期望，可提供单个显示器以同时显示内窥镜的视场和合成图像120。例如，如在图8中示出的，由观察器32或显示器84提供的视图200提供了内窥镜126的观察图像 202的实际视场和合成图像120 二者。合成图像120被示出在单独的平面窗204中。在图 8中示出的实施例中，视窗204具有与视场202近似相同的尺寸，但是如果期望，则平面窗可以大于或大于视场202。同样，如果期望，则可提供触发件或其他特征，以便外科医生可在较大表征的合成图像120或视场202之间来回切换。此外，或者连续地或者根据请求，合成图像120和/或平面窗204可被部分地叠加在视场的一部分上。作为在较大表征的合成图像120或视场202之间的来回触发的示例，可提供连接主操纵器的镜头控制器。例如，使用者可开始观察内窥镜视图并且可通过在镜头控制模式中朝向自己拉回他的手而将内窥镜拉回。在某处，内窥镜不能被更进一步地拉回，并且视场涵盖了最大区域。在主控制器(带有或不带有触觉探针或其他指示件)上继续拉回能够暴露示出合成图像120的沿真实图像(例如，在视场202内捕捉的图像)的边界的部段的视图。在主控制器(带有或不带有触觉探针或其他指示件)上拉回更多可提供这样的视图， 其中在视场202中捕捉的图像仅在屏幕的中间部段。在控制器(带有或不带有触觉探针或其他指示件)上再一步拉回可提供整个合成图像120。反向主控制器方向可用来反向这种真实-合成的缩小功能并且在功能上控制合成-真实的变焦。作为应用主操纵器运动来控制镜头的可替代实施例，系统可以被配置为使用其他控制输入(例如，脚踏板，操纵器上的手指按钮，主操纵器抓握器的滚轴及类似物)来控制变焦功能。图9示出了示出用来观察合成图像120的一部分的可替换角度的平面窗208。在所示出的实施例中，视体130从内窥镜的实际视场稍微倾斜，但是视体130的具体观察角度示出与工具IM相对于视体的配置有关的相关信息。合成图像120的特征向微创遥控外科手术系统20提供了许多其他的益处。一些优点被展示如下。碰撞检测一般地，在微创遥控外科手术系统中，仅是外科手术工具(例如工具124)的最远部分可在任何时间在内窥镜126的视场内被外科医生看见。根据病人侧推车的配置，可能的是机器人组件的运动部件之间的碰撞可能发生，但是在视场内对外科医生不可见。一些这种碰撞(“外碰撞”，因为它们在内窥镜206的视场之外)可发生在连接至工具的机器人臂组件的连杆之间，该碰撞可发生在两个工具之间或者可发生在工具和连杆之间。这种外碰撞可发生在身体之外或身体以内，但不在视场内。此外，外碰撞可发生在视场内的一个工具和视场稍外侧的另一工具之间。发生在身体内并且在内窥镜的视场内的碰撞是“内碰
+ic”
m ο根据一个实施例，由建模部件1 产生的合成图像120和/或信息可用来检测碰撞。作为一个示例，观察观察器32的外科医生或者观察显示器84的另一个体可观察到合成图像120，进而看到对于临近或实际碰撞的指示。碰撞检测可涉及多于一个的碰撞可视图像。关于机器人连杆和工具的相对位置的信息通过建模部件1 被保持，并且如果两个部件被感测到过于靠近彼此，则该信息可用来产生信号。例如，每个工具均可以被视为胶囊形状或圆柱形，在工具的表面外部具有具体的半径或缓冲区域。使用来自工具跟踪部件的实际位置信息和/或来自运动学部件92的运动学信息，建模部件108可预示或警告碰撞。例如，如果假设两个工具IM均具有半英寸的半径，那么如果一个工具的中心线进入第二工具的中心线的一英寸内，则建模部件108 可假设碰撞发生。如果两个工具被计算为互相靠近但不接触，则产生单独的信号。对于以上示例，该距离可以是例如1. 20英寸的工具之间的中心线距离。图10的底部示出显示器平面窗，其中真实视场图像250示出两个工具252、2M的碰撞。虽然图10中的碰撞处于视场250中，但是如以上描述的，碰撞可发生在视场之外甚至是病人的身体之外。即便是在视场以内，但工具252、2M仍不是一定可见的，因为它们可能由于烧灼烟雾、血液或器官而被阻挡。在图10中，在视场250中看到内碰撞，但是该内碰撞同样被建模部件108检测到。图10的顶部是表示合成图像120的显示器平面窗沈0。在图10示出的实施例中， 平面窗260从与视场250相同的观察点获取，但是可提供与以上描述不同的观察点。此外， 如以上描述的，外碰撞以及内碰撞可以被检测到。图11是示出根据一个实施例提供碰撞信息的说明性过程的流程图。该过程在 1100开始。在1102，产生了模型，例如合成图像120。该产生过程参考图7被描述。在1104， 病人侧推车的机器人被移动。在1105，机器人臂组件122的连杆和/或工具的靠近程度被计算。在1106，做出靠近程度是否在高阈值内的确定。高阈值表示得出碰撞警告时工具或连杆之间的空间。例如，如以上描述的，如果假设两个工具为具有半英寸的半径，则高阈值可以是1.2英寸的中心线间隔。如果病人侧推车的部件没有在高阈值内，则1106分支返回至1104，并且机器人继续移动。如果病人侧推车的部件处于高阈值内，然后1106分支到1108，在此产生了警告。 该警告可以是声音警告、可视警告(例如，被提供在观察器32内或显示器84上)或者其他对于碰撞靠近程度的适当指示。如果可视，则警告可以被显示在例如视场250(图10)中。 在图10中示出的实施例中，文字“内碰撞错误”被显示，指示了实际的碰撞。可替代地，对于警告消息，可提供说明工具过于靠近或者相似的消息。此外，对于合成图像120的视图， 工具124的颜色可改变以提供警告，例如从金属色改变至黄色以用于警告。外科医生可在警告在1108产生之后决定是否重新设置机器人。在任一种事件中， 过程进行至1110，在此机器人被再次移动。在1112，做出机器人是否在低阈值内的确定。在一个实施例中，低阈值指示出假设碰撞发生时的距离，例如中心线距离。如果低阈值没有被满足，则过程分支返回至1104并且继续循环，可能继续产生警告消息直到病人侧推车的部件被移动至1106的高阈值之外。如果部件处于低阈值内，然后1112分支到1114，在此产生了碰撞信息，例如碰撞警告或碰撞消息。作为一个示例，在图10中，碰撞错误警告被提供在视场250中。(接近碰撞警告和实际碰撞警告可使用相同或不同的指示)。相似的碰撞错误警告可被提供在平面窗沈0中，并且工具IM可改变颜色，例如改变至红色以示出碰撞错误。然后该过程循环返回至1104。如以上说明的，对于碰撞检测，部件不需处于观察器32的视场内。因此，当病人侧推车的部件没有被适当地对齐并且接近碰撞或者实际上碰撞时，可提供视觉形式或警告或错误消息形式的信息。警告可以在以下情况下是特别有帮助的，即使用者不熟悉机器人的操纵并且会将工具或机器人臂组件放置在不适当的位置。观察观察器32的人可以选择不同的机器人合成视图角度和距离，以便确定两个机器人操纵器之间的临近碰撞或实际碰撞点。一旦操作者观察到了碰撞点，则他或她可以调整机器人的一个或多个运动学臂(或被动的“设置”部分或主动控制的操纵器部分)，以矫正实际或临近碰撞情况并且避免进一步的碰撞。在一个方面中，如果操作者正在观察与内窥镜视场对应的合成视图，则如果碰撞警告或实际碰撞正在发生的话，合成视图可被自动改变为示出碰撞点。在一个实施例中，病人和/或病人组织结构的位置(例如，通过预手术成像或者通过寄存组织结构位置的其他适当方法获得的)被提供至该系统并且被寄存的病人位置数据可被用来检测、警告并且显示机器人和病人或者病人体内指定组织结构之间的实际碰撞或潜在碰撞。碰撞可被如以上描述的检测。同样，在一个实施例中，视觉的、声音的或者其他指示器可被提供来协助降低或矫正碰撞状态。例如，针对以上描述的警告情况，信息可被提供给外科医生，以协助外科医生避免碰撞。例如，视觉指示器可提供关于会发生碰撞的运动方向的信息，或者可为外科医生指示出避免或矫正碰撞所进行的运动方向。丢失工具的恢复在微创外科手术中，可能的是器械被放置在内窥镜镜头的视体之外。这种可能性可导致这样的情况，其中工具被完全地丢失，因为外科医生不一定知道如何移动内窥镜以将器械返回至视图中，或者如何将器械移动至内窥镜的视场内。此外，这种情况可威胁到病人的安全，因为外科医生能够移动他看不到的器械。合成图像120提供了该问题的解决办法，即通过给外科医生展示内窥镜视体130 的更广视图以及对于每个工具124的位置的精确描绘。这种更广的视图和工具描绘可由各种观察点提供。在一个实施例中，更广视图和工具描绘可由与内窥镜视场相同的观察点或方向提供。通过在该方向上提供较广视图，当外科医生观察真正的内窥镜图像并且移动工具到适当的位置以便工具返回到视体130内时，他或她将能够保持他或她通常经历的直觉工具控制移动。可替代地，视体130可从其他角度观察，从而允许外科医生具有与内窥镜 126观察到的不同的透视图。作为示例，图8和图9示出可被示出用于合成图像120的三个不同的视图，它们取自不同的角度和平面。虽然图8下部示出实际的图像，但是合成图像 120可从相同的方向被提供，并且将看起来是相似的，除了合成工具代替实际工具的视频被示出。由视场建立的视图被示出在图8的下部并且自合成图像的前侧获取的视图(被向外放大以示出大部分病人侧推车)被示出在图8的顶部。从内窥镜的视场的稍微向后并且向上方向获取的并且向外放大以示出视体130的视图被显示在图9中。这种在视图中的小变化提供了工具1 相对视体130的位置的良好观察。外科医生可在与视场一致的视图和偏离视场的视图(如在图9中示出的)之间进行切换。为此目的，控制器或其他装置被提供， 以允许外科医生在合成图像120的不同视图之间切换。可替代地，单独的控制器或主控制器可被利用以允许合成图像120的无限定位(例如，各种摇移、倾斜、滚动、移动、小推车式、 摄影升降式和变焦的图像运动)。图12是根据一个实施例的表示丢失工具恢复过程的流程图。过程开始于1200。 在1202，产生合成图像120，如以上描述的。在1204，病人侧推车或机器人被移动。在1206，做出一个或多个工具是否在视场之外的确定。如果没有，则过程循环返回至1204。如果一个或多个工具在视场之外，然后过程可移动至1208，在此合成图像被示出。合成图像可被自动示出或者不被自动示出；合成图像显示可由外科医生选择。为此目的，1208可通过外科医生或另一操作者的请求而被完成，并且可通过在视场外的工具触发或者不被触发。然而，如果期望，合成图像可由于工具图像的损失而被自动示出。然而在这种实施例中，期望的是除在视体内之外还在平面窗中示出合成图像，而不是让外科医生看不到视场。如果可使用失去的工具显示选项，则可以在1208处请求或者其他方式提供合成视图120。在1208被提供的合成图像可以如以上描述的是基本与内窥镜1 的视场相同， 或者是任意数目的模型系统透视图。如果期望的角度未被示出，则外科医生可在1210选择以示出不同视图。如果外科医生选择示出不同的视图，则1210分支到1212，在此合成图像 120例如被旋转以示出不同的视图。如果期望，作为该运动的一部分，合成图像可在空间上旋转以便外科医生可了解视图相对将要到达的位置的起始位置。此外，根据一个实施例，当合成图像120的视图与视场的相同观察点不一致时，一个警告消息或者其他指示可被提供至外科医生，以便外科医生可理解他或她正在以不同于视场方向的一个方向观察视体130。如果在1210外科医生没有请求不同的视图，那么过程循环返回至1204。如以上描述的，合成图像120提供了比视体130大并且在其之外的病人侧推车的图像。因此，即便是沿与内窥镜1 的视场相同的观察点获得，外科医生仍可以向外放大以便可以看到恰在视体130之外的工具。然后外科医生移动这些工具或内窥镜至期望的位置以便它们处于视场内。混合的视频和呈现的视图。如以上描述的，存在多种方式来使得系统展示机器人的合成图像至外科医生。相对图8描述的第一选择包括平面窗204，其示出视场图像202之上的合成视图，这两者被同时示出。另一选择，如在图9中示出的，仅示出了合成图像120。根据一个实施例，提供了第三选择，其中来自内窥镜的视频显示被叠加在合成图像120上，它们的位置互相匹配，以便视频图像在整个病人侧推车的合成图像120的背景中被呈现。该视图为外科医生提供了病人推车的部件的相对位置，并且允许外科医生理解外科医生相对于空间的位置。该视图当在纯视频显示和纯合成图像120之间过渡时也是非常合适的。在过渡期间，外科医生能够从内窥镜关联机器人和视频图像的相应位置。该特征的简化版本被示出在图13中，其中视场300内的图像被投影在平面窗306 上，其包括合成图像120。视场图像300包括实施手术的两个工具302、304。平面窗306扩展由视场300提供的视图，并且提供了工具302、304的额外部段(分别由附图标记308、310 指示)。外科医生可缩小和放大来提供与工具相对病人侧推车其他部分的位置有关的额外信息。此外，相对于图13中示出的实施例描述的特征可被用来寻找恰在视场之外的，例如在平面窗306中但不在视场300内的丢失的工具。视觉故障指示器根据一个实施例，替代或者补充合成图像120，建模数据104可被用来投影图像而不是病人侧推车的各部分的视觉表征。例如，使用由工具根据部件90和/或运动学部件92 提供的位置信息，建模部件108可以以不同颜色显示合成图像120的一部分，或者它在合成图像的一部分上显示文本或者显示文本来替代合成图像。在这种实施例中，文本可被叠加在视场中的实际工具上，以便将注意力聚到那个工具上或者提供其他信息。作为一个示例， 对于图13中的工具304，建模部件108可被用来显示文本消息“关闭”320，其被组合在工具 304的视频图像之上以指示出工具的夹钳关闭。以上描述的镜头信息允许产生3-D立体呈现，且其被叠加在来自图像捕捉装置的工具304的立体视图上。错误消息也可以被提供。图14是根据一个实施例表示用来显示利用建模部件108的信息的过程的流程图。 在1400开始，病人侧推车的部件的位置被确定，例如，工具124的位置。在1402，建模部件 108与工具对齐，如以上描述的。在1404，期望的信息被显示在工具上。例如，如以上描述的，文字可被显示在工具上。此外，如果期望，信息可围绕或邻近工具或其他特征被显示。如能够被理解的，为了在视场内在实际工具上叠加消息，建模数据104仅需包括关于工具外周的信息。病人侧推车的其他部件在该实施例中是不需要的。通信协助合成图像120在提供病人侧推车的操作的远程图像中是有用的。例如，在一些情况中，远离病人侧推车的个体可能期望观察病人侧推车的操作。在这种情况中，合成图像 120可在观察器32和远程显示器(例如，显示器84) 二者处被呈现。在这种情况中，根据一个实施例，所有建模数据可以均被保持在同一位置，且合成图像120被发送至处于远程位置以便在该远程位置处显示。
在可替代实施例中，由工具跟踪部件90和/或运动学部件92提供的位置和方向信息可被发送至远程计算机。远程计算机又包括建模部件108和建模数据104。在该实施例中，合成图像120与产生用于观察器32的合成图像120相分离的操作中在远程位置产生。能够在远程位置提供合成图像120允许外科医生观察外科医生的控制台，以便与观察助手监控器的外科助手交流。此外，在一个外科医生控制台处的实习外科医生可与在另一外科医生控制台处的远程监考交流。根据另一实施例，远程使用者或监考可以具有用于移动合成图像(例如合成图像 120)的控制器。合成图像的移动可通过在外科医生控制台处的外科医生或学生被观看，从而允许使用者学习外科手术过程和动作，并且通过外科医生或学生的控制器来模仿这些动作。动作限制范围病人侧推车的机器人臂组件的连杆具有有限的运动范围，从而限制由每一个臂或连杆支撑的工具的运动。当用于病人的机器人遇到运动范围限制时，对于(新手或有经验的)外科医生而言通常总不明白为什么机器人不能继续运动。在遥控外科手术系统中，一般存在运动限制范围的两个来源主操纵器的接合限制和副操纵器的接合限制。根据一个实施例，建模部件108产生信号以指示正在接近的工具的运动范围限制。该信号可被用于例如产生对外科医生的视觉提示，例如对于已经达到限制的部件进行颜色编码。可替代地，限制可被表示为使用合成几何形状作为虚拟壁340 (图6)，且其与合成模型120 —同被示出，或者限制可替代地被叠加在视场上。虚拟壁340是对于最右侧的工具IM而言的，并且它可被示为凹形、平面或者其他形状以匹配运动范围的曲率。虚拟壁 340被显示在垂直于器械尖端的阻碍运动方向的位置和方向上。其他变型均在本发明的精神内。因此，尽管本发明易于被修改为多种变型和可替代的机构，但是关于其的某些的图示说明的实施例被示出在附图中并已经在以上详细地描述。然而，应该理解不试图将本发明限制在具体公开的形式中，相反，本发明覆盖所有变型、 可替代结构和如在权利要求中限定的落在本发明的精神和范围内的等价物。本文引用的所有参考，包括公开、专利申请和专利，均以相同的程度通过引用被结合，就像每个参考文件均被独立且具体地指示为通过引用被结合并且在此以其整体被展
7J ο在本发明描述的上下文(特别是在权利要求的上下文)中，术语“一”、“一个”、 “该”和类似指代被构造为覆盖单数和复数二者，除非在此指示或者通过文本明确地限定。 术语“包括”、“具有”、“包含”和“涵盖”被构造为开放式的术语(即，意为“包括但不限于”)， 除非有其他注明。术语“连接”被构造为部分或整体地包含在、附接至或结合一起，即便存在干扰。本文的值的引用范围仅仅想要作为单独指代落在该范围内的每个独立值的简便方法，除非在本文另有说明，并且每个独立的值被结合到说明书中，就像其被单独地引用一样。所有在本文中描述的方法可以任何适当的循序实施，除非另有说明或者通过文本另有明确限定。使用这里提供的任何和所有示例或示例语言(例如，“例如”)仅仅是想要更好地说明本发明的实施例并且不打算在本发明的范围上施加限制，除非另有说明。说明书中的没有任何语言应被构造为指示出任意未被权利要求保护的元件是本发明实践中的重要部件。 本发明的优选实施例在本文中被描述，包括本发明人已知的实施本发明的最佳方式。那些优选实施例的变型对于阅读以上描述的本领域的技术人员来讲是明显的。本发明人期望技术人员适当地使用这些变型并且本发明人希望本发明以不同于本文今天描述的方式被实践。因此，本发明包括被所实践的法律允许的在权利要求中引用的主题的所有修改和等价物。此外，在其所有可能的变体中的上述元件的任何组合被包括在本发明中，除非在本文中另有说明或者文本另有清楚限定。


本发明涉及一种在机器人系统的用户界面上显示的机器人工具的合成表征。合成表征可用于相对机器人显示图像捕捉装置的视体的位置。该合成表征还可被用于寻找在视场之外的工具，从而显示工具的运动限制范围，与所述机器人远程通信，并且检测碰撞。