专利名称：利用距离传感器的碰撞避免和检测的制作方法利用距离传感器的碰撞避免和检测本发明总体涉及包括由内窥镜机器人操纵的内窥镜的微创外科手术。本发明尤其涉及利用距离传感器避免和检测内窥镜与身体的解剖区域之内的对象的碰撞以及重建由内窥镜成像的表面。通常，微创外科手术使用内窥镜，内窥镜是具有成像能力的长的柔性或刚性管。当通过自然孔口或小切口插入到身体中后，内窥镜提供感兴趣区域的图像，该图像可以在外科医生执行手术时通过目镜或在屏幕上进行观察。对外科手术来说重要的是图像之内的(多个)对象的深度信息，其将使得外科医生能够推进内窥镜，同时避开所述(多个)对象。然而，内窥镜图像的帧是二维的，因此外科医生可能不能够感知在图像的屏幕快照中观察到的(多个)对象的深度。更具体而言，刚性内窥镜被用于在主要类型的微创流程期间提供视觉反馈，这些微创流程包括，但不限于，用于心脏手术的内窥镜流程、用于腹部的腹腔镜流程、用于脊骨的内窥镜流程以及用于关节(例如，膝盖)的关节镜流程。在这样的流程期间，外科医生可以使用活动的内窥镜机器人自主地或者根据外科医生的命令移动内窥镜。在任一种情况下，内窥镜机器人应该能够避免内窥镜与患者体内的感兴趣区域之内的重要对象的碰撞。对于涉及操作部位实时变化(例如，在ACL关节镜检查期间由于去除受损韧带、修复半月板和/或开钻通道而导致的膝盖的实时变化)的流程，和/或与术前成像相比患者身体在手术期间的不同定位(例如，膝盖在术前计算机断层摄影期间是直的，而在手术期间是弯曲的)而言，这种碰撞避免可能是困难的。本发明提供了一种利用来自单目内窥镜图像的内窥镜视频帧和单目内窥镜图像之内的对象的距离测量结果来重建由内窥镜观察到的对象的表面的3D图像从而便避免和检测内窥镜与对象的任何碰撞的技术。本发明的一种形式是一种采用内窥镜和具有内窥镜机器人的内窥镜控制单元的内窥镜系统。在操作中，随着内窥镜被内窥镜机器人推进至身体的解剖区域之内的目标位置，内窥镜生成解剖区域的多幅单目内窥镜图像。另外，内窥镜包括一个或多个距离传感器，其用于随着内窥镜被内窥镜机器人推进至目标位置而生成内窥镜与单目内窥镜图像之内的对象之间的距离的测量结果(例如，到膝盖的单目内窥镜图像之内的韧带的距离)。为了避免或检测内窥镜与对象的碰撞，内窥镜控制单元接收单目内窥镜图像和距离测量结果以根据距离测量结果重建在单目内窥镜图像之内的对象的表面的三维图像。本发明的第二种形式是一种内窥镜方法，其包括由内窥镜机器人将内窥镜推进至身体的解剖区域之内的目标位置以及随着内窥镜被内窥镜机器人推进至解剖区域之内的目标位置而生成解剖区域的多幅单目内窥镜图像。为了避免或检测内窥镜与单目内窥镜图像之内的对象(例如，膝盖的单目内窥镜图像之内的韧带)的碰撞，该方法还包括随着内窥镜被内窥镜机器人推进至目标位置而生成内窥镜与对象之间的距离测量结果，以及根据距离测量结果重建在单目内窥镜图像之内的对象的表面的三维图像。图1图示了根据本发明的内窥镜系统的示例性实施例。图2图示了根据本发明的内窥镜的远端的第一示例性实施例。图3图示了根据本发明的内窥镜的远端的第二示例性实施例。图4图示了根据本发明的表示碰撞避免/检测方法的示例性实施例的流程图。图5图示了根据本发明的关节镜手术的示意图。图6图示了在图5所图示的关节镜手术期间图4所图示的流程图的示例性应用。图7图示了根据本发明的表示对象检测的示例性实施例的流程图。图8图示了根据本发明的两个人造膝盖图像的示例性立体匹配。如图1所示，本发明的内窥镜系统10采用用于任何可用类型的医学流程的内窥镜20和内窥镜控制单元30。这样的医学流程的示例包括，但不限于，微创心脏手术(例如，冠状动脉旁路桥接或二尖瓣置换)、微创腹部手术(腹腔镜检查)(例如，前列腺切除手术或胆囊切除手术，以及自然孔口内窥镜手术。内窥镜20在本文中被宽泛地定义为在结构上被配置成经由成像装置21 (例如，光纤、透镜、小型化的基于CCD的成像系统等)对身体(例如，人类或动物)的解剖区域进行成像的任何装置。内窥镜20的范例包括，但不局限于，任何类型的成像观察镜(例如，气管镜、结肠纤维内窥镜、腹腔镜、关节内窥镜等)以及装配有图像系统(例如，成像套管)的类似观察镜的任何装置。内窥镜20在其远端装配有一个或多个距离传感器22，作为(多个)个体元件或(多个)阵列。在一个示例性实施例中，距离传感器22可以是超声换能器元件或阵列，其用于发射和接收具有指示与对象(例如，膝盖内的骨骼)的距离的飞行时间的超声信号。超声换能器元件/阵列可以是薄膜微机械加工(例如，压电薄膜或电容性微机械加工)换能器，其也可以是一次性的。具体而言，电容性微机械加工超声换能器阵列具有针对对象的飞行时间距离测量结果的AC特性，以及针对由该阵列的薄膜对象施加的任何压力的直接测量结果的DC特性。实际上，(多个)距离传感器22相对于成像装置21被定位在内窥镜20的远端上，以方便避免和检测内窥镜20与对象的碰撞。在图2所示的一个示例性实施例中，形式为超声换能器阵列42和超声换能器阵列43的距离传感器被分别定位在内窥镜轴杆40的远端的周围和前表面附近，在所述内窥镜轴杆的远端前表面上具有成像装置41。针对这一实施例，阵列42和43在内窥镜轴杆40的主长度周围提供感测。通过使用ID或2D超声换能器阵列，获得了在+/-45度的角度范围内操纵超声波束来发射和接收超声信号，从而可以检测到定位在超声传感器的直线上的对象以及位于某一角度下的对象，并且可以避免与这些对象的碰撞。在图3所示的另一示例性实施例中，形式为单个超声线性元件52的距离传感器在内窥镜轴杆50的顶部远端上环绕成像装置51。或者，超声线性元件52可以包括起到用于波束形成和波束操纵的相控阵列的作用的若干元件。再次参考图1，单元30的内窥镜机器人31在本文被宽泛地定义为在结构上被配置成具有机动化控制器以在微创外科手术期间操纵内窥镜20的任何机器人装置，并且单元30的机器人控制器32在本文被宽泛地定义为在结构上被配置成提供马达信号至内窥镜机器人31以便在微创外科手术期间操纵内窥镜20的任何控制器。机器人控制器32的示例性(多个)输入装置33包括，但不限于，2D/3D鼠标和操纵杆。 单元30的碰撞避免/检测装置34在本文被宽泛地定义为在结构上被配置成使用成像装置21和距离传感器22的组合为操作内窥镜的外科医生或内窥镜机器人提供内窥镜20与身体的解剖区域之内的对象的实时碰撞避免/检测的任何装置。实际上，碰撞避免/检测装置34可以如图所示独立于机器人控制器32进行操作或者被内部集成到机器人控制器32之内。图4所示的流程图60表示由碰撞避免/检测装置34执行的本发明的碰撞避免/检测方法。针对这一方法，碰撞避免/检测装置34初始执行通过成像装置21采集身体的解剖区域之内的对象的单目内窥镜图像的进程S61，以及在内窥镜20被内窥镜机器人31推进至身体的解剖区域之内的目标位置的同时从(多个)距离传感器22接收内窥镜20与对象的距离测量结果的进程S62。根据图像采集和距离测量结果，碰撞避免/检测装置34前进到流程图60的进程S63以检测对象，从而外科医生可以手动地操作内窥镜机器人31，或者内窥镜机器人31可以被自主地操作以避免或检测内窥镜20与对象的任何碰撞。对象的检测涉及由内窥镜20观察到的对象表面的3D重建，其提供用于避免和检测内窥镜与对象的任何碰撞的关键信息，所述信息包括，但不限于，对象的3D形状以及对象表面上的每一点的深度。为了方便理解流程图60，现在将在图5和图6所示的关节内窥镜手术流程70的背景下更为详细地描述进程S61-S63。具体地，图5图示了膝盖71的膝盖骨72、韧带73和受损软骨74。冲洗器械75、修整器械76以及具有形式为成像装置(未示出)的成像装置和形式为超声换能器阵列(未示出)的距离传感器的关节内窥镜77被用于修复受损软骨74。同样地，图示了用于确定超声换能器阵列在膝盖71之内的相对定位的超声换能器78a-78d。图6图示了内窥镜机器人31a对关节内窥镜77的控制。参考图4，进程S61的图像采集涉及随着由机器人控制器32控制的内窥镜机器人31a将关节内窥镜77推进至膝盖71之内的目标位置，关节内窥镜77的成像装置向碰撞避免/检测装置34提供二维图像时间序列80 (图6)。或者，关节内窥镜77的超声换能器阵列可以被用于提供二维时间序列90。进程S62的距离测量涉及关节内窥镜77的超声换能器阵列发射和接收具有指示到对象的距离的飞行时间的在膝盖71之内的超声信号并且为碰撞避免/检测装置34提供距离测量信号81 (图6)。在一个实施例中，距离测量信号可以具有针对对象的飞行时间距离测量结果的AC信号分量以及针对由超声换能器阵列的薄膜的对象施加的任何压力的直接测量结果的DC信号分量。进程S63的对象深度估计涉及碰撞避免/检测装置34使用图像时间序列80与距离测量信号81的组合以将控制信号82提供至机器人控制器32和/或根据需要将图像数据83提供至监控器35，以使得外科医生或内窥镜机器人31能够避开对象或在碰撞的情况下操纵远离对象。图像数据93的显示还提供了方便外科医生做出任何必要的术中决定的信息，特别是对象的3D形状和对象表面上的每个点的深度。如图7所示的流程图110表示进程S63 (图4)的示例性实施例。特别地，装置34对对象的检测是通过实施基于对极几何学(bipolar geometry)的多重立体匹配算法来实现的。首先，在将关节内窥镜77插入到膝盖71之内之前，在流程图110的进程Slll中执行成像装置的校准。在进程Slll的一个实施例中，标准化西洋跳棋盘方法可以被用于获得3X3成像装置固有矩阵(K)中的固有成像装置参数(例如，焦点和透镜畸变系数)。其次，随着关节内窥镜77被推进至膝盖71内的目标位置，在流程图110的进程S112期间根据在不同时刻拍摄的相同场景的两幅或更多幅图像执行对象的3D表面的重建。特别地，已知内窥镜71的运动来自内窥镜机器人31的控制，因此两个相应成像装置位置之间的相对旋转(3X3矩阵R)和平移(3X1矢量t)也是已知的。利用包括固有和外在成像装置参数两者的知识集合(K、R、t)，实施图像校正以从两幅图像构建3D深度图。在这一过程中，(K、R、t)图像被扭曲，使得它们的垂直分量被对齐。该校正过程得到3X3扭曲矩阵和4X3不一致与深度映射矩阵。接下来，在进程S112期间利用本领域已知的点对应关系来计算两幅图像之间的光学流(optical flow)。特别地，在每个2D点(x、y)处的光学流(U、ν)表示两幅图像之间的点运动。由于这些图像被校正(即被扭曲以平行)，则ν = 0。最后，根据光学流，每个图像元素的不一致图是u(xl-O。利用4X3不一致与深度映射矩阵对不一致图进行重新投影将得到在成像装置的透镜前面的对象的3D形状。图8图示了根据图像时间序列80进行的3D表面重建100的示例性结果。有可能检测透镜与其他结构之间的距离。然而，假定存在图像时间序列80的不可测非理想性以及任何离散化误差，则根据需要执行流程图Iio的进程S113以校正3D表面重建。该校正开始于比较由N个(一个或多个)距离传感器22测量的深度dsi，i = 1，···，N与从重建图像测量的深度dj = 1，…，N。这些距离应该相等，然而，由于测量噪声，N个测量位置中的每个将具有与其相关联的误差％ = Msi-CliiI, i = 1，…，N。很明显利用距离传感器22的直接测量比基于图像的方法更为精确。然而，基于图像的方法具有更密集的测量。因此，集合^被用于执行所重建的表面的弹性扭曲以提高精度。尽管已经参考示例性方面、特征和实施方式描述了本发明，但所公开的系统和方法并不局限于这些方面、特征和/或实施方式。相反，本领域技术人员根据本文所提供的描述显而易见的是，所公开的系统和方法容易被修改、变化和改进而不偏离本发明的主旨或范围。因此，本发明清楚地包括在其范围内的此类修改、变化和改进。一种内窥镜方法涉及内窥镜(20)在内窥镜机器人(31)的控制下推进至身体的解剖区域之内的目标位置，以及随着内窥镜(20)被内窥镜机器人(31)推进至目标位置而生成解剖区域的多幅单目内窥镜图像(80)。为了避免或检测内窥镜(20)与单目内窥镜图像(80)之内的对象(例如，膝盖的单目内窥镜图像之内的韧带)的碰撞，该方法还涉及随着内窥镜(20)被内窥镜机器人(31)推进至目标位置而生成内窥镜(20)与该对象之间的距离测量结果，以及根据距离测量结果(81)重建单目内窥镜图像(80)之内的对象表面的三维图像。