专利名称：采用实时速度优化的不经校准的视觉伺服的制作方法一般而言，微创手术利用内窥镜，内窥镜是一种具有成像能力的长的柔性或刚性管。在将内窥镜通过自然孔口或者小的切口插入到体内时，内窥镜提供感兴趣区域的图像，外科医生在执行操作时可以通过目镜或者屏幕观看所述图像。视觉伺服是一种采用视觉输入(图像)来设置机器人运动参数的机器人控制方法。这一方法用于对目标的机器人追随、自主型机器人等。就手术机器人学而言，在控制回路中采用视觉伺服，其借助医学图像朝向某些特定解剖学目标(例如，器官)或手术目标(例如，仪器)引导机器人。在这一领域中，一种用于视觉伺服的标准成像模态是刚性内窥镜。将内窥镜的摄像机馈入连接至提供导弓I信息的机器人控制环。为了使所述视觉伺服的控制环闭合，必须在图像坐标与机器人关节空间之间建立数学变换(其被称为Image Jacobian (图像雅可比矩阵))。所述整个过程被称为系统校准，并且其需要诸如摄像机校准和机器人校准的各种步骤。此外，为了提供充分的校准，必须通过图像或者利用专用传感器测量摄像机与研究中的器官/对象之间的深度。更具体而言，摄像机校准是设定固有摄像机参数的过程，所述参数例如为图像的光学中心、沿两个方向的焦距和像素大小。这一操作通常在手术前完成，并且其涉及采集校准对象(通常为棋盘状对象)的若干幅图像，并从这些图像计算参数。如果在手术期间改变这些参数中的一些(例如，改变摄像机聚焦)，那么必须重复摄像机校准。机器人校准是在机器人的关节空间和末端执行器(end-effector)之间建立数学关系的过程，在这一领域内所述末端执行器为内窥镜。这一过程是一个在实践中得到完善的简单过程。然而，通常要求由技术专家来执行所述校准。如果用户/外科医生使内窥镜相对于机器人发生了移动，那么必须重复机器人校准。人们已经提出了各种不同的用于解决医学机器人学中的，尤其是内窥镜手术中的视觉伺服的方案，但是所有的这些方案都依赖于Image Jacobian,其可能经受本领域已知的各种缺陷。
本发明提供了一种视觉伺服技术，其不依赖于Image Jacobian或者从内窥镜图像的深度感知。更具体而言，本发明的视觉伺服技术涉及持有内窥镜的机器人，由此消除了校准内窥镜或者获得内窥镜图像相对于机器人的相对位置的必要性。本发明的视觉伺服技术还允许机器人系统与标准内窥镜一起使用，无需对硬件做出任何调整，而且在手术工作流程中不需要额外的过程。本发明的视觉伺服还允许内窥镜在手术中变化(例如，前视到倾斜或相反)。本发明的一种形式是采用摄像机(例如，内窥镜)、机器人和机器人控制器的机器人系统。所述摄像机具有光学取景器(例如，前向或倾斜)，其用于采集示出了图像的数字视频帧。所述机器人包括末端执行器以及用于操纵所述末端执行器的一个或多个关节。所述机器人控制器包括视觉伺服，其用于控制所述末端执行器相对于所述数字视频帧内的图像特征的姿态。为此，所述视觉伺服识别所述数字视频帧的图像坐标系内的从跟踪点延伸至与所述图像特征相关联的目标点的跟踪向量，将跟踪向量映射到从与末端执行器相关联的机器人坐标系构建的配置空间内，以及从跟踪向量在所述配置空间内的映射导出机器人坐标系内的末端执行器的姿态。本发明的另一种形式是一种包括具有光学取景器的摄像机和机器人的机器人控制方法，所述机器人具有末端执行器以及用于·操纵所述末端执行器的一个或多个关节。所述机器人控制方法涉及采集示出了由所述摄像机光学检视的图像的数字视频帧；以及执行视觉伺服，用于控制所述末端执行器相对于所述数字视频帧内的图像特征的姿态。所述视觉伺服涉及识别所述数字视频帧的图像坐标系内的从跟踪点延伸至与所述图像特征相关联的目标点的跟踪向量；将跟踪向量映射到从与末端执行器相关联的机器人坐标系构建的配置空间内；以及从跟踪向量在所述配置空间内的映射导出机器人坐标系内的末端执行器的姿态。图I图示了根据本发明的机器人系统的示范性实施例。图2图示了根据本发明的机器人控制环的示范性实施例。图3-6图示了根据图2所示的机器人控制环的示范性数字视频帧序列。图7图示了表示根据本发明的机器人控制方法的示范性实施例的流程图。图8图示了表示根据本发明的方向设定方法的示范性实施例的流程图。图9-11图示了根据图8所示的流程图的末端执行器姿态确定的第一示范性序列。图12-14图示了根据图8所示的流程图的末端执行器姿态确定的第二示范性序列。图15图示了表示根据本发明的光学视觉伺服方法的第一示范性实施例的流程图。图16图示了表示根据本发明的光学视觉伺服的第二示范性实施例的流程图。图17图示了根据本发明的速率因数的示范性稳定化。图18图示了表示根据本发明的速率调节方法的示范性实施例的流程图。图19图示了表示根据本发明的方向调节方法的示范性实施例的流程图。图20图示了表示根据本发明的目标探头方法的示范性实施例的流程图。
为此目的，如图2所示，视觉伺服51通过闭合机器人控制环21实施特征跟踪过程53、方向设置过程55和逆运动学过程57，其图像采集33由帧接收器31和(一个或多个)机器人关节41的(一个或多个)受控运动43实施。在实践中，可以通过视觉伺服51的模块(未示出)实施过程53、55和57，所述模块是通过安装在任何平台(例如，通用计算机、ASIC板等)上的硬件、软件和/或固件实现的。参考图2，特征跟踪过程53涉及对每一数字视频帧32的单独处理，以识别数字视频帧32内的特定图像特征的目标点，这是本领域已知的。例如，图3-6示出了由黑色X标示的特定图像特征的目标点TG的四(4)个数字视频帧32。在图3-6的这一范例中，所述特定特征可以是具有摄像机30的手术工具的仪器顶端，所述摄像机30是用于为外科医生提供所述顶端的一致视图的内窥镜，或者所述特定特征可以是诸如血管或器官的具体解剖学特征的限定部分。 再次参考图2，特征跟踪53生成指示每一数字视频帧32内的目标点的受到跟踪的运动的二维图像数据(“2DID”)，并且方向设置过程55继而对所述2D数据54进行处理，从而针对每一数字视频帧32识别从跟踪点延伸至目标点的跟踪向量(例如，跟踪方向和跟踪速率)。所述跟踪向量的识别设定从跟踪点延伸至目标点的固定跟踪方向，并且设定跟踪速率，所述跟踪速率同样可以是固定的，也可以通过对其进行调整来优化对目标点的跟踪。对于其跟踪向量具有任意大小或者具有最低大小的每一数字视频帧32而言，方向设置过程55生成指示机器人40的末端执行器42相对于数字视频帧32内的图像特征的预期姿态的三维机器人数据(“3DRD”)。逆运动学过程57对3D数据56进行本领域已知的处理，从而根据需要生成一个或多个机器人控制命令52，以实现(一个或多个)机器人关节41的(一个或多个)适当关节运动43，由此实现末端执行器42相对于数字视频帧32内的图像特征的预期姿态。例如，图3-6图示了跟踪向量的识别，所述跟踪向量从由白色X标示的跟踪点TR延伸至目标点TG。具体而言，图3示出了数字视频帧32 (I )，其具有最初处于跟踪点TR处的目标点TG。如图4所示，随着目标点TG在数字视频帧32 (2)内从跟踪点TR处移开，方向设置过程55识别通过从跟踪点TR指向目标点TG的箭头标示的跟踪向量。方向设置过程55从所述跟踪向量的识别为数字视频帧32 (3)设置用于使数字视频帧32 (2)内的跟踪点TR向目标点TG的方向运动的跟踪方向，并利用所述跟踪向量的跟踪方向和跟踪速率来确定机器人40的末端执行器42相对于数字视频帧32 (2)内的图像特征的预期姿态。接着，逆运动学过程57根据需要生成(一个或多个)机器人控制命令52，以实现(一个或多个)机器人关节41的(一个或多个)适当关节运动43，由此实现末端执行器42相对于数字视频帧32 (2)内的图像特征的预期姿态。如图5所示，数字视频帧32 (3)图示了被朝向目标点TG的方向运动的跟踪点TR，但是目标点TG仍然距跟踪点TR存在位移。方向设置过程55再次识别由从跟踪点TR指向目标点TG的箭头标示的跟踪向量。方向设置过程55从跟踪向量的识别为数字视频帧32
(5)(未示出)设置用于使数字视频帧32 (4)内的跟踪点TR向目标点TG的方向运动的跟踪方向，并利用所述跟踪向量的跟踪方向和跟踪速率确定末端执行器42相对于数字视频帧32 (3)内的图像特征的预期姿态。逆运动学过程57再次根据需要生成(一个或多个)机器人控制命令52，以实现(一个或多个)机器人关节41的(一个或多个)适当关节运动43，由此实现机器人40的末端执行器42相对于数字视频帧32 (4)内的图像特征的预期姿态。如图6所示，数字视频帧32 (4)图示了再一次吻合的跟踪点TR和目标点TG。因而，数字视频帧32 (4)的跟踪向量为零，并且机器人控制器50将使(一个或多个)机器人关节41保持固定状态，直到这样的在时间上相继产生的数字视频帧32指示在跟踪点TR与目标点TG之间存在非零跟踪向量或者具有最低大小的跟踪向量为止。文中对图1-6的描述便于对视觉伺服51的一般理解。下文中对图8-16所示的视觉伺服51的示范性实施例的描述便于对视觉伺服51的更加详尽的理解。具体地，对于图15和16所示的视觉伺服方法而言，在每一视频帧内根据需要调整所述跟踪速度，或者按照任何指定的帧速率调整所述跟踪速度，直到锁定最佳跟踪速度为止。图7图示了由机器人系统20 (图I)执行的表示视觉伺服51的机器人控制方法的 流程图60。具体而言，流程图60包括机器人校准阶段S61和目标初始化阶段S62，所述阶段是视觉伺服阶段S63的先决条件。在实践中，在最初实施阶段S61时，可以仅须针对新的受到跟踪的图像特征执行阶段S62和S63，本领域技术人员应当认识到这一点。阶段S61包括本领域技术人员已知的对机器人40的机器人校准，其涉及在机器人40的关节空间和末端执行器42之间建立数学关系。阶段62包括本领域已知的对数字视频帧32内的图像的具体特征的目标初始化。在阶段S62的一个示范性实施例中，摄像机30在特定环境内的垂直运动(插入)是一项可由系统20的用户设置的参数，因此其超出了视觉伺服51的自动控制范围。因此，在摄像机30插入到所述环境内之后，可以以两(2)个末端执行器42的自由度执行由视觉伺服51对机器人40的自动控制，所述两个自由度包括theta角0和phi角(P，其用于界定机器人40的二维球冠。其可能涉及在将摄像机30插入到所述环境内时为机器人40建立虚拟的远程旋转中心(“RCM”)，由此，所述虚拟RCM将决定机器人40围绕指定枢轴点(例如，在具有最低侵入性的手术过程中内窥镜通过患者体内的小的切口的插入点)的运动，其界定了机器人40的球锥工作区。本领域技术人员将认识到基于theta角0和phi角(p将所述球锥工作区转换成二维球冠。对于摄像机30为内窥镜的机器人控制器50的RCM实施例而言，可以通过下述方式定义相对于内窥镜的RCM点(I)利用沿内窥镜的轴被布置为与内窥镜的顶端相距固定距离的标记；(2)用户通过计算机程序指定RCM点与内窥镜顶端之间的距离；(3)将内窥镜的窥镜顶端放置到预期的插入点，尔后将所述插入点设定为RCM，并将内窥镜插入到预期的深度；或者(4)利用相对于机器人40的空间预定点，并将机器人放置到所述预定点与预期插入点吻合的位置。在实践中，机器人40的基于RCM的运动将是由机器人控制器50实施的用以实现流程图60的阶段S63的视觉伺服的典型工作模式。或者，机器人控制器50可以为阶段S63的视觉伺服实施摄像机40的初始放置，其定义了摄像机40的球锥工作区。对于任何工作模式而言(RCM或其他)，阶段S63包含涉及前文结合图2的说明描述的特征跟踪过程53和逆运动学过程57的视觉伺服，阶段S63还涉及图8-16所示的方向设置过程55的示范性实施例。具体而言，图8图示了表示本发明的方向设置方法的流程图70。为了便于对流程图70的理解，由内窥镜末端执行器93代表末端执行器42。在一个实施例中，内窥镜末端执行器93是其近端通过本领域已知的任何手段耦合至机器人40的内窥镜。参考图8，流程图70的阶段S71包含每一数字视频帧32的二维图像坐标系80向机器人40的三维、二自由度机器人坐标系90的映射。在通过阶段S71所示的一个实施例中，图像坐标系80具有X坐标和y坐标，并且机器人坐标系90是具有通过虚线标示的从枢轴点91 (例如，虚拟RCM)延伸至二维面92的轴的球冠，所述二维面92是由内窥镜末端执行器93关于枢轴点91的完整旋转勾勒出来的。在已知枢轴点91和内窥镜末端执行器93的远端顶端之间的距离的实践当中，theta角0对内窥镜末端执行器93的远端顶端相对于原点沿面92的边缘关于所述球冠的轴的旋转程度给出了明确的定量表述，而phi角Cp对内窥镜末端执行器93的远端顶端与所述球冠的轴之间的分离程度给出了明确的定量表述。或者，在已知枢轴点91和内窥镜末端执行器93的远端顶端之间的距离的实践当中，theta角9隐含指示内窥镜末端执行 器93的远端顶端相对于原点沿面92的边缘关于所述球冠的轴的旋转程度，而Phi角(P隐含指示内窥镜末端执行器93的远端顶端与所述球冠的轴之间的分离程度。流程图70的阶段S72包含相对于由机器人坐标系90定义的theta角0和phi角q>的可能范围构建机器人坐标系90的二维配置空间100。具体而言，所述配置空间的构建涉及将机器人坐标系90的面92的球面投影到充当所述配置空间100的二维面内。所得到的配置空间100表示内窥镜末端执行器93的顶端的相对于两个可设置参数的整个配置空间。流程图70的阶段S73包含相对于机器人坐标系90的对内窥镜末端执行器93的姿态确定，其涉及以跟踪向量在图像坐标系80内的映射为基础的配置空间100内的机器人向量的映射。具体而言，将多个数字视频帧上的图像坐标系80内的图像的运动映射到配置空间100内。将图像坐标系80内的通过像素(隐含地通过毫米)表示的位置转换为通过机器人坐标系90内的两个角度(弧度)表示的内窥镜末端执行器93的姿态，其中，所述两个角度是由配置空间100表现的，鉴于这一事实，这一映射是具有未知比例尺的定性映射。例如，如图9-11所示，在三(3)个数字视频帧内，对具有由围绕跟踪点(白色X)的环表示的最低大小的跟踪向量(vtrk)的识别将实现将所述跟踪向量(vvtrk)映射为配置空间100内的机器人向量(vrob)。在映射比例尺未知的情况下，将图像坐标系80内的目标点TG的位置转换为通过机器人坐标系90内的两个角度(弧度)表示的内窥镜末端执行器93的姿态，其中，所述两个角度是由配置空间100表示的。为此目的，图像坐标系80内的跟踪向量(vtrk)的跟踪方向决定着机器人坐标系90内的机器人向量(vrob)的机器人方向，接着通过逆运动学对所述机器人方向进行处理，从而使机器人关节41产生运动，进而实现机器人坐标系90内的内窥镜末端执行器93的姿态。作为另一个范例，如图12-14所示，在三(3)个数字视频帧内，对具有最低大小的跟踪向量(vtrk)的识别再次实现了将所述跟踪向量(vtrk)映射为配置空间100内的机器人向量(vrob)。再次在映射比例尺未知的情况下，将图像坐标系80内的目标点TG的位置转换为通过机器人坐标系90内的两个角度(弧度)表示的内窥镜末端执行器93的姿态，其中，所述两个角度是通过配置空间100表示的。为此目的，图像坐标系80内的跟踪向量(vtrk)的跟踪方向决定着机器人坐标系90内的机器人向量(vrob)的机器人方向，接着通过逆运动学对所述机器人方向进行处理，从而使机器人40的(一个或多个)关节41产生运动，进而实现机器人坐标系90内的内窥镜末端执行器93的姿态。参考图9-14，如前文所述，图像坐标系80和配置空间100之间的映射比例尺是未知的。因而，使跟踪向量(vtrk)归一化(S卩，将长度设为1)，并将其作为机器人向量(vrob)变换至配置空间100。因此，与机器人向量(vrob)相关的theta角0和phi角Cf)的值界定了沿机器人向量(vrob)的既定方向的单位机器人位移。在实践中，可以对机器人40进行速度控制，其中，沿theta角0方向和phi角(f).方向这两个方向通过弧度/秒定义单位机器人位移。由于对机器人向量(vrob)进行了归一化，因而沿theta角0方向和phi角中方向的速度应当< I弧度/秒。然而，根据其他参数(例如，数 字视频帧32中的特征的深度、数字视频帧32中的跟踪点的相对速率等)，机器人向量(vrob)的速度可能不足以使跟踪点TR抵达目标点TG,或者可能过快,从而使跟踪点TR越过了目标点TG。为了对图像坐标系80和配置空间100之间的未知映射比例尺做出补偿，图15图示了流程图110，并且图16图示了流程图120，二者均表示可以在阶段S73期间实施的对跟踪向量的跟踪速率分量进行优化的最佳视觉伺服方法。参考图15，只要目标点已经在数字视频帧32的两(2)个相继的采样帧之间相对于跟踪点发生了位移，那么流程图110的阶段Slll就将涉及速率因数(s)的初始化和图像坐标系80内的跟踪向量(vtrk)的识别。在实践中，速率因数(s)的初始值可以是任何无量纲经验值(例如，< I S)。阶段Slll还涉及等于跟踪向量(vtrk)的参考向量(vref)的初始化。流程图110的阶段S112涉及配置工作区100内的机器人向量(vrob)的识别，其涉及将跟踪向量(vtrk)映射到配置工作区100内。阶段SI 12还涉及将跟踪速度设置为速率因数(s)与机器人向量(vrob)的乘积，其中，速率因数(s)调整与机器人向量(vrob)相关的theta角0和phi角Cf)的弧度/秒值。将跟踪速度(s*vrob)映射至机器人坐标空间100,从而采用对应的theta角0和phi角q>生成3D机器人数据作为实现所述跟踪速度(s*vrob)所需的机器人运动的指示。由于机器人40根据跟踪速度产生了运动，因而鉴于这样的事实，即(I)由于末端执行器42的任何运动，目标点可能正在相继的采样数字图像帧32的图像坐标系80内发生运动；以及(2)目标点可能正在所述环境的坐标系内运动，必须从数字视频帧32的后续帧对跟踪点和目标点之间的任何位移进行更新。因此，利用流程图110的阶段S113-S117按照数字视频帧32的采样速率(例如，数字视频帧32的每一帧或者按照指定的数字视频帧32的帧速率)来调整跟踪速度。具体而言，阶段S113涉及在相继的数字视频帧32的采样帧内更新跟踪点和目标点之间的跟踪向量(vtrk)。阶段S114确定跟踪向量(vtrk)是否小于准确度阈值，建立所述阈值的目的在于，在数字视频帧32的相继采样帧内不存在显著噪声的情况下保持稳定的机器人40的定位。如果跟踪向量(vtrk)小于准确度阈值，那么流程图110返回至阶段S113，从而跟踪数字视频帧32的下一相继采样帧内的跟踪向量(vtrk)。否则，流程图110进行至阶段S115，以确定跟踪向量(vtrk)和参考向量(vref)之间的角度是否小于角度阈值X。(例如，90° )。如果跟踪向量(vtrk)和参考向量(vref)之间的角度小于所述角度阈值X。，那么流程图110进行至阶段S116，从而更新等于跟踪向量(vtrk)的参考向量(vref)，并增大速率因数(S)，尔后返回至阶段S112，从而根据需要针对额外的数字视频帧32的采样帧重复所述环。如果跟踪向量(vtrk)和参考向量(vref)之间的角度等于或大于角度阈值X°，那么流程图110进行至阶段S117，从而更新等于跟踪向量(vtrk)的参考向量(vref)，并降低速率因数(s)，尔后返回至阶段S112，从而根据需要针对额外的数字视频帧32的采样帧重复所述环。在实践中，如果系统20的用户旋转了摄像机30 (例如，使内窥镜围绕其轴旋转或者使处于内窥镜的近端的(XD 摄像机发生旋转)，那么跟踪向量(vtrk)和参考向量(vref)可以改变取向。如果系统不允许这类运动，那么可以省略阶段S117。阶段S113-S117的益处在于优化跟踪速度(s*vrob)。具体而言，如果跟踪点在数字视频帧32的两个采样帧之间发生了运动，那么阶段S115评估最新更新的跟踪向量(S113)和先前更新的参考向量(vref)之间的角位移，以确定最新更新的跟踪向量(vtrk)是否与先前更新的参考向量&^^处于相同的总方向内(例如，角(￥廿1^￥代^〈90° )，或者最新更新的跟踪向量(vtrk)是否指向与先前更新的参考向量(vref)不同的方向(例如，(vtrk、vref)彡90° )。在实践中，可以按照大于0°，小于90°的任何角度完成所述方向变化。在相同总方向的情境下，假定机器人沿正确的方向运动，从而使跟踪点沿数字视频帧32内的目标点的方向运动，而不会越过目标点。在这种情况下，在阶段S116期间更新参考向量(vref)并增大速率因数(s)，并且在阶段S112-S117的另一环期间继续对目标点的跟踪。例如，如图9所示,在图像坐标系的第一巾贞80 (I)内识别初始跟踪向量(vtrk),并利用其映射配置工作区100 (I)内的机器人向量(vrob)。为机器人向量(vrob)设置跟踪速度(s*vrob)，机器人40由此产生相应地运动，并如图10所示在图像坐标系的第二帧80(2)内更新跟踪向量(vtrk)。图10的跟踪向量(vtrk)与图9所示的跟踪向量(vtrk)处于相同的总方向内。因而，将参考向量(vref)更新为图像坐标系80 (I)中所示的跟踪向量(vtrk)，并增大速率因数(S)。在接下来的阶段S112-S117的环内，利用图像坐标系的第二帧80 (2)内的更新跟踪向量(vtrk)映射配置工作区100 (2)内的机器人向量(vrob)。之后，为机器人向量(vrob)更新跟踪速度(s*vrob),机器人40由此产生相应的运动，并在图11所示的图像坐标系的第三巾贞80 (3)内识别新的跟踪向量(vtrk)。跟踪向量(vtrk)(图11中未示出)小于通过围绕跟踪点的环标示的阶段S114的准确度阈值，因而将机器人40设定到固定位置，直到下一更新跟踪向量(vtrk)大于等于所述准确度阈值为止。在不同方向的情境内，假定机器人40沿正确的方向运动，从而使跟踪点沿数字视频中贞32中的目标点的方向运动,但是越过了目标点,或者目标点在数字视频巾贞32的相继采样帧内改变了方向。在这种情况下，在阶段S116内更新参考向量(vref)并降低速率因数
(S)，并且在阶段S112-S117的另一环内继续目标点的跟踪。例如，如图12所示，利用在图像坐标系的第四帧80 (4)内识别的初始跟踪向量(vtrk)来映射配置工作区100 (4)内的机器人向量(vrob)。为机器人向量(vrob)生成跟踪速度(s*vrob),机器人40借此产生相应的运动，并在图13所示的图像坐标系的第五帧80 (5)内识别新的跟踪向量(vtrk)。与图12所示的跟踪向量(vtrk)的方向相比，图13的跟踪向量(vtrk)处于不同的方向内。因而将参考向量(vref)更新为图像坐标系80 (4)的跟踪向量(vtrk)，并降低速率因数(S)。在接下来的阶段S112-S117的环内，利用图像坐标系的第五帧80 (5)内的更新跟踪向量(vtrk)映射配置工作区100 (5)内的机器人向量(vrob)。之后，为机器人向量(vrob)更新跟踪速度(s*vix)b)，机器人40由此产生相应的运动，并在图14所示的图像坐标系的第六帧80 (6)内识别新的跟踪向量(vtrk)。跟踪向量(vtrk)(图14中未示出)小于通过围绕跟踪点的环标示的阶段S114的准确度阈值，因而将机器人40设定到固定位置，直到下一跟踪向量(vtrk)大于等于所述准确度阈值为止。参考图16，流程图120的内在含义与流程图110 (图14)相同，只是其采用图像坐标系80内的跟踪向量的长速因数(I)实施了比例控制。长度因数(I)指示跟踪点距目标点有多远，并且可以通过像素对其加以表示。因而，在流程图120的阶段S121期间对长度因数(I)进行相应地初始化，并且在流程图120的阶段S122中可以将机器人向量(vrob)的跟踪速度表述为(s*l*vix)b)。在这种情况下，速率因数(s)的量纲为mm/ (s*像素)。在一个实施例中，可以采用长度因数(I)的微分和积分因数增强阶段S126和S127中的长度因数(I)的比例控制，这与本领域已知的PID (比例一积分一微分)控制类似。
图9-14图示了速率因数(S)的优化的两个简单的范例。在实践中，阶段S112-S117(图15)以及阶段S122-S127的优点在于，视觉伺服51实时地习得(learning)最佳速率因数(S)。如果目标点以恒定速度运动，那么如图17所示，最初的速率因数(s)变化将在数字视频帧32的多个帧之后稳定化，其中，在覆盖所述帧的时间ts之后将达到速率因数(s)的稳定化。否则，如果跟踪点以变化的速度运动，那么最初的速率因数(s)的变化将在数字视频帧32的多个帧之后以一定量的噪声稳定化。在实践中，图15和16所示的速率因数(S)的增大值和降低值可以是常数。或者，图18图示了表示本发明的速率调节方法的流程图140。具体而言，流程图140的阶段S141包含在考虑跟踪点的跟踪等待时间或者考虑系统20的应用的情况下对跟踪速度(s*rob)或者(s*l*rob)的速率进行评估。在跟踪等待时间实施例中，对机器人40的控制总是在尝试以机器人40在任何既定时间上可能的最大速率对跟踪点进行跟踪。为此目的，对速率因数(s)的稳定化和跟踪等待时间进行评估，这样做是为了调节流程图140的阶段S142中的速率因数(S)，从而尝试以其在任何既定时间上可能的最大速率对跟踪点进行跟踪。例如，对于具有低跟踪等待时间的稳定速率因数(s)或者对于不稳定的速率因数(S)(例如，目标点越过了跟踪点)在阶段S142中降低速率因数(s)的增大值和降低值。反之，对于具有高跟踪等待时间的稳定速率因数(s)在阶段S142内增大速率因数(s)的增大值和降低值。在实践中，除了固有的机器人速率以外的影响跟踪等待时间的参数包括，但不限于，跟踪点和目标点之间的距离、摄像机30的插入深度、摄像机30的顶端和RCM插入点之间的距离。然而，不管所述参数发生任何变化，速率因数(s)的调节都保持了跟踪速度(s*rob)或(s*l*vrob)的优化。在所述应用的实施例中，机器人40的控制并不一直尝试以机器人40的最大速率跟踪数字视频帧32内的跟踪点，而是以适合所述应用的速率进行跟踪。为此目的，在考虑预测的跟踪点运动的情况下，评估跟踪速度(s*rob)或(S*l*vix)b)的速度范围，所述预测的跟踪点运动是视觉伺服51由数字视频帧32确定的，或者是由系统20的操作员提供给视觉伺服51的。在阶段S142期间相应地设置速度因数(S)。例如，对手术工具的静态跟踪将忽略小的震颤，因而应当将速度因数(s)设定为忽略小的震颤。而且，例如，对搏动的心脏的动态跟踪涉及心脏运动的快速变化，因此应当将速率因数(s)设定为遵循心脏运动的快速变化。而且，在实践中，可能使受到跟踪的特定特征相对于机器人40旋转(例如，上下和左右运动在所述两个坐标系内并不相同，尤其是对于倾斜光学检视摄像机而言)，并且对机器人40的控制可能在不曾抵达目标点的情况下围绕目标点振荡。图19示出了表示本发明的方向评估的流程图150，其用于校正机器人40围绕目标点的潜在振荡。流程图150的阶段S151包含对跟踪速度(s*rob)或(S*l*vix)b)的跟踪方向的评估，其涉及计量数字视频帧32的两个既定帧之间的连续方向变化的数量。在计数器达到指定的连续方向变化数量(优选为2个或3个连续方向变化)时，流程图150进行至阶段S152，从而在使机器人40发生运动之前，使映射在配置工作区100内的机器人向量(vrob)相对于映射在图像坐标系80内的跟踪向量(vtrk)发生旋转。最快的达到收敛的技术是针对90°、180°或270°的旋转将配置工作区划分成四(4)个象限。在阶段S112内实施流程图150，其中，在检测到正确的象限时，可能在对跟踪方向做进一步评估时需要对所述象限进行细分。而且，在实践中，可以对机器人40加以控制，从而实现一旦定义了倾斜光学检视摄像机30的插入点(例如，RCM点)，就将自动找到并跟踪数字视频帧32内的特定特征。图20示出了表示目标探头法的流程图160，其用于自动找到并跟踪图像40内的特定特征。流程图160的阶段S161包含摄像机扫描，其涉及使摄像机30相对于插入点围绕其轴发生旋转。摄像机30 —旦那找到了被设定为目标的特征，机器人控制器50就将流程图160的阶段S 162中的扫描配置锁定为机器人坐标系90，其目的在于实现前文所述的方向设置。尽管已经参考示范性的方面、特征和实现描述了本发明，但是所公开的系统和方法不限于这样的示范性方面、特征和/或实现。相反，本领域技术人员通过文中提供的描述显然可以容易地认识到，在不背离本发明的精神或范围的情况下，所公开的系统和方法可受到修改、变更或强化。因此，本发明明确地包含这样的处于其范围内的修改、变更或强化。


一种用于具有光学取景器的摄像机(30)和机器人(40)的机器人控制方法，所述机器人(40)具有末端执行器(42)以及用于操纵所述末端执行器(42)的一个或多个关节(41)。所述机器人控制方法涉及采集示出了所述摄像机(30)光学检视的图像的数字视频帧(32)；以及执行视觉伺服，所述视觉伺服用于控制所述末端执行器(42)相对于所述数字视频帧(32)内的图像特征的姿态。所述视觉伺服涉及识别所述数字视频帧(32)的图像坐标系(80)内的从跟踪点(TR)延伸至与所述图像特征相关联的目标点(TG)的跟踪向量(vtrk)；将跟踪向量映射到从与末端执行器(42)相关联的机器人坐标系(90)构建的配置空间(100)内；并从跟踪向量(vtrk)在所述配置空间(100)内的映射导出机器人坐标系(90)内的末端执行器(42)的姿态。