专利名称：立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法立体定向神经外科手术中一个很关键的技术就是病人头部的注册，也就是获取医 学图像空间和手术设备空间的对应关系。医学图像空间是指用CT或MRI断层图像重建的 病人脑部空间，其包含病人大脑内部的重要信息；手术设备空间是指医疗机器人或其它医 疗设备所在的空间。只有实现病人头部的注册，才能使手术设备准确定位患者脑部病患位 置，顺利完成手术。注册的方法可以分为有框架式和无框架式两种方式，其中有框架式定位方式需要 将框架固定在病人的颅骨上，病人脑部相对框架固定，因此可以用框架建立医学图像空间 和手术设备空间的对应关系；无框架式定位方式不使用框架定位，而是通过贴在病人脑部 或固定在颅骨上的标记建立医学图像空间和手术设备空间的对应关系。有框架方式定位 方式的缺点是，固定在头部的框架会对病人造成额外的伤害，并且其安装过程复杂，它在CT 或MRI中的成像会影响病人脑部的成像效果。现在普遍采用的是无框架式定位方式，即获 取两种空间下的标记坐标，通过标记匹配组成标记对，利用标记对就可以得到两种空间的 对应关系。医学图像空间下的标记坐标计算可以用图像处理的方法获得，方法较为单一。手 术设备空间的标记坐标的计算方法很多，一些文献将其分为有机械臂式和无机械臂式两种 方式，其中有机械臂式是指医生通过手动操纵医疗机器人的机械臂接触病人头部的标记来 确定标记的位置，由于机械臂底座固定，各机械臂长度已知，关节的转角可以由传感器获 得，因此可以推算出标记中心在手术设备空间下的坐标；无机械臂式是指利用超声、红外、 磁场或可见光等方法定位标记在手术设备空间下的坐标。有机械臂式定位方法需要医生了 解部分机械知识，以便其可以安全、顺利地移动机械臂接触标记中心，此方法较为繁琐，重 复定位困难，更不可能实现跟踪定位。利用超声、红外或磁场等方式定位标记的方法较为简 单，可以很容易的实现重复定位和跟踪，但需要专用的测量仪器，设备费用昂贵。利用可见 光定位标记的方法，需要的设备简单，仅需要特殊的标记和一台双目相机即可。其原理是， 首先利用图像处理和模式识别的方法计算出两幅图像标记的像素坐标，其次利用计算机视 觉方法重建标记的空间坐标。其中，后者属于比较成熟的技术，但前者现在尚无固定的方 法。国内第一例远程手术是利用手动的方法获取标记的图像坐标，即用鼠标顺序点击左右 眼图像中的标记，从而确定其像素坐标。这种方法需要较多的人机交互操作，较为繁琐，而 且难以实现标记的跟踪，同时，使用人工的方法确定标记的定位精度不高，只能达到像素级 精度。
本发明解决的问题克服现有技术的不足，提供一种临床复杂环境及背景下标记 的自动检测、跟踪识别与精确定位装置及定位方法，为机器人辅助立体定向神经外科手术 提供一种自动图像实时注册与手术中安全监控的方法，该方法改变了以往神经外科手术中 需要医生手动选择标记的方法，也可以有效解决手术过程中病人头部的缓慢移动导致的注 册失败的问题，从而使机器人辅助立体定向神经外科手术的图像注册完全实现完全自动 化，提高手术的效率和安全性。本发明的技术解决方案立体定向神经外科手术中病人头部标记自动视觉定位装 置，包括PC机、双目相机及配套设备、相机支架和标记；所述标记包括A、B两类，其中B类一 个，A类三个，共四个，所述A类标记是将电极片的电极点涂成白色，电极点周围涂成黑色， 形成的白-黑嵌套的标记；B类标记是将电极片的电极涂成白色，电极点以外的内侧涂成一 定形状的黑色，电极点以外的外侧涂成白色，形成的白-黑-白嵌套的标记，标记的拍摄效 果和尺寸如图3、图4所示；双目摄像机固定在支架上，基本正对B类标记并可以同时拍摄 到病人头部的三个A类标记；支架放置在病床的一侧，手术过程中不能移动，以保证双目相 机不动；标记按特定方式粘贴在病人头部，具体方法见后面所述步骤二。B类标记贴在病人 额头位置(一般是鼻梁正上方的头盖骨上)，三个A类标记都贴在病人头上B类标记的同 一侧；B类标记指向一个A类标记，二者的连线两侧粘贴另两个A类标记，标记的粘贴位置 如图5、图6所示；双目相机通过配套设备(网线、火线、图像采集卡和1394卡等)连接PC 机，用于获取病人头部的实时图像，并将其传送给PC机；PC机用于处理采集到的图像，即自 动检测标记，计算标记中心的图像坐标，重建标记的空间坐标以及跟踪标记。立体定向神经外科手术中病人头部标记自动视觉定位方法，分为检测和跟踪两部 分步骤一设计A类和B类标记A类和B类标记都是在电极片的基础上再加工得到的，其中A类标记是将电极片的 电极点涂成白色，电极点周围涂成黑色，形成的白-黑嵌套的标记；B类标记是将电极片的 电极涂成白色，电极点周围内侧涂成白色，电极点周围外侧涂成黑色，形成的白-黑-白嵌 套的标记；步骤二 将A类和B类标记贴在病人头部 B类标记共一个、A类标记共三个，它们的粘贴方式具体是B类标记贴在病人额头 位置(一般是鼻梁正上方的头盖骨上)，三个A类标记都贴在病人头上B类标记的同一侧； B类标记指向一个A类标记，二者的连线两侧粘贴另两个A类标记，标记的粘贴位置如图5、 图6所示。步骤三标定双目摄像机步骤四自动检测四个标记，具体实现为(1)定位B类标记，提取包含病人头部的局部图像；(2)分割提取局部图像的候选A类标记；(3)提取候选A类标记的特征，并利用先验知识排除伪标记；(4)对A类标记进行分类，搜寻缺失的标记，计算A类标记中心的像素坐标；(5)利用双目相机极线几何约束搜索缺失的标记；(6)匹配左右眼图像中的标记，计算匹配的标记对对应的空间坐标；步骤五自动跟踪四个标记实现标记的跟踪只要在上次标记中心的周围搜索即可，具体方法为初始假设标 记运动速度为零，在上帧的标记中心位置附近搜索当前帧的标记中心；跟踪两帧图像以后， 利用前两帧标记中心的运动信息，推测当前的标记中心位置，然后在此位置附近搜索当前 帧的标记中心；最后，匹配左右眼中的标记，形成标记对，再利用计算机视觉的方法重建标 记中心的空间坐标。本发明与现有的技术相比优点在于原来的机器人辅助立体定向神经外科手术是 利用人工选点的方法获取标记的像素坐标，即用鼠标顺序点击左右眼图像中的标记中心， 从而确定其像素坐标。这种方法需要较多的人机交互操作，耗时长，不便于医生的操作，也 降低了手术效率，另一方面，它还要求自标定开始到手术结束的整个过程中，患者头部不能 移动，否则注册失败。而实际的立体定向神经外科手术一般是微创手术，临床中采用局部麻 醉，患者仍能够活动，因此患者头部可能发生较小的移动，但此位置变化没有被医生察觉， 这会对手术结果带来严重影响，甚至可能造成严重手术事故。本发明中的自动检测跟踪算 法可以很好的解决此问题，既简化了医生的操作，提高了手术的效率，为抢救病人争取了更 多的时间，也提高了标记定位的精度，进而提高了注册的精度，增加了手术的安全性、可靠 性。 显示结果；图 示边缘；图分割结果；图
5
1为本发明定位装置的组成示意图； 2为本发明的实现流程3为本发明的标记示意图，其中a为电极片，b为A类标记，c为B类标记； 4为本发明的标记尺寸图，其中a为B类标记，b为A类标记； 5为本发明中粘贴好的四个标记的照片； 6为本发明中标记粘贴相对位置示意图； 7为本发明中双目相机拍摄的原始图像； 8为本发明中通过B类标记获取的局部图像； 9为本发明中的顶帽变换结果；
10为本发明中顶帽变换后再二值化结果，其中a为二值化图像，b为在原图上
11为本发明中的log算子边缘检测结果，其中a为图像边缘，b为在原图上显
12为本发明中的综合图像分割结果，其中a为二值化图像，b为在原图上显示
13为本发明中为初始的候选标记示意14为本发明中的定位B类标记的方向；
15为本发明中利用B类标记排除伪标记后结果；
16为本发明中利用标记外接矩形特征排除伪标记后结果；
17为本发明中利用标记局部特征排除伪标记；
图18为本发明中标记最终检测匹配结果；图19为本发明中左目标记检测正确，右目标记检测缺失的情况；图20为本发明利用双目极线几何约束搜索右目缺失标记的流程，其中a为初始所 有候选标记；b为根据与极线的距离排除伪标记(白色直线为极线)后的结果；c为根据A、 B类标记位置关系排除伪标记后的结果；d为根据与B类标记中心的距离排除的伪标记后的 结果；e根据标记的转角排除伪标记后的的结果；f为选出模板匹配值最大的标记；图21为本发明利用双目极线几何约束搜索右目缺失标记的流程图；图22为本发明中标记的自动跟踪算法流程图。



立体定向神经外科手术中病人头部标记自动视觉定位装置及方法，设计标记模板；按照特定的方法将标记贴在病人头部；使用图像处理和模式识别的方法获取视频中单帧左右眼图像标记中心的像素坐标，并使用计算机视觉方法将其重建为空间坐标；同样使用图像处理和模式识别的方法跟踪获取视频序列的标记中心像素坐标，并使用计算机视觉方法将其重建为空间坐标。本发明改变了传统的神经外科手术中手动选取标记中心的方法，实现了标记中心定位的自动化，简化了手术步骤，缩短了手术时间；定位结果更加准确；提高手术的可靠性。本发明可以推广应用，解决骨科等手术中的标记中心的定位和跟踪问题。