早鸽—汇聚行业精英
  • 联系客服
  • 帮助中心
  • 投诉举报
  • 关注微信
400-006-1351
您的问题早鸽都有答案
3000+专业顾问
搜索
咨询

无标志点的内窥镜定位跟踪方法和系统制作方法

  • 专利名称
    无标志点的内窥镜定位跟踪方法和系统制作方法
  • 发明者
    梁萍, 陈雷, 吴文波, 薛劲, 穆梦娟
  • 公开日
    2014年7月30日
  • 申请日期
    2014年4月14日
  • 优先权日
    2014年4月14日
  • 申请人
    中国人民解放军总医院
  • 文档编号
    A61B1/00GK103948361SQ201410148076
  • 关键字
  • 权利要求
    1.一种无标志点的内窥镜定位跟踪方法,其特征在于,包括 步骤Si,对内窥镜序列图像进行畸变校正; 步骤S2,提取校正的内窥镜序列图像的特征点,并完成相邻帧内窥镜序列图像的特征点的相互匹配; 步骤S3,根据相邻帧内窥镜序列图像已匹配的特征点,估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵; 步骤S4,依据相邻帧内窥镜序列图像之间的运动矩阵,重建匹配的所有特征点的空间位置; 步骤S5,提取术前CT体数据的表面点云信息,并完成表面点云与内窥镜序列图像的重建后的特征点的匹配,获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量; 步骤S6,根据旋转矩阵和平移向量,得到内窥镜在CT体数据中的相对位姿信息,根据位姿信息将内窥镜实时图像与CT体数据进行融合显示2.根据权利要求1所述的无标志点的内窥镜定位跟踪方法,其特征在于,在步骤SI,校正前的内窥镜序列图像存在径向畸变、偏心畸变和薄棱镜畸变3.根据权利要求1所述的无标志点的内窥镜定位跟踪方法,其特征在于,在步骤S2,内窥镜序列图像中的特征点提取具有较高的鲁棒性4.根据权利要求1所述的无标志点的内窥镜定位跟踪方法,其特征在于,在步骤S3,采用非线性优化方法计算相邻帧内窥镜序列图像之间的运动矩阵5.根据权利要求4所述的无标志点的内窥镜定位跟踪方法,其特征在于,在步骤S4,根据运动矩阵,采用三角化的方法重建特征点的空间位置6.根据权利要求1所述的无标志点的内窥镜定位跟踪方法,其特征在于,在步骤S5,根据CT成像原理,术前CT体数据的表面点云信息采用MarchingCube的方法提取得到7.根据权利要求1所述的无标志点的内窥镜定位跟踪方法,其特征在于,在步骤S5,采用ICP方法将表面点云与内窥镜序列图像的重建后的特征点进行匹配8.一种无标志点的内窥镜定位跟踪系统,其特征在于,包括 畸变校正模块,其校正内窥镜序列图像中存在的径向畸变、偏心畸变和薄棱镜畸变; 特征点提取模块,其提取校正的内窥镜序列图像的特征点; 特征点匹配模块,其对提出的特征点完成相邻帧内窥镜序列图像的特征点的相互匹配; 运动估计模块,其依据匹配的特征点,估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵; 特征点三维重建模块,其依据相邻帧内窥镜序列图像之间的运动矩阵,重建匹配的所有特征点的空间位置; 点云匹配模块,其提取术前CT体数据的表面点云信息,并完成表面点云与内窥镜序列图像的重建后的特征点的匹配,获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量; 定位跟踪模块,其根据旋转矩阵和平移向量,得到内窥镜在CT体数据中的相对位姿信息,完成内窥镜的定位跟踪
  • 技术领域
    [0001]本发明涉及医学
  • 专利摘要
    本发明公开无标志点的内窥镜定位跟踪方法和系统。该方法包括对内窥镜序列图像进行畸变校正;提取校正的内窥镜序列图像的特征点,并完成相邻帧内窥镜序列图像特征点的相互匹配;根据匹配的特征点,估计相邻帧内窥镜序列图像的运动矩阵;依据运动矩阵,重建匹配的所有特征点的空间位置;提取术前CT体数据的表面点云,完成表面点云与重建的特征点的匹配,获得内窥镜序列图像与术前CT体数据间的旋转矩阵和平移向量;根据旋转矩阵和平移向量,得到内窥镜在CT体数据中的相对位姿,将内窥镜实时图像与CT体数据进行融合显示。本发明在不需要选取标志点的情况下能高效准确的定位跟踪内窥镜的位姿,为多模态影像融合引导内窥镜微创手术提供了理论基础。
  • 发明内容
  • 专利说明
    无标志点的内窥镜定位跟踪方法和系统
  • 专利详情
  • 全文pdf
  • 权力要求
  • 说明书
  • 法律状态
无标志点的内窥镜定位跟踪方法和系统的制作方法【技术领域】,具体涉及一种无标志点的内窥镜定位跟踪方法及系统。[0002]内窥镜图像与术前CT影像融合引导的计算辅助诊疗技术被认为是解决颅底内镜手术定位困难、显示不直观等问题最为有效的手段之一,其核心是将跟踪装置固定于手术器械和人体上,在术前获取其计算机断层影像(Computerized Tomography, CT)或核磁共振影像(Magnetic Resonance Imaging, MRI)等,在术中实现手术器械、病人以及多模态影像之间的坐标变换关系,从而实现对手术过程的引导定位。其关键技术是内窥镜的实时定位精准跟踪技术。目前的主要定位系统主要是电磁定位和光学定位,然而光学定位在手术过程中需要在人体上贴有一定数量的标志点,并且保证手术过程中标志点不可遮挡,给手术带来了不便利。电磁定位则需要找到人体与术前CT图像之间相互匹配的至少四个标志点,影响了影像融合的精度。
[0003]本发明实施例所要解决的技术问题在于,提供一种无标志点的内窥镜定位跟踪方法及系统,能够实时准确的定位跟踪内窥镜的空间位置。[0004]为解决上述技术问题,本发明实施例提供了一种无标志点的内窥镜定位跟踪方法,包括:[0005]对内窥镜序列图像进行畸变校正;[0006]提取校正的内窥镜序列图像的特征点,并完成相邻帧内窥镜序列图像的特征点的相互匹配;[0007]根据相邻帧内窥镜序列图像已匹配的特征点,估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵;
[0008]依据相邻帧内窥镜序列图像之间运动矩阵,重建匹配的所有特征点的空间位置;
[0009]提取术前CT体数据的表面点云信息,并完成表面点云与内窥镜序列图像的重建后的特征点的匹配,获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量;
[0010]根据旋转矩阵和平移向量,得到内窥镜在CT体数据中的相对位姿信息,根据位姿信息将内窥镜实时图像与CT体数据进行融合显示。
[0011]本发明实施例还提供了一种无标志点的内窥镜定位跟踪系统,包括:
[0012]畸变校正模块,其校正内窥镜序列图像中存在的径向畸变、偏心畸变和薄棱镜畸变;
[0013]特征点提取模块,其提取校正的内窥镜序列图像的特征点;
[0014]特征点匹配模块,其对提出的特征点完成相邻帧内窥镜序列图像的特征点的相互匹配;[0015]运动估计模块,其依据匹配的特征点,估计相邻帧内窥镜序列图像的运动以获得相邻帧内窥镜序列图像之间的运动矩阵;
[0016]特征点三维重建模块,其依据相邻帧内窥镜序列图像之间的运动矩阵,重建匹配的所有特征点的空间位置;
[0017]点云匹配模块,其提取术前CT体数据的表面点云信息,并完成表面点云与内窥镜序列图像的重建后的特征点的匹配,获得内窥镜序列图像与术前CT体数据之间的旋转矩阵和平移向量;
[0018]定位跟踪模块,其根据旋转矩阵和平移向量,得到内窥镜在CT体数据中的相对位姿信息,完成内窥镜的定位跟踪。
[0019]本发明在不需要选取标志点的情况下能够高效地准确的定位跟踪内窥镜的位姿,为多模态影像融合引导内窥镜微创手术提供了理论基础。



[0020]图1是本发明所提出的无标志点的内窥镜定位跟踪方法的流程图;
[0021]图2是本发明所提出的无标志点内窥镜定位跟踪方法的示意图;
[0022]图3是本发明中的内窥镜畸变校正示意图;
[0023]图4是本发明所提出的特征点三角化重建方法示意图;
[0024]图5是本发明所提出的无标志点的内窥镜定位跟踪系统的结构示意图。

[0025]下面结合附图和具体实施例对本发明作进一步详细描述,但不作为对本发明的限定。
[0026]图1是本发明的无标志点的内窥镜定位跟踪方法的流程图,包括以下几个步骤:
[0027]步骤SI,
[0028]对内窥镜序列图像进行畸变校正。
[0029]针对内窥镜成像存在的畸变,需要对内窥镜序列图像进行畸变校正,以恢复成符合医生观察习惯的正常图像。内窥镜序列图像通常会存在径向畸变、偏心畸变和薄棱镜畸变。本实例中主要以校正内窥镜图像中的径向畸变为例进行说明,如图3所示。当然,本领域的技术人员可以想到校正偏心畸变和薄棱镜畸变的方式。
[0030]构建球形投影模型,根据球形投影规则,建立球形模型参数、畸变图像点坐标与真实图像点坐标之间的对应关系。
[0031]定义世界坐标系下真实图像的线段的起止点为X1 (X1, Y1, Z1)与X1 (X1, Y1, Z1),经过投影球面x2+y2+z2=R2投影到焦距为f的像平面坐标系中,得到畸变图像中的点,成像点分别为U1 (U1, V1)和U2 (u2, V2),则根据投影关系可以得到:

查看更多专利详情