专利名称:用于活体内摄像机的影像捕获控制的制作方法用于对活体内的体腔或身体通道成像的设备在本领域中是已知的,这些设备包括内窥镜和自主胶囊化摄像机。内窥镜是易弯曲或刚硬的管子,它通过身体开口或外科手术开口进入身体,一般来说是经口腔进入食道或者经直肠进入大肠。通过镜头中继系统或连贯的光纤束,使用镜头在远端形成影像并且将该影像传输到身体外部的近端。概念上类似的仪器,例如用C⑶或CMOS阵列,可以在远端电子地记录影像,并且通过缆线将影像数据作为电信号传送到近端。内窥镜允许对视野进行医师控制,是一种广为接受的诊断工具。然而,内窥镜确实有很多限制,给病人带来风险,对于病人来说要侵入体内并且不舒适,而且其成本将其应用限制为例行的健康情况拍摄工具。由于穿越复杂通道的困难,内窥镜无法到达小肠的中的大多数地方,并且内窥镜需要借助特殊的技术和细心才能到达大肠的全部地方,而这增加了成本。内窥镜的风险包括被其穿过的身体器官可能穿孔、以及由麻醉引起的并发症。而且,必须在过程中的病人疼痛、健康风险以及与麻醉相关联的过程后的休息时间之间做出权衡。一种解决了许多这些问题的替代的活体内影像传感器是胶囊内窥镜。摄像机被封装在可吞咽的胶囊中,用于向体外的基站接收机或收发信机和数据记录器发射数据的无线电发射机也被封装在内,所述数据主要包括由数字摄像机记录的影像。胶囊还可以包括无线电接收机,用于从基站发射机接收指令或其他数据。可以使用较低频率的电磁信号来代替无线电频率传输。可以通过外部电感向胶囊内的内部电感感应地供电,或者通过胶囊内的电池供电。在2006年9月19日申请的美国专利申请No. 11/533,304中披露了一种具有板载数据存储器的自主胶囊摄像机系统,该申请标题为“具有板载数据存储器或监管批准频带中的数字无线传输的活体内自主摄像机(In Vivo Autonomous Camera with On-BoardData Storage or Digital Wireless Transmission in Regulatory Approved Band),,。该申请描述了一种用每个影像的一部分引导的运动检测,所述影像部分存储在局部帧缓冲器中。在一个实施例中,两个局部帧缓冲器被用作运算对象缓冲器,分别用于当前影像和参考影像的缩小版本。参考帧缓冲器对应于一个包含之前存储或发射的数字影像的缓冲器。当决定不存储运算对象局部帧缓冲器中的影像时,可以用将被运动检测到的下一数字影像对该局部帧缓冲器进行覆写。否则,该运算对象局部帧缓冲器将被指定为下一个参考局部帧缓冲器,而当前的参考局部帧缓冲器被指定为下一个运算对象局部帧缓冲器。在上述申请中,描述了用于测量两个局部影像之间的运动程度的度量,该度量被用于与阈值进行比较,所述阈值与是否要捕获当下的影像或者为当下的影像决定一个恰当的压缩率有关。序列号为11/623,601,标题为“用于活体内胶囊摄像机的光照控制(LightingControl for In Vivo Camera)”的美国专利申请描述了基于针对影像评估得出的影像参数来调整光源照明的方法和系统。而且,该专利申请还披露了一种运动检测电路,该运动检测电路比较从两个影像中提取的参数值来检测胶囊摄像机的运动。该胶囊摄像机系统中的控 制器可以被配置成根据运动检测结果以活动模式和监视模式来操作胶囊摄像机。然而,该专利没有解决如何调整影像传感器来节省存储和/或功率消耗,该影像传感器作为一个附加的胶囊摄像机控制。在2009年8月19日申请的美国专利申请中,披露了另一种具有板载数据存储器或无线传输的胶囊摄像机系统,该专利申请的序列号为12/543,508,标题为“用于活体内自主摄像机的影像捕获控制(Image Capture Control for In Vivo Autonomous Camera)”。该申请描述了一种自适应的并且动态的方法,该方法用于调整胶囊摄像机的影像捕获的参数,该胶囊摄像机具有板载影像存储器或无线发射机。通过当前影像的局部帧以及之前捕获影像的局部帧,测量运动程度的度量首先被计算。然后,将该度量与一组参数进行比较,以便为当下的影像决定恰当的行动。虽然上述申请使用了运动检测和运动估计来消除某些不必要的影像捕获并且节省了宝贵的板载存储器和电池功率,但是它可能没有完全解决摄像机捕获控制的其他方面。例如,当检测到没有或几乎没有运动时,捕获的影像不必是全空间分辨率。而且,光源的光能也会影响被捕获影像的质量,进而影响存储器和功率消耗需求,其中,光能表示为光强和光源照射时间的乘积。本发明的目的是基于运动度量来解决这些捕获控制问题。
本发明提供了一种用于胶囊摄像机控制的方法和系统,其通过提供照明肠壁的光源并且通过从影像传感器接收对应于由所述光源照明的场景的影像数据来进行所述胶囊摄像机控制。接收到的影像数据被用于运动度量评估,其中,该运动度量评估是基于与当前帧和前一帧相关联的影像数据。运动度量的轨迹被用于决定一个操作模式,该操作模式选自包括捕获模式和节省模式的群。根据选择的操作模式,对应的光源控制然后被应用到光源以用于影像捕获所需的期望照明。可以使用可选的影像裁剪/空间子采样模块来减小用于运动度量估计的影像尺寸。缓冲存储器可以被用来缓冲当前帧的影像数据。如果选择捕获模式,则当前帧的影像数据能够被存储在档案库存储器中。在本发明的捕获控制的一个替换实施例中,可以捕获额外的(N-I)帧,N是大于I的整数。光源控制被应用以使得光源提供充足的光能来照明肠壁,然后来自传感器的影像数据被接收并存储在该档案库存储器中。上述流程将被重复(N-I)次。如果选择节省模式,光源控制将使得光源的光能大大降低以便节省功率,其中,大大降低光能包括关闭光源的模式;和/或影像传感器将被配置输出局部帧。通过调整输出光强、调整照射时间或这二者的结合,光源的光能可以被控制。进入图像可以被丢弃,即不存储。节省模式可以应用到M帧,其中,M是大于或等于O的整数。替代于丢弃所述的进入影像,通过大大减少光能和/或使用局部帧,节省模式可以或则以低质量的方式存储所述的进入影像。捕获控制处理模块评估运动度量和决定操作模式的阶段被称为运动评定阶段。当对应于捕获模式或节省模式的处理完成时,捕获控制将回到运动评定阶段,然后流程重复。在本发明的另一个实施例中,在运动评定阶段期间,替代于使用处理模块,影像传感器被配置成输出局部帧。为了节省系统硬件资源,当前帧的影像数据不缓冲在存储器中。如果选择了捕获模式,光源控制和影像传感器控制将被应用以使得影像以优良质量被捕获。在捕获模式中将捕获到N帧,N是大于O的整数。如果选择了节省模式,光源控制将被应用以使得光源的光能被大大减少,和/或影像传感器可以被配置以输出局部帧或者不·输出任何帧。所述进入影像可以被丢弃,即不被存储。节省模式可以被应用到M帧,其中,M是大于或等于O的整数。替代于将进入影像丢弃,节省模式可以或则存储该进入影像。在根据本发明的捕获控制技术的一个替换实施例中,通过使用外部处理单元而非胶囊摄像机内部的模块来执行运动评估,其中,影像数据被发射到外部处理单元以用于运动度量评估。该外部处理单元还将基于运动度量的轨迹来决定操作模式。然后,被决定的操作模式被送回捕获控制处理模块,并且胶囊摄像机系统将根据接收到的操作模式运行。披露了一种根据本发明实施例的胶囊摄像机设备。该胶囊摄像机设备包括耦合的光源,用于接收光源控制以便调整光强,其中,应用了第一光源控制;耦合到影像缓冲器的影像传感器,用以提供影像数据;耦合到所述影像缓冲器的运动评估模块,用于基于与当前帧和前一帧相关联的影像数据来测量运动度量;以及决定模块,用于基于运动度量的轨迹来选择操作模式。还披露了根据本发明实施例的另一种摄像机设备。该胶囊摄像机设备包括耦合的光源,用于接收光源控制以便调整光强,其中,应用了第一光源控制;耦合的影像传感器,用于接收影像传感器控制以便调整影像传感器,其中,所述影像传感器被耦合到影像缓冲器以提供影像数据,其中,第一影像传感器控制被应用到所述影像传感器;耦合到所述影像缓冲器的运动评估模块,用于基于与当前帧和前一帧相关联的影像数据来测量运动度量;以及决定模块,用于基于所述运动度量的轨迹来选择操作模式。本发明的前述和其他目的、特征和优点将通过参考附图的优选实施例的下述详细描述变得明显。图IA根据一个实施例说明了具有板载存储器的胶囊摄像机系统的一个示例。图IB根据另一个实施例示意性地说明了具有无线发射机/接收机的胶囊摄像机系统的一个不例。图2说明了根据一个实施例的胶囊控制处理模块的示例性框图,其中,使用了影像裁剪/空间子采样模块。图3说明了根据一个实施例的胶囊控制处理模块的另一个示例性框图,其中,影像传感器能够根据影像传感器控制对输出影像的尺寸进行调整。图4A说明了根据一个实施例的捕获控制处理模块的示例性框图,其中,使用了影像裁剪/空间子采样模块并且由外部处理单元完成运动评估。图4B说明了根据一个实施例的捕获控制处理模块的另一个示例性框图,其中,影像传感器能够基于影像传感器控制对输出影像的尺寸进行调整,并且运动评估由外部处理单兀完成。图5是说明了根据一个实施例的提供捕获模式和节省模式的捕获控制操作的流程图。图6A是说明了根据一个实施例的捕获控制操作示例的流程图,其中,使用了影像裁剪/空间子采样模块。图6B是说明了根据一个实施例的在捕获模式中捕获额外的(N-I)帧的例程示例的流程图。图6C是说明了根据一个实施例的用于在节省模式中处理M帧的例程示例的流程图。图6D是说明了根据另一个实施例的捕获控制操作的示例的流程图,其中,使用了影像裁剪/空间子采样模块。图7是说明了根据另一个实施例的捕获控制操作的示例的流程图,其中,影像传感器被配置成在运动评定阶段输出局部帧。图8A是说明了根据一个实施例的捕获控制操作的示例的流程图,其中,影像裁剪/空间子采样模块被用来为运动评估提供局部帧,所述运动评估由外部处理单元完成。图SB是说明了根据另一个实施例的捕获控制操作的示例的流程图,其中,影像裁剪/空间子采样模块被用来为运动评估提供局部帧,所述运动评估由外部处理单元完成。图9是说明了根据另一个实施例的捕获控制操作的示例的流程图,其中,影像传感器被配置成在运动评定阶段输出局部帧。相同。经影像裁剪/空间子采样模块210处理的尺寸减小的影像由发射机/接收机126发射到外部处理单元410,而不是送入帧存储器230a和230b中的一个。外部处理单元410接收来自发射机/接收机126A的影像数据,将该影像数据送入帧存储器230a和230b中的一个。运动评估模块250和决定模块240的功能与其在图2中的相同。决定模块240根据运动度量的轨迹选择捕获模式或节省模式。相应的光源控制、影像传感器控制和归档控制由决定模块提供以方便被选择的模式。来自决定模块240的光源控制信号、影像传感器控制信号和归档控制信号被提供给发射机/接收机126A,以便发射机/接收机126A将其发送到胶囊摄像机的捕获控制处理模块17B。胶囊摄像机的发射机/接收机126接收所述光源控制信号、影像传感器控制信号和归档控制信号。然后这些信号被提取并提供给控制接口440。然后,控制接口应用光源控制信号262来控制光源的光能,应用影像传感器控制信号266来控制影像传感器。图4A说明了胶囊摄像机外部的影像归档的一个示例。将被存储的进入影像在其被提供给影像传输接口 420之前经影像压缩模块280压缩和缓冲存储器285缓冲。然后,该影像由发射机/接收机126A发射到外部处理单元,该外部处理单元位于基站。发射机/接收机126A接收该影像并将其提供给档案库存储器,该档案库存储器在图4A中未示出。通过控制接口 440接收的归档控制信号被用作影像传输控制信号268以控制用于归档的影像传输。图4B说明了根据一个实施例的胶囊控制处理模块17C的又一个示例。除了通过对影像传感器控制而不是对影像裁剪/空间子采样模块210进行编程来执行影像尺寸减小之外,胶囊控制处理模块17C与胶囊控制处理模块17B大体上相同。决定模块240A根据运动度量的轨迹选择捕获模式或节省模式。决定模块提供相应的影像传感器控制、光源控制和归档控制以方便被选择的模式。外部处理单元410中的发射机/接收机126A将控制信号发射到胶囊摄像机中的发射机/接收机126。控制接口 440A应用各控制信号以使得被选择的操作模式更容易。虽然图4A和图4B说明了被捕获影像在基站的外部存储器中归档的实施例,但是也可以用板载档案库存储器将被捕获影像存储在胶囊摄像机内部以备以后取回。图5说明了根据一个实施例的高级操作流程图的示例。运动评定阶段510对应于这样一个步骤,即捕获控制处理模块接收进入影像并且基于当前帧和前一帧来评估运动度量以决定操作模式520,所述操作模式520选自包括捕获模式530和节省模式540的群。然后,胶囊摄像机系统以被选择的模式运行。当所选择模式的操作完成时,胶囊控制处理模块再次进入运动评定阶段,然后流程重复。虽然在这个示例中使用了捕获模式和节省模式,然而还可以包括更多的模式。例如,还可以使用低质量捕获模式,其使得影像以降低的质量被捕获。低质量捕获模式可用于介于低阈值和高阈值之间的运动度量。在一个实施例中,低质量捕获模式被看作节省模式中丢弃影像的替换。因此,节省模式可以不存储进入影像或者以低质量存储进入影像。此外,运动评定阶段的配置可以被动态地改变。例如,可以将不同的影像传感器控制或不同的光源控制配置用于从捕获模式和节省模式的返回。
图6A说明了图2中的胶囊控制处理模块17的操作的详细示例性流程图。步骤610到640对应于图5中的运动评定模块510。为了评定运动度量,第一光源控制被应用到光源,以便在步骤610中照明腔壁。来自影像传感器的影像数据随后被接收,并且该影像数据在步骤620中还被缓冲在缓冲存储器中。步骤625通过对进入影像进行裁剪和/或空间子采样来提供可选处理以产生影像尺寸减小的影像副本。原始的全尺寸影像可以保存在缓冲存储器中以用于可能的归档存储。如前提及,步骤625是可选的,因为运动评估也可以基于全尺寸影像数据来执行。在步骤630中,运动度量基于与当前帧和参考帧相关联的局部影像数据被评估。被计算的运动度量以及之前的运动度量被用来在步骤640中决定操作模式。该模式在步骤650中被检查以决定流程将流向哪个分支。如果该模式是捕获模式,则已经在缓冲存储器中的影像数据可以存储在档案库存储器中。如果额外的(N-1)帧将被捕获,则将执行捕获路径660,其中,N是大于I的整数。如果该模式是节省模式,则程序680被执行以处理M帧,其中,M是大于或等于O的整数。在节省模式开始时,如果期望,已经在缓冲存储器中的影像数据可以被存储在档案库存储器中。用于捕获(N-I)帧的捕获例程在图6B中示出,因为一帧已经在步骤620中被捕获并且在步骤655中被存储。为了启动迭代,如框657中所示,指数i被设置为I。在步骤661中,第二光源控制被应用到光源以照明腔壁。影像数据在步骤662中从影像传感器被接收,然后影像数据在步骤665中被存储在档案库存储器中。然后,指数i在框666中被增力口,在步骤667中完成“i>(N-l) ”的测试。如果满足该条件,则程序完成。否则处理进行到步骤660。如果期望捕获N帧,则框656被跳过,并且框667中“i> (N-I) ”的测试被修改为“ i>N ”。在图6C中示出了节省模式程序,其中,该模式被应用于M帧,M是大于或等于O的整数。在步骤668中执行测试“M>0 ”?。如果该条件失败,则处理结束。否则通过在步骤669中设置“j=l”,重复开始。在步骤670中,第三光源控制被应用于光源以大大减少光能,其中,光能的大大减少是就全光能而论的。在一个示例中,光源可以被配置在节省模式中提供一个固定的极低光能。大大减少光源还包括关闭光源的情况。进入影像数据在步骤672中被接收,其中,影像传感器被配置成致使局部帧输出,其中,局部帧输出可能意味着没有输出,然后进入影像如步骤673中所示被存储在档案库存储器中。然后,指数j在步骤674中被增加,然后在步骤667中执行“ j>M ”的测试。如果满足该条件,则程序结束,否则程序回到步骤670。虽然图6A中说明的示例一直包括了步骤620,所述步骤620接收来自影像传感器的影像数据并且将该影像数据缓冲在缓冲存储器中,然而也可以使用替换的方法。例如,当操作从对应于节省模式的步骤680返回时,下一帧不存在运动的可能性较高。因此,鉴于对下一帧可能无需存储在档案库存储器中的预期,完整帧的影像数据将不在缓冲储存器中缓冲,直到从节省模式返回为止。此外,在这种情况下,光源控制可以产生类似于节省模式且低于捕获模 式的光照级别。如前所述,运动评定阶段可以依赖于前一模式动态地调整设置。例如,如果前一模式是节省模式,运动评定阶段可以被配置成使影像传感器提供局部帧而不是完整帧。在这种情况下,在当前帧缓冲器中只有对应当前帧的局部帧可用。如果系统基于运动度量的轨迹选择捕获模式,则无法获得一个完整的当前帧。因此,系统必须旁路到图6A的步骤655。或则,系统必须正确地设置影像传感器以输出一个完整帧的影像并且捕获下一帧。图6D说明了根据本发明替换实施例的流程图的示例,其中,针对节省模式的步骤610a和620a将准备局部影像以用于运动评定目的。如果选择捕获模式,系统将在步骤651中检查处理是否从之前的节省模式返回。如果确定为“是”,则处理将执行步骤660A,步骤660A类似于步骤660,不同之处在于它捕获N帧而不是(N-I)帧,因为没有捕获第一帧的步骤655。如果在步骤651的测试中确认“否”,则处理流将在步骤655中存储该第一帧并且将剩余的(N-I)帧捕获到档案库存储器中。图7说明了对应于图3中胶囊控制处理模块17A的操作的示例性流程图。该流程图大体上与图6A相同,相同的参考数字将被分配给执行相同功能的框。步骤610、720、630和640对应于图5的运动评定阶段。替代于在步骤625中使用裁剪和/或空间子采样来减小影像尺寸,胶囊控制处理模块提供具有影像传感器控制的影像传感器,以致如步骤720中所示输出来自影像传感器的局部帧。在捕获模式中,第二影像传感器控制在步骤730中被应用到影像传感器。因为第一影像传感器控制将致使影像尺寸大大减小并且捕获模式期望进入影像的高质量捕获,所以需要第二影像传感器控制来选择期望的全影像分辨率。在步骤730中应用第二影像传感器控制之后,在步骤661中应用光源。然后,影像数据在步骤662中被接收,然后在步骤665中被存储在档案库存储器中。在捕获模式中,因为当前帧的影像数据不可得,所以图6A的步骤655不执行。如果操作模式是节省模式,则程序680跟着处理后面的M帧,其中,M是大于或等于O的整数。图8A说明了图4A中的胶囊控制处理模块17B的操作的详细示例性流程图,其中,外部处理单元被包含以评估运动度量并决定操作模式。该流程图大体上与图6A的一样,相同的参考数字将分配给执行相同功能的框。步骤610到625,步骤810和820对应图5的运动评定阶段。在步骤625中使用裁剪和空间子采样提供的局部影像数据在步骤810中被发射到外部处理单元。外部处理单元将基于与当前帧和前一帧相关联的局部影像数据评估运动度量,并且基于该运动度量的轨迹从包含捕获模式和节省模式的群中选择操作模式。然后,在步骤820中,胶囊控制处理模块从外部处理单元接收该操作模式。当该操作可用时,图8中的剩余处理步骤与图6A中的相同。将影像数据存储在档案库存储器中可以包括将影像数据发射到外部接收机。图8B说明了根据本发明的替换实施例的类似于图8A的流程图的示例,其中,传感器将在从节省模式返回时输出局部帧影像。如果系统基于运动度量的轨迹选择捕获模式,则必须测试它是否返回自节省模式,以采取如图8B中所示的各个行动。图9说明了图4B中的胶囊控制处理模块17C的操作的详细示例性流程图,其中,外部处理单元被包含以评估动作度量并决定操作模式。该流程图大体上与图7中的相同,相同的参考数字将被分配给执行相同功能的框。步骤610、720、810和820对应于图5的运动评定阶段。上述详细描述说明了本发明的
并且不意在限制。在本发明范畴内的
大量的修改和变化是可能的。本发明在下列权利要求中被阐述。
提供了一种用于视频数据的捕获控制的系统和方法,该视频数据来自具有板载存储器或无线传输的胶囊摄像机系统。该胶囊摄像机系统蠕动经过胃肠道,记录下肠壁的影像。在某些时期,该胶囊摄像机系统可能移动得非常缓慢,并且不同帧之间的影像数据几乎没有差别。这些帧可以被指定丢弃以便节省存储空间或节省功率。一个胶囊控制处理单元被包含,以基于与当前帧和前一帧相关联的影像来评估运动度量。基于该运动度量的轨迹做出决定,即决定从包含捕获模式和节省模式的群中选择一种操作模式。然后,该胶囊摄像机系统根据选择的操作模式进行操作。
用于活体内摄像机的影像捕获控制制作方法
- 专利详情
- 全文pdf
- 权力要求
- 说明书
- 法律状态
查看更多专利详情
下载专利文献
下载专利
同类推荐
-
埃米利奥·鲁伊斯莫拉莱斯埃米利奥·鲁伊斯莫拉莱斯朴淳五田皓日
您可能感兴趣的专利
-
李金积M.菲尼M.菲尼
专利相关信息
-
陈华曲晓青曲晓青李健祥, 王晓光李健祥, 王晓光