早鸽—汇聚行业精英
  • 联系客服
  • 帮助中心
  • 投诉举报
  • 关注微信
400-006-1351
您的问题早鸽都有答案
3000+专业顾问
搜索
咨询

综合人体运动分析的系统和方法

  • 专利名称
    综合人体运动分析的系统和方法
  • 发明者
  • 公开日
  • 申请日期
  • 优先权日
  • 申请人
  • 文档编号
  • 关键字
  • 背景技术
  • 具体实施例方式
    下面的描述和附图只是说明性的并不是对本发明的具体限制为了进行透彻的理解,对许多具体细节进行了描述然而,在某些实例中,为避免对本发明的内容造成模糊,没有对公知的或者常规的细节进行描述本发明中所指的一个实施例或实施例并不一定是指 的同一个实施例,其指的是至少一个实施例本文中使用的标题仅为参考方便之用,并且不能以任何形式解释为对本发明或下面的权利要求的限制本说明书中所指的“一个实施例”、“实施例”、“本发明”或类似的用语是指,与具体实施例相关的具体特性、结构或特征是包括在本发明的至少一个实施例中在本说明书中各处出现的短语“在一个实施例中”并不一定都指的是同一个实施例,也不是与其他实施例相互排斥的单独的或选择性的实施例而且,此外,可能有些特征在某些实施例中进行了描述而在其他实施例中并没有描述同样地,在某些实施例中所描述的要求,可能在其他实施例中并没有要求评分量表(例如,帕金森病综合评分量表(UPDRS);运动失调、锥体外系运动、静坐不能,亨廷顿病和儿童运动异常的评分量表;以及Hoehn-Yahr量表)是国际认可的用于分析此类人体运动和自制人体运动检测项目(例如检查手部震颤等)的临床标准但是,多项研究最近已表明,当应用这些评分量表时,其结果产生了显著的变化,具体取决于各种各样的因素,例如特定医生的经验和训练水平因此,现代临床运动分析方法主要限于由医生进行目测,并且是没有利用客观、量化框架的方式在一个实施例中,人体运动分析模块被设计为具有灵活性的模块,其可以很容易地加入或修改任何个别的人体运动检查项目本发明全文中使用到三个术语(i)人体运动检查项目、(ii)人体运动检测模块以及(iii)人体运动分析模块在神经骨科、身体康复领域以及相关领域,存在有众多标准的和常见的人体运动检查项目人体运动检查项目通常关注于病人的某一特定运动-例如,“手指至鼻部”是人体运动检查项目的一个例子为了客观和可靠地管理这些人体运动检查项目并且客观地记录和测量病人在单个检查项目上的运动行为,可能会出现定时的标准化音频指令、摄像机设置以及与病人的人体运动检查项目的自动化管理相配合的记录装置这些设置的集合被称作人体运动检测模块,并且是由下面的设置汇集而成,例如,摄像机设置、记录时间设置、延时设置以及时间上与其他设置同步的标准化音频指令和设置一旦记录的前提是这些纪录是由人体运动检测模块严格且可靠地产生的,检测模块所述视频和音频记录已经采集了病人在人体运动检查项目上的行为然后,需要自定义地对分析算法和探式法进行选择,以从视频和音频记录中最佳地提取该人体运动项目行为的特征这种分析算法和探式法的集合称作人体运动分析模块该人体运动分析模块所产生的结果随后用来填充在数据图的合适位置,或者在报表的合适位置,以及用来与标准进行对比前述提到的三个术语在实际应用中的一个例子可以是“手指至鼻部”人体运动检查项目用于“手指至鼻部”人体运动检查项目的人体运动检测模块包括摄像机设置、云台设置、定时延迟设置、音频和视频记录时间设置、以及与“手指至鼻部”人体运动检查项目相关联的设置同步的自定义音频指令文件,并且其指导指导病人,让他或她的运动与某一具体的人体运动检测项目相一致在执行期间,“手指至鼻部”项目的行为以音频-视频文件格式进行记录对该音频-视频文件格式进行分析需要有专门针对该运动的类型和包含在该音频-视频文件格式中相关运动特征的方法这也是“手指至鼻部”项目的人体运动分析模块发挥作用的地方,因为人体运动分析模块包括有专门针对为“手指至鼻部”检查项目进行记录的运动的类型的方法、算法和探式法 因此,当在具有配置设置(例如,音频指令、定时、摄像机设置)的特定人体运动检测模块之间执行一个特定的人体运动检查项目时,会产生记录文件然后执行该人体运动分析模块,其是自定义的专门用于分析记录人体运动检测项目的人体运动检测模块记录文件的检测模块人体运动分析模块依次产生的数据随后被作为在特定人体运动检测模块的指导、音频指令、时间控制和记录下,对特定人体运动检查项目的病人经过客观测量的特征在一个实施例中,人体运动检查项目可能是来自于标准化运动检查仪器或标准的项目,或者是为实现临床目的或研究目的而设置的检查某一特定运动的项目这种项目的一个例子就是“手指至鼻部”项目,这是一个长期存在的临床检查项目,其具有用于指导和评估在该指定的运动中会很明显的出现的指导与视觉-空间目标错误,或者休眠、意向震颤或者指导原发性震颤相关的动作在一个实施例中,每个人体运动检测模块可分别包括一个音频指令文件、一组相关联的摄像机设置(包括,不局限于云台设置、变焦设置、光圈设置、白平衡-蓝色和白平衡-红色设置、曝光设置以及增益设置)、一组与音频指令文件相关的基于运行时间设置的相关软件(“运行时间设置”可与本发明全文中使用的术语“延迟时间”和“记录持续时间”同义)、一组按预定程序排序的信号灯、一组相关的视频和音频记录持续时间,其中该记录持续时间取决于与音频指令文件相关的运行时间设置、以及病人相对于摄像机和摄像机设置(例如云台设置)的具体位置在一个实施例中,人体运动分析模块可包括用于进行运动检测和量化的算法、探式法以及一系列基于软件的策略或分析,这些算法或分析被应用于在人体运动检测模块上执行软件和设置所产生的记录音频和视频的序列结果上这种人体运动分析模块所产生的规范性数据的集合和来自人体运动检测模块的模块设置,以及执行特定人体运动检测模块所产生的个体记录的结果与相对于同一模块所采集的规范性数据的设置的比较,可能连同特定人体运动分析模块的算法和分析一起执行,来例如产生具有对比值的报告,以显示其结果和其相对于规范性数据的值
  • 专利详情
  • 全文pdf
  • 权力要求
  • 说明书
  • 法律状态
专利名称:综合人体运动分析的系统和方法综合人体运动分析的系统和方法 相关申请的相互参考本申请主张了申请日为2009年10月30日、发明名称为“综合人体运动分析的系统和方法”的美国临时专利申请No. 61/256930以及申请日为2010年10月28日、发明名称为“综合人体运动分析的系统和方法”的美国非临时专利申请No. 12/914951的优先权,其公开内容的内容作为本发明的参考。人体运动的检查和分析在神经学领域已经有着很长的历史。医生对人体运动进行分析,以对其健康问题进行诊断和治疗,例如帕金森病、亨廷顿病、妥瑞氏症、迟发性运动障碍、肌张力障碍、震颤症、中风有关的活动受限、中风后遗症、外周神经肌肉损伤,脱髓鞘疾病、抽动障碍、不安腿综合征、动作溢流紊乱、大脑性麻痹以及任何通过变化的人体运动中反映出来的损伤等。
此处描述了综合人体运动分析的系统、方法和计算机可读介质。在本部分内容中对一些实施例进行了概括。在一个实施例中,提供了一种方法和一种存储有一组指令的计算机可读介质,当计算机执行这些指令时,实施下列方法,其包括接收模块配置设置,来配置一个自定义的用于人体运动检查项目的人体运动模块检测模块;对病人发出与所述自定义人体运动检测模块相关的音频指令;根据所述模块配置设置,对具有逐行扫描能力的单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及根据所述单摄像机所提供的信息对记录的数据进行分析,以测量所述病人所表现出的人体运动。在一个实施例中,所述模块配置设置包括下列一组内容中的至少一种摄像机变焦、摄像机聚焦、摄像机定向、摄像机平移、摄像机巾贞速率、摄像机倾斜、摄像机売度、摄像机光圈、摄像机增益、摄像机白平衡蓝色、摄像机白平衡红色以及摄像机曝光。在一个实施例中,所述模块配置设置还可包括视频和音频的记录持续时间。在一个实施例中,上述方法和计算机可读介质还提供了 将音频指令与记录延时和记录持续时间同步。在一个实施例中,此外,所述音频指令包括下列一组内容中的至少一个使得病人根据所述人体运动检查项目采取行动的指令、开始行动的指令以及停止行动的指令。在一个实施例中,上述方法和计算机可读介质还提供了 记录人体运动检查项目的病人在人体运动检测模块运行期间的行为以生成所述记录数据,其中该记录数据包括音频和视频数据。在一个实施例中,上述方法的分析步骤和计算机可读介质还提供了 将人体运动分析模块技术应用于与所述自定义人体运动检测模块一致的所述记录数据;将跟踪算法方法应用于与自定义人体运动检测模块一致的记录数据;产生汇总结果数据作为模块分析技术的附属产物;以及将所述汇总结果数据与所述自定义人体运动分析模块的规范标准进行对比,以确定病人是否表现出人体运动失调。在一个实施例中,还提供了一种系统,其包括具有逐行扫描能力的单摄像机以及连接至该单摄像机的计算装置,其中该计算装置配置为接收模块配置设置,以配置一个自定义的用于人体运动检查项目的人体运动检测模块;对病人发出与自定义人体运动检测模块相关的音频指令;根据所述模块配置设置,对单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及基于单摄像机所提供的信息对记录的数据进行分析,以测量所述病人所表现出的人体运动。本发明所公开的内容包括方法和系统,其中所述系统包括计算机系统和数据处理系统,其执行所述方法。本文所公开的内容还包括计算机可读介质,当在计算机系统和数据处理系统上执行所述计算机可读介质时,使得系统能执行所述方法。接下来的附图和详细描述,将显示本发明的许多其他特征和具体实施例。 实施例是通过具体的例子进行阐述的并且并不局限于附图中所示的实施例,其中在这些附图中,相同的标号表示类似的元件。图IA示出了根据一个实施例的综合人体运动分析的系统。图IB示出了根据一个实施例的综合人体运动分析的系统。图IC示出了根据一个实施例的综合人体运动分析的系统中使用的摄像机塔架。图ID示出了根据一个实施例的综合人体运动分析的系统中使用的部件。图2A示出了根据一个实施例的综合人体运动分析的系统。图2B示出了根据一个实施例的综合人体运动分析的系统中使用的部件的全貌。图2C示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。图2D示出了根据一个实施例的综合人体运动分析的系统中使用的部件的视图。图2E示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。图3A示出了根据一个实施例的综合人体运动分析的概括的记录系统概述的方法的流程图。图3B示出了根据一个实施例的用于综合人体运动分析的概括的音频指令概述方法的流程图。图4A示出了根据一个实施例的用于综合人体运动分析的概括的分析系统概述的方法的流程图。图4B示出了根据一个实施例的用于综合人体运动分析的、分析模块以及生成报表和报告数字的方法的流程图。图5示出了根据一个实施例的用于综合人体运动分析的足部和脚后跟轻敲分析方法的流程图。图6示出了根据一个实施例的用于综合人体运动分析的手指轻敲和手部轻拍分析方法的流程图。图7示出了根据一个实施例的用于综合人体运动分析的头部运动测量方法的流程图。图8示出了根据一个实施例的用于综合人体运动分析的步态或行走测量方法的流程图。图9示出了根据一个实施例的用于综合人体运动分析且用于测量无意识运动或震颤的SALCP算法方法的流程图。图10示出了根据一个实施例的数据处理系统。

在一个实施例中,可能会执行添加另外的或替代的人体检测模块,其中所添加的另外的或替代的人体运动检测模块分别具有其各自的特定摄像机定位、摄像机设置、病人定位、音频指令、音频指令声音文件(其可以简单的是特定时间的“开始”和“停止”,或者操作者在“开始”发生之前为病人阅读指令)以及音频和视频记录参数。在一个实施例中,可修改或加入不同的人体运动检测模块,其中每一模块分别具有其各自的特定摄像机定位、摄像机设置(例如云台设置)、病人定位、音频指令以及音频/视频记录参数。因此,本发明中的实施例并不局限于任何特定的运动障碍计划、评分仪器或者规则。本发明包含了人体运动检测模块的设计和具体实施例,其包括摄像机定位、摄像机设置、音频指令模块设计、音频指令时间控制、视频和音频延时和参数、运动操作检查的视频和音频记录、以及声音性能等,这种设计是独立于任何已公开的计划表或用于运动障碍的评分量表的,检测模块,但是它能在不改变本发明的具体实施例的情况下完全包含那些特定临床仪器中的项目。这些特定临床仪器中的单个项目可能已经被行业内的临床医师单独使用很多年了,而这些行业内的临床医师并不使用特定临床仪器或评分量表。在一个实施例中,本发明的整个系统可当作是“主系统”,其可以实施几乎任何人体运动检查项目。该系统可提供弹性的灯光、弹性的摄像机设置、弹性的摄像机定位、弹性 的记录用帧率、弹性的变焦、弹性音频记录以及弹性音频指令和定时结构。所述分析提供,例如,无意识震颤运动测量、头部运动测量、手指和手部运动测量、足部和脚后跟运动测量、声音行为测量以及行走和姿势稳定性测量。如此,本发明可实施来自任何计划、评分量表的人体运动测量项目的测试项目或项目,或者任何为人体运动测量新创建的人体运动检查项目。在一个实施例中,在具有预定病人或物体位置的室内环境中,本发明除了用于人体运动之外,本发明还可以用于物体运动。一个示例性的人体运动检测模块为“手指至鼻部”运动模块,其适应为根据本发明的人体运动检测模块。手指至鼻部运动的特定人体运动检查项目可能不针对任何具体的检查标准,但是能够被创建成适应一个选定的标准或者来自于,例如,同行评审的出版物或权威来源的标准的组合。因此,本发明可以用产生客观和定量的数据,在确定的、可重复的和有组织的环境下,来自动地测量临床例行的“手指至鼻部”运动检查项目。本发明相关的多个临床检查运动项目提供了新的且具有创造性的自动化的、标准化的以及结构化的运动检测模块,在本发明中这些运动检测模块已经建立并被用于有效的人体运动分析。在一些医院中使用现有的视频系统以及其他用于临床和定量人体运动检查的设置,可能会用到大型且复杂的计算机系统,这些计算机系统采用了多个有组织地放置在病人身上的标记物以及多个摄像机。在一个实施例中,本发明涉及一种预设病人的位置的单摄像机系统,并且对以下人员在办公室的使用进行了详细的系统性分析技术人员、操作者、研究人员、医生、运动障碍实验人员或小组或者身体康复实验人员或小组、或者其他类似人员或机构,上面的所有人员在下文中都被称作“操作者”。在一个实施例中,下述的所有检测模块组合成一个单独的单调关联系统。在一个实施例中,本发明可在面积为22X 13英尺或更大的办公室或检查室内使用。在一个实施例中,本发明可在面积仅为7X14英尺的空间内使用,并且仍然能够提供大多数多年来已经成为标准临床实践的一部分的临床人体运动检查项目。在一个实施例中,可以通过音频-视频记录来帮助最佳运动检查的时间和空间的安排,并且所述音频-视频记录可用于基于软件的分析。在一个实施例中,所述音频-视频记录可自动进行。在一个实施例中,提供了一种实现人体运动和一般运动的客观定量分析的综合人体运动分析系统。一个记录系统记录人体运动的数据,以及一个分析系统根据多个不同的人体运动分析模块依次分析该数据。所述人体运动分析模块采用算法和探式法来分析视频记录的人体运动数据,能够客观和定量地测量预定类型的人体运动以及在那些运动类型中展现的人体运动障碍,这进而允许实现更准确地测定障碍亚型、跟踪治疗效果、跟踪障碍进展以及量化选择性症状。在一个实施例中,还可测量声音延迟、声压、发音和反应内容,从而测试病人是否存在人体运动障碍。在一个实施例中,在系统中使用的麦克风装置和音频混音均衡器能够对病人声音进行标准化的记录。还可在各检测模块的记录阶段之前或在记录期间,将指令的声音传给病人。在记录期间,音频指令可由,例如,在音频指令声音文件的特定时间点处的简单的“开始”和“停止”构成,以指示什么时候病人开始执行由系统预录的音频指令指导的人体运动检查项目。这样,特定检测模块的音频指令所提出的标准临床问题可以允许后续的分析来确定病人作出反应的延迟、反应的声压、反应的发音以及反应的文字内容,因为所述各临床问题的表现和持续时间可以是以标准化的方式以及可靠地可重 复方式进行呈现的。在一个实施例中,分析软件能够对作出反应的声音延迟(完成问题自动陈述之后的时间延迟)进行分析,并且通过下列方式对病人回答的声压(反应振幅)进行分析将其与在相同或类似条件下研究的对照组中的作出反应的相同声音延迟以及声压进行对比。在一个实施例中,提供了实现人体运动和一般运动的客观定量分析的系统。在一个实施例中,用方法、算法和探式法对数据(以数字存在或以图像/视频形式存在)进行处理并且产生作为最终结果的图形报告或者表格报告。一种称作“所有三种颜色层的拉普拉斯变换绝对值的总和”(SALCP)的独特方法和算法是一种先进且复杂的方法和算法,其中并不总是需要使用绝对值,但是也可以使用算术值,它对视频数据中的帧进行分析以确定运动,并且除了人体运动分析之外,其应用范围相当宽广。
糖体系统图IA示出了根据一个实施例的综合人体运动分析的系统。人体运动分析系统100包括各种部件。实验对象区域101包括椅子IOla和视频墙101b,其可包括至少一个具有特定混合颜色的薄纱视频墙,图I中示出了 3面薄纱视频墙,全部位于椅子IOla的侧面。实验对象通常为人类,但是也可是任何能够移动或不能移动的对象、动物或机器,实验对象可坐在椅子IOla上或者位于视野内椅子IOla通常占据的待记录位置。在一个实施例中,椅子IOla可以是低靠背的类型,附有扶手,和/或椅子配备有可移动的手肘杯,椅子IOla的扶手上各一个,这有利于实验对象/对象能够舒适地坐在椅子IOla上。在一个实施例中,不需要使用椅子IOla ;实验对象或对象可不需要椅子IOla站立,或者可使用其他支撑物,例如凳子或平台。视频墙IOlb可由薄纱或其他材料制成。薄纱是一种精细编织的、通常以棉为主的织物,其通常染成有利于视频环境的均匀的颜色或者印制图案。薄纱还吸收光,而不是反射光结果,实验对象所反射出的光是明亮的,从而能够较容易地检查实验对象的运动。视频墙IOlb可悬挂在一个或多个墙体上、铺于地板和/或天花板上作为背景。在一个实施例中,视频墙IOlb可由抽象图案中多种颜色的杂色组合构成,类似于迷彩色,其中这些颜色所表现的颜色范围与将要记录的感兴趣的对象(例如皮肤和人体特征)十分不相似。在一个实施例中,视频墙IOlb可由另一种材料制成。在一个实施例中,可不使用视频墙101b。在一个实施例中,视频墙IOlb可通过选择性地选择对于人体运动分析系统100的房间的墙体、底板和天花板表面来说反射性最低的涂料来实现。摄像机102可以具有麦克风103,可放置于塔架104上。摄像机102还可具有云台单兀102a,以控制摄像机102的平移(水平移动)和倾斜(垂直移动)。摄像机102用来记录如图IA所述的可以坐在椅子IOla上的、或者可以任何其他姿势站立的实验对象或对象。在一个实施例中,摄像机102不进行记录,但是将现场视频帧送入计算机112的计算机存储器108中,以供后续存储和分析。在一个实施例中,摄像机102可适应(例如)Gigawire, USB、Zigbee, Firewire (1394a和1394b以及后来的基于1394的规范)以及用于输入或通信连接至计算机的无线摄像机通信(例如,IEEE 802.11)。在一个实施例中,摄像机102可以是能够逐行扫描、电动变焦的摄像机,具有固态图像配准技术,从而能够实现视频记录开始前的灰度系数、红-白平衡、蓝-白平衡、亮度、曝光、光圈、增益以及聚焦的计算机控制设置。 在一个实施例中,可使用非变焦镜头的视频摄像机。在一个实施例中,可使用隔行扫描摄像机。在一个实施例中,可采用“The Imaging Source”的DFK 31BR)3. Z作为摄像机102,其为firewire视频彩色摄像机并且可配备芯片捕捉软件套装(IC Capture Software Suite)。麦克风103还可与摄像机102分隔开。在DFK 31BR)3.Z型号的摄像机的情形下,可将麦克风103分隔开。在一个实施例中,平台单元102a和摄像机102可以是分开的实体。在一个实施例中,平台单元102a和摄像机102可以是同一实体或者相互连接。在一个实施例中,其他60帧/秒(fps)变焦摄像机可用作摄像机102。对于任何视频摄像机102,如果视频流或者音频-视频流是通过计算机存储器108进行存储和记录,那么计算机可包含图像采集软件。在一个实施例中,数字图像采集软件可以适应于帧速率的速率读取来自摄像机102的输入视频流数据以及将单帧输出至存储媒介。在一个实施例中,帧速率的范围可从小于每秒一帧到大于每秒2000帧,基于摄像机、视频存储容量和速度性能而定。在一个实施例中,使用的范围可以是从30帧/秒到60帧/秒。在一个实施例中,麦克风103可以是摄像机102组件的一部分。在一个实施例中,麦克风103可以是分开的并且可通过音频混音均衡器106连接至计算机存储器108。对于任何视频摄像机,摄像机102还可包含视频和音频记录单元,或者摄像机102和麦克风103可以是分开的独立实体。在一个实施例中,可位于计算机存储器108中的整体主机软件可适应任一情况,并且在摄像机102和麦克风103相互分开的情况下,整体主机软件可将音频写入输入视频文件中,以产生标准音频-视频文件格式,并且同时产生可以独立地或者来自音频-视频文件的单独音频文件。在一个实施例中,可采用具有对三种颜色层产生迪拜耳处理的拜耳颜色检测规范的最小像素密度640X480,但是也可采用更小或更大的像素密度,其可提供较小或较大的视频帧图像矩阵或者提供720X480或1024X768或更高的分辨率。在一个实施例中,数字图像采集软件可以低于15fps到高于120fps的范围内的适当的帧速率的速率,读取来自摄像机102的输入视频流数据,并且将数据的单帧以适当的格式输出到计算机存储器108以逐行扫描图像。
灯具106和另外的吊灯(未示出)可用来照明实验对象区域101。在一个实施例中,灯具106可包括能够安装三个灯泡的可调灯架,其容纳至少两个分别为2700K的紧凑型荧光32瓦灯泡。在一个实施例中,实验对象区域101上方的吊灯可包括4200K的36寸天花板四管荧光灯。在一个实施例中,4200K的天花板荧光灯可与四盏2700K灯具一起使用作为“聚光灯”,以加亮特定身体部位。在一个实施例中,在天花板照明充足的情形下,可不使用2700K “聚光灯”。将合适且充足灯光聚焦在实验对象身上,从而最大化记录或测量结果的准确度。在一个实施例中,荧光照明用来产生最低热量,以便为病人形成舒适的温度环境。通信链路111将摄像机102连接至计算机112。通信链路111可包括,例如,1394a或 1394b Firewire、USB、Gigawire、IEEE 802. 11、802· xx 或者其他通信标准或协议。计算机112可通过通信链路111控制摄像机102。在一个实施例中,计算机112可通过云台控制器115控制摄像机102的云台设置142、和摄像机设置140(140和142示于图ID中),而云台控制器115控制摄像机102的云台单元102。在一个实施例中,音频混音均衡器116可以是无源元件,其中操作者通过手部增益、平衡以及整个记录期间保持不变的音调设置进行控制。在一个实施例中,音频混音均衡器116受计算机控制并且可具有也受计算机控制的设置。遥控接收器114接收来自遥控单元107的信号,从而控制计算机112和摄像机102 的运作,不需要操作者必须在计算机112和摄像机102旁。在一个实施例中,遥控单元107可基于射频脉冲编码调制(例如,针对按下的8个键中的每一个,不同的脉冲编码序列的传输高达300英尺)。在一个实施例中,遥控单元107可采用红外无线通信或其他无线通信协议(例如,蓝牙、Zigbee、900MHz等)进行控制。例如,为了进行记录,图像采集和摄像机控制以及视频帧采集软件套件可安装在计算机112或摄像机102中。在一个实施例中,摄像机102可同时具有摄像机控制软件和视频帧采集软件应用程序。在一个实施例中,计算机112可以是多媒体台式机或者相似的计算机,这种计算机具有较高的驱动器数据传输速率和至少,例如,3Gb/s的数据传输速率的驱动速度,以及高分辨率显卡处理能力,以在安装有与安装于计算机112中的Windows XP SP2或Windows Vista或Windows 7类似的操作系统的32-64位机器上支持图像、图形密集能力。显示器110还连接至计算机112以显示程序内容和现场视频图像。在一个实施例中,显示器110可以是24英寸的计算机显示器。在一个实施例中,显示器110可以是在相同的物理包装中的封闭计算机112、计算机存储器108和显示器110的组合型计算机-显示器单元。在一个实施例中,还可将键盘109联接到计算机112,并且可在计算机112之内或之外。在一个实施例中,计算机112可以是计算机系统。在一个实施例中,计算机112可以是多个计算机或计算机系统。在一个实施例中,计算机112可以是通信地联接的计算机或计算机系统网络。信号灯117可位于摄像机102的顶部,并且在一个实施例中,为Delcom907241信号灯。在一个实施例中,信号灯117为具有三个灯的(红色、黄色和绿色)、USB控制的信号灯装置。信号灯117可包括三种颜色,以表明计算机112当前正在执行的操作以及向操作者说明计算机112的当前连续操作,使得操作者能够选择不待在键盘109/计算机112旁,一直观看显示器110以查看模块操作的当前阶段和等待将要进行的下一命令或事件。换句话说,信号灯117实质上告诉了操作者计算机112正在做的操作,而操作者不必走到计算机112的显示器110并亲自查看。现仅作为一个实例来说明,如图IA所示,信号灯117中的红色可表示计算机程序已经完成了其处理并且准备好进行下一模块,黄色可表示计算机112正在设置下一个要执行的所选模块,以及绿色可表示处理正在执行中。在一个实施例中,信号灯117并不局限于那三种颜色,并且红色、绿色和黄色的例子仅作为一个实例而提供。在一个实施例中,另一信号灯117可位于为操作者提供了未受阻挡的视野的房间内的任何位置,不会对正在进行记录的病人或对象造成注意力分散。在一个实施例中,计算机存储器108可包含软件,该软件在记录病人或对象的运动或者行为时,在模块操作阶段顺序中的一个特定阶段内从信号灯117选择一种特定颜色的灯。在一个实施例中,信号灯117可出现在别处或者出现在房间内或任何对象上的任何位置。音频混音均衡器116包括麦克风输入连接器和交流电源输入连接器以及音频输出连接器,从而控制连接至摄像机102或者与摄像机102分开的麦克风103的音频记录参数,以及控制一般情况下的记录环境。在一个实施例中,音频混音均衡器116可以是Behringer Xenix 702 Sound Mixer,并且在一个实施例中,麦克风103可以是BehringerPro B2幻影双膜动态麦克风和支架,其配备有50英尺长的三芯电缆,以适应放置在病人旁 边的麦克风103和支架的位置,而音频混音均衡器116邻近计算机112、摄像机102和摄像机塔架104。云台控制器115控制云台单元102a,其依次控制摄像机102的倾斜(垂直的)和平移(水平的)定位。在一个实施例中,云台控制器115可以是具有对应的控制器的DPerception PTU-46云台单元。在一个实施例中,云台单元102a可安装于摄像机102的下侧以及塔架104的顶侧,然后,云台单元102a可通过多芯电缆连接至云台控制器115。云台控制器115进而连接至计算机112中的端口,计算机112具有计算机存储器108,从而使得计算机能够读取云台单元102a的平移和倾斜部分的位置,并且还使得计算机112能将平移和倾斜设置发送至云台控制器115。遥控接收器114从遥控单元107接收数字编码信号,从而以软件解释命令的形式控制计算机112中的操作。在一个实施例中,遥控接收器114可以是根据遥控单元107中任意按下的按钮接收数据的互补接收器,遥控单元107随后对信号进行解释并将结果通过USB线发送至计算机112。在一个实施例中,遥控单元107可以是由电池供电的、8按钮微型射频无线控制单元,其范围大约为300英尺,并且在一个实施例中,接收器可以是LynxTechnologies MDEV-HHLR8 MS 433. 92远程接收器。任何或全部上述单元都可以通过任何类型的线/缆连接物或者Remote 2USB、USB、USB2. O或USB3全双工连接物通信联接或连接至计算机112。摄像机塔架104还可容纳任何或全部上述单元。在一个实施例中,遥控接收器114以及遥控单元107可以不用来控制计算机112的操作。全部上述单元(例如,计算机112、摄像机102、灯具106等)可连接至电源板105,以实现恒定供电。在一个实施例中,备用电源单元可用来配合或替代电源板105,进而避免了可能会对记录产生影响或者可能或对磁盘驱动器的性能产生影响的断电情况。电缆壳体113还容纳了所有实现了人体运动分析系统100的各种组件之间相互连接的电缆、电线和连接物。图IB示出了根据一个实施例的综合人体运动分析的系统。人体运动分析系统120包括椅子10、悬臂式椅臂11、手肘座12以及手肘座安装单元13 (示于图2D和图2E中)。在人体运动分析系统120中还示出了视频墙20、灯具30、视频摄像机40、透镜遮光罩41、平移-倾斜摄像机安装单元42、云台单元控制器43、麦克风50、音频混音均衡器51、音频输出52、音频扬声器54、音频指令序列55 (示于图3B中)、遥控器60、遥控器信号接收器61、信号灯65、电源板70、鞋套90 (示于图2C、图2D和图2E中)、主计算机系统95、计算机显示器96、键盘97以及指针/鼠标98。在一个实施例中,灯具30可以是2700K灯具。在一个实施例中,视频摄像机40可以是15帧/秒、30帧/秒、60帧/秒、120帧/秒或更多帧每秒并且是彩色视频摄像机。在一个实施例中,视频摄像机40可采用Gigawire、USB或Firewire 111 (IEEE1394a或1394b或其他基于1394的通信)或者可进行无线通信或者可通信联接至主计算机系统95。用于人体运动分析的视频摄像机40所采用的帧率可从每秒15、30、60帧到120帧或者更高,优选地为每秒30帧或以上。图像采集软件能够处理视频流的数字吞吐量并且以该速度写入存储媒介中。在一个实施例中,视频摄像机40可以是彩色变焦摄像机,能够对其快门速度、光圈、f_制光圈、红-白平衡、蓝-白平衡、变焦和灰度系数进行控制,和/或能够通过对基础软件中的设置进行基于计算机的控制来实现对其的控制。在待记录的各检测模块开始之前,主计算机系统95可上传预定的摄像机设置和云台控制器115设置,从而 实现最佳的摄像机“视野”,并且上传摄像机设置,从而实现最佳的摄像机定位、变焦、曝光、快门和光圈设置以及实现颜色校正。在一个实施例中,每个像素的颜色信息可在精确的逐行扫描期间以传统的RGB三层格式进行存储,使得各单帧是场景或场景内的对象的完整图像。交错格式可能更为常见,其是由视频图像信息的来自当前帧的隔行扫描线以及视频图像信息的来自最近一帧的隔行扫描线而构成。这种交错格式在记录人体运动顺序时不是太可取,但是在本发明的实施例中,能够在结果中提供可接受的量化数据。各帧的彩色图像格式可由摄像机40提供。这样,可为各单独的检测模块指定单独的摄像机设置,并且在开始具体的、预先指定的检查测试模块的初始阶段时,将将摄像机设置上传至摄像机40。在一个实施例中,单帧的格式可最低为640 X 480像素、720 X 480像素、1024 X 768像素或者更高的分辨率。图IC示出了根据一个实施例的综合人体运动分析的系统中使用的摄像机塔架104。摄像机塔架104包括信号灯117、摄像机102、云台单元102a、云台控制器115、音频混音均衡器116、遥控器接收器114、电源板105以及塔座104b。信号灯117为操作者提供信号灯,从而表明计算机112当前正在进行的操作。摄像机102为上述进行视频和音频记录或者将现场视频帧传输至计算机存储器108的视频摄像机。在一个实施例中,云台单元102a可与摄像机102分开并且用来控制摄像机102的平移(水平的)或倾斜(垂直)移动。在一个实施例中,云台单元102a可以是与摄像机102相同的单元或者直接连接至照相机102上的单元。云台控制器115控制云台单元102a,其进而控制摄像机的平移(水平的)或倾斜(垂直)移动。音频混音均衡器116控制计算机112感测或记录的以及存储于计算机存储器108中的音频的混音。在一个实施例中,麦克风103可连接或联接至摄像机102上进行音频记录。在一个实施例中,摄像机102可能已经具有记录音频的音频记录能力。在一个实施例中,麦克风103可与摄像机102分开。遥控器接收器114接收来自操作者使用的遥控器的信号,以控制摄像机塔架104中的视频摄像机102或对象。电源板105为摄像机塔架104中的所有部件以及摄像机塔架104自身提供电源。在一个实施例中,摄像机塔架104为所有上述部件以及更多部件提供物理支撑或容纳区。图ID示出了根据一个实施例的综合人体运动分析的系统中使用的部件。计算机112和计算机存储器108包括摄像机设置140和云台设置142。在一个实施例中,模块配置设置包括摄像机设置140和云台设置142。计算机112和计算机存储器108还可通信联接至摄像机102。计算机112和计算机存储器108还可通信联接至云台控制器115,其进而联接至云台单元102a。在一个实施例中,摄像机102可与云台单元102a分开。在一个实施例中,摄像机102可以是单个单元,或者连接至云台单元102a。由云台控制器115控制的云台单元102a控制摄像机102的平移(水平移动)或倾斜(垂直移动)。摄像机设置140可包括,但不局限于,对如下内容进行调节的设置亮度、增益、灰度系数、曝光、光圈、白平衡-红色、白平衡-蓝色、变焦、聚焦和帧率等。云台设置142可包括,不局限于,对如下内容进行调节的设置摄像机102的平移(水平移动)或倾斜(垂直移动)。图2A示出了根据一个实施例的综合人体运动分析的系统。人体运动分析系统200是对图IA中所示出的系统的更针对性描述。在一个实施例中,椅子的周围或侧方也是视频墙,视频墙包括至少一面薄纱视频墙(所示的10英尺X 12英尺仅是一个例子),并且椅子201是病人、对象或者机器能够就坐或者放置和记录/观察的地方。麦克风203位于椅子201旁边,以便记录椅子201上的病人所发出的任何声音数据。如图2所示,可将椅子201与摄像机202分开18英尺(此处仅作为一个例子示出)的距离。摄像机202具有将其保 持的塔架204,并且,图IA和图IC中示出的大部分单元都可以容纳到塔架204中,灯具205类似于图IA中所示的灯具,其为坐于椅子201上的对象提供照明,从而增加记录的准确度,并且,其他的天花板灯具(未示出)可与这些灯具205配合使用。摄像机202进而连接至计算机206,而计算机206具有与其连接的监视器208和键盘207。上述单元中的任何一个或全部(例如,摄像机202、计算机206、灯具205等)都可连接至电源板209,以实现恒定供电。如图2A所示,交流电源可用来为电源板209供电,但是电源并不局限于这种具体形式的电源。图2B示出了根据一个实施例的综合人体运动分析的系统中使用的部件的全貌。特别地,示出了椅子系统220,其包括椅子10、悬臂式椅臂11、手模80、手模安装单元81以及手模椅子安装单元82。在一个实施例中,手模80可以是制造来形象地模拟人手的人造物体,其表现的是一个具有竖起食指的捏紧的真手的柔韧性、大小和形状,并且其中,该手可以由能够适应为了病人安全而重复进行抗菌清洗的生物惰性材料制成。换句话说,手模80可与真手一样大小并且是由能够重现人类真手的具体细节的生物惰性的硅橡胶弹性材料制成。当病人实际触摸手模80的手指以及在病人的手指触摸到自己头上的鼻子时,手模80可以是易弯曲的、柔软的,摸上去就像皮肤,颜色上是白色半透明的,并且具有恰到好处的弹性,以形成可重现的“手工艺品”视频-图像,更详细的内容涵盖在下文的“手指至鼻部”模块中。图2C示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。病人坐于椅子10上并且脚上穿有鞋套90。可以看到,悬臂式椅臂11在病人的左方和右方O图2D示出了根据一个实施例的综合人体运动分析的系统中使用的部件的视图。图2D示出了椅子的侧视图。除了悬臂式椅臂11之外,手肘座12、手肘座安装单元13以及支撑拱14都是可见的。手肘座12和手肘座安装单元13使得病人能够在安全的休息处舒适地支撑他或她的手肘。当病人能够在椅子10上面向前方或者在相同的椅子10上面向侧方且他或她的脚垂直于摄像机-椅子的轴线进行延伸并且通过椅子10的椅臂下方时,支撑拱14能够对悬臂式椅臂11提供安全支撑。图2E示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。如图所示,穿有鞋套90的病人就坐于椅子10上,他或她的手臂倚靠在手肘座12和手肘座安装单元13上。尽管图2E中未示出支撑拱14,但是它们有助于支撑手肘座12和手肘座安装单元13并且还使得病人能够以方便的方向就坐。
记录系统概述图3A示出了根据一个实施例的用于综合人体运动分析的记录系统概述的流程图。记录系统概述方法1000记录了实验对象/病人(或对象、动物或机器)的运动数据并且包括下面所述的步骤。在步骤1100中,接收实验对象或病人的人口数据,该病人的人口数据包括姓名、性别、年龄、种族、国籍、既往病史,接受的药物治疗、图表数量、病人的身份证号码、疾病以 及以前的医疗数据。种族和国籍有助于测量用于实现对不同运动异常或障碍的分析的、随文化而变化的不同“运动风格”。在步骤1200中,接收病人的语言选择,以实现识别/分类和诊断的目的,以及帮助实验对象在被视频记录时可与其交互的音频指令界面(例如,音频指令以病人最能理解的语言呈现给实验对象,从而告诉他们“做什么”、“何种频率”、“何时做”、“何时开始”和“何时结束”,以及过程结束的时候)。如果从总体来看无法确定病人的首选语言,或者在一个或多个模块中无法确定病人的首选语言,那么各此类模块可能默认为英语音频指令,然后在下一个所需语言可用的模块中以所需语言重新开始。在步骤1300中,接收执行模块的选择。一旦选择了所需的人体运动分析模块,那么摄像机可根据所选的人体运动检测模块和待执行和分析的人体运动检查项目,与实验对象区域101中的任意支撑物一起进行安装。记录系统在安装期间对数据进行记录,并且分析系统接收所记录的数据并且在假定记录中已经建立了某些设置的情形下对该数据进行分析。在步骤1400中,接收操作者对自动化会话的启动。操作者启动包括待检查的病人或对象的定位。例如,可让病人坐在椅子上,如之前的附图所示,或者可要求病人站立以及行走。还可要求病人移动他的手或腿,或者静止地坐下以观察自然发生的震颤。步骤1500中的系统以步骤1200中所确定的语言向病人朗读音频指令文件,告知病人该会话即将开始并且指导指导病人做什么,还有何时开始和何时结束执行指导的运动行为指导。然后,在步骤1600中,启动记录器(例如,摄像机开始记录并且还通过摄像机上单独的麦克风或音频记录部件开始音频记录)。在一个实施例中,摄像机102不进行记录,而是将现场视频传输至计算机112中,计算机112采用帧采集应用程序,将视频帧和输入的声音写入计算机存储装置,例如,计算机存储器108中。在一个实施例中,麦克风103可能一直开着,并且仅在步骤1600中,计算机才开始将输入的声音写入计算机存储文件中。在步骤1700中,首频指令文件输出首频“开始”,通过声首向病人发出开始的时间 目号,以开始执行步骤1600中描述的运动。在一个实施例中,将音频指令“开始”输出至音频扬声器(放大器52和扬声器42和54),供病人接收。在步骤1800中,对预设模块的记录持续时间进行计时,,在这期间建立所有记录至该模块的所有数据。然后,在步骤1900中,停止记录器,并且在步骤2000中,系统输出可听见的指令“停止”。在步骤2100中,可向病人朗读音频序言(以步骤1200中所确定的语言进行传送),从而告知病人记录结束并且已经完成,以及任何额外的会后指令。在步骤2200中,系统能够等待操作者启动下一个模块。在下一个模块中,操作者能够在步骤2300中以所选的要执行模块的顺序继续下一个所选模块。在步骤4500中,一旦所选模块已经结束并且已经执行了所有的所选模块,那么向病人朗读作为步骤1500中开始的音频指令文件的最后一段的会后陈述序言(以步骤1200中所确定的语言进行传送)。图3B示出了根据一个实施例的用于综合人体运动分析的音频指令概述方法的流程图。音频指令序列55开始于步骤5520,其中系统为病人启动音频指令文件播放输出。在步骤5540中,如果应该为模块指定任何延迟,那么音频指令文件就静默一定的持续时间以供延迟。在步骤5560中,向病人输出或朗读初始音频指令。在步骤5580中,计算机112也开始视频记录以及音频记录。在步骤5560中,音频指令文件命令通过(例如)音频扬声器42和54输出或朗读“开始”命令。在步骤5620中,记录持续时间设定计时开始,并且通过计算机计时的记录阶段开始。在步骤5640中,如果存在的话,输出中间指令命令。在步骤5660中,通过计算机计时的记录持续时间结束。在步骤5680中,停止视频和音频记录,并且 音频指令文件命令向病人发出“停止”命令。在步骤5700中,如果存在的话,向病人发出序言音频指令。在步骤5720中,音频指令文件结束。在一个实施例中,存储了音频指令序列55的音频指令文件是向音频输出装置52播放的预录的音频指令文件,如图IB所示。具有音频指令序列55的音频指令文件是专门用于特定人体运动检测模块及其服务的检查项目。音频指令序列55包含多个部分,并且具有在计时方面与视频和音频记录的延迟和开始以及与视频和音频记录的持续时间相协调并且同步的计时点。最小的结构为音频-视频记录延迟周期、在模块的音频-视频记录阶段开始期间的音频声音词语“开始”、与音频-视频记录持续时间相等的持续时间的静默期、在音频-视频记录阶段结束期间的词语“停止”以及音频指令文件的结束。另外的音频信息可由鼓励的词语(例如,“不错”)、安慰的词语(例如,“放轻松”)、在受指导项目的执行期间的中间指令(例如,“当你到达墙边时,面对墙站立”)或者紧跟在词语“停止”之后的序言词语(例如,“现在,请继续站立”)所组成。以下通过例子对存储音频指令序列55的音频指令文件所进行的说明是示例性的并且不旨在进行限制。在一个实施例中,音频指令序列55可存储于计算机112的计算机存储器108中或者计算机12能够连接和访问的另一个存储形式中。本发明包括以任何语言输出给病人的预录的音频指令。现有专利或公开文献可能已经公开了输出给病人的预录的音频指令的使用方法。本发明独特之处在于,音频指令包括计时信息、开始执行的内置延迟以及发送给病人和研究病人的操作者的计时信号。在一个实施例中,预录的音频指令可包含特定的计时标记音调以及特定的计时数据,从而限制各检测模块中运动行动的时间。例如,音频文件开始通过音频输出装置52和音频扬声器54向进行记录的病人或对象播放输出。开始的时候可能是一段长时间的静默或者是将要执行的运动的详细说明,紧接着就是优选语言发出的、与系统执行的视频和音频记录的开始相一致的词语“开始”。在预设的计时延迟和运动行为周期之后,在与视频和音频记录动作的完成相一致的时间延迟,以优选的语言朗读词语“停止”,并且音频文件结束或者可播放一段“序言”,如果存在后续模块的话,告知病人接下来要做什么来准备后续的模块。第一特定计时数据为主指令的开始和持续的持续时间。为了适应大量语言,检测模块中的初始指令可将初始指令呈现给病人,然后是预备命令、“开始”命令、一段允许执行所指导的检查项目的持续时间、“停止”、然后是“放松”或者“把手放下来”的指令(例如,停止刚刚执行的检查项目所指导的姿势)以及后续模块的预备指令。还有一些模块在模块中的运动行为期间的某些时间点上使用中间指令,使得个人知道执行结束时需要做什么。对这些用于开始和结束所指导的运动行为的音频指令文件元件和信号的计时,是在音频指令文件序列55中的特定时间点进行,以保证运动行为是以预期的方式而开始和结束,并且还与音频和视频记录(开始于步骤5580)同步,该音频和视频记录是开始和结束于预设在计算机软件的计时参数中的特定计时,计算机软件控制各种模块配置设置,其中包括云台设置142以及摄像机设置140,而摄像机设置包括摄像机光圈、曝光设置和白平衡、以及运动检查项目执行期间的音频和视频记录的开始5580和结束5680。在一个实施例中,例如在一些运动检查项目中,这些运动检查项目可能期望在执 行运动项目时开始记录音频和视频。在那种情况下,音频和视频记录5580是紧跟在初始首频指令5520之后,在“开始”首频指令命令5600之后的很短时间内就开始记录。在其他检查项目中,可能期望采取下面的处理方式确定开始执行所指导项目的延迟,这样可以设置成,在音频指令序列中的“开始”命令之前固定的间隔时间开始执行对音频和视频的记录5580以在音频指令序列55的流中出现词语命令“开始”(5600)之前,。在一个实施例中,音频指令允许视频记录中存在固定的时间间隔,使得个体实验对象开始运动行为的延迟,就是从开始音频和视频记录5580到“开始”命令之间的固定项目间隔,再加上病人在开始(与音频指令词语“开始”一起开始的)运动行为时的延迟。这样,对记录进行分析可以确定净“延迟”,以通过从所指导类型的第一运动时间上减去不变的时间间隔来开始运动行为。不同语言的音频指令序列55必须符合计时标准,该标准专用于个体类型,但是独立于执行检查项目的个体的指令语言。为了适应这种标准,下面的行为是有利的确定特定模块的音频指令片段的总长度,并且在所有语言中,将那些片段在检测模块的音频指令序列55中持续的时间设定为最长指令时间。按照这样的方式,就相同的检测模块而言,一些语言将会具有比其他语言短的初始音频指令,并且在该特定检测模块中,具有较短最长时间片段的语言,在音频指令序列55中会比该音频指令序列55的该片段的最长持续时间语言指令启动的晚。对于具有较短该片段的最长持续时间的语言,各初始语言音频指令片段的结束将放在相同的总音频指令序列55的片段消逝时间点处,使得初始音频指令片段的结束都是从该特定检测模块的音频指令踪迹开始之后持续相同的时间结束的。在一些语言中,特定音频指令片段的持续时间会比所呈现的语言中的最大时间要短,结果是,从音频指令序列55的开始到该语言的音频指令的开始之间不存在可听见的声音。初始音频指令片段的结束将在音频指令踪迹开始之后的相同持续时间内,使得在每种语言中,准备指令(例如“准备”)和后续指令“开始”的点能出现在相同的时间,并且“开始”和“停止”之间的持续时间将总是与音频-视频记录持续时间设置相同。空白处可以用非常小的、振幅可以忍受的、可听见的,持续时间为O. 2秒的“哔哗”声以一秒的间隔进行填充,直至出现特定语言的口头音频指令。这样实现了如下目的告知操作者和执行所指导运动检查项目的个体,检测模块是活动的并且正在继续。
分析录系统概述图4A示出了根据一个实施例的综合人体运动分析的分析系统概述方法的流程图。分析系统概述方法3000说明的是人体运动分析模块所使用的分析系统,而人体运动分析模块对记录系统运行期间已经从实验对象或者病人(或者对象、动物或机器)记录的信息进行分析,记录系统的详细内容见图3A。分析系统概述方法3000包括如下步骤。在步骤3100中,包含所有单会话(例如图3A中运行的会话)的模块记录的记录介质输入计算机系统中。在步骤3200中,开始自动化分析,以访问存储介质上所加载的数据。分析系统方法分为人体运动分析模块(就像记录一样;根据待分析的模块,对分析进行调整)。在步骤3300中,各模块依次进行分析,各模块的分析采用一系列复杂的、先进的算法和探式法,下面会对这些方法进行详细说明。本申请中大部分流程图和描述的重点都在记录系统中所采用的以及按照该分析系统方法进行分析的个体模块上。 在步骤3400中,所有模块都已经分析之后,将累计每个模块的数字时序数据。在步骤3500中,计算各模块的主要统计指标。例如,在步骤3600中,撰写汇总报表并填入汇总数据。汇总报表是各分析给出的数字数据的汇集。在步骤3700中,对时序数据绘上合适的标记和等级。在步骤3800中,持续生成汇总报表和绘图,直至所有记录模块(来自图3A)都进行了分析,所有汇总数据文件都在报表中以及所有的图表都进行了存储。在步骤3900中,分析结束时,确定编写的会话数据(来自步骤3800)中的关系差异。在步骤4000中,分析结束时,模块的数据与各模块的标准进行对比。在步骤4100中,如果该个体有一个以上的会话,那么为该个体在不同会话运行之间进行对比。最后,在步骤4200中,如果在一天以上的每一天中都有一个以上的会话,那么可对比各天之间的基数,或者如果这些天的每一天都有一个以上的会话,那么对比这些天的每一天的基数的相对变化,以确定每一天的整体净效应以及这些天的净效应。图4B示出了根据一个实施例的综合人体运动分析的、分析模块以及生成报表和报告数字的方法的流程图。如上所述,分析模块3800是记录系统(图3A)为其安装来运行和记录数据的人体运动分析模块,这些模块依次由不同的人体运动分析模块进行分析,各模块包括一系列不同的算法和探式法。例如,3810至3880中提供了人体运动分析模块的示例性列表。在一个实施例中,其他模块可在3810至3880中执行,其可能是,不局限于伸出臂手部震颤移动、双手交替外翻内翻。手指至鼻部移动以及肩部位移下的身体稳定性。此外,重要的是要注意,分析模块肯定不局限于本发明以上描述或下面描述的模块。报表准备3810为基础分析模块,其简单地建立报表和最终填入报表中的数据。下面将详细地说明其他分析模块,包括震颤测量3820、手指轻敲测量3830、手部轻拍测量3840、足部轻敲测量3850、脚后跟轻敲测量3860、站立测量3870和行走测量3880。当任意的或全部的这些分析模块在记录数据上运行时,在步骤3900中,将所获得的分析值填入报表,并且随后在步骤4000中,装订报告图块,以进行打印。在一个实施例中,这些步骤实质上与图4 (生成汇总报告和绘图)中的最后几个步骤相同,但是,此处再次对其进行简单地重复是为了说明在任意或全部分析模块已经完成之后,执行了这些步骤。现将进一步详细地介绍多个主要模块中的几个示例性模块。下面描述的任意模块可用作上文已经说明的分析模块。足部敏捷性分析足部轻敲和脚后跟轻敲图5示出了根据一个实施例的用于综合人体运动分析的足部和脚后跟轻敲分析方法的流程图。足部轻敲和脚后跟轻敲过程500可分别针对左脚和右脚进行。过程500可应用至上述分析模块中多达四种的不同模块中去。对从所记录的视频文件序列中得到的单个帧图像执行过程500的步骤。因此,在一个实施例中,在各帧图像中执行下列步骤在步骤505中,帧图像从RGB (红绿蓝)转换为HSV (色彩饱和度和值)。HSV是从RGB颜色模型转换的点的色彩表示。在步骤510中,必须对所得的图像使用HSV滤波。在步骤515中,于步骤510中进行HSV滤波处理后所得的剩余图像转换为二进制形式。在步骤520中,形态地打开或扩大该图像。在步骤525中,找到图像中的最大对象。在步骤530中,形态地关闭该图像。在步骤535中,在图像中找到最大对象的边界。在步骤540中,确定图像中最大对象的边界的坐标。在一个实施例中,图像中最大对象的边界可以是一个对象最腹侧的或者最前方的或者最前侧的边界。在步骤545中,将步骤540中所确定的对象坐标加入至时间序列中。在步骤550中,通过校正(例如,摄影测量校正),将像素中最腹侧的值到地面的距离转换为以厘米为单位的距离值。在步骤555中,平滑化时间序列(其累积步骤545中所提及的对象的坐标),以实现绘图和存储过程。在步骤560中,汇总了平均峰值距离(高度)和 振荡数。在一个实施例中,例如,在上述步骤中不采用HSV,但要采用其他颜色滤波过程。通常情况下,为了分析足部轻敲和脚后跟轻敲,会让病人将鞋套90(其在记录操作期间吸收或反射特定的光波长)穿在他们的鞋或脚上。鞋套90可由鞋上激光器或者能作为上述过程500跟踪的标记物的LED灯所替代。鞋套90或LED灯的颜色可以是红色、黄色、绿色、蓝色或者这些颜色的成对组合,从而最大化可见度,实现摄像机记录的目的。每只脚可穿上颜色不同的鞋套90或LED灯,有助于对运动进行跟踪和测量。在一个实施例中,颜色涂覆在鞋上,以提供两种不同颜色的跟踪目标,每只脚一种颜色一这可以通过将不同颜色的鞋套、标记物或LED灯附接在病人的脚上或鞋上来实现。换句话说,在所有的足部运动项目检测中用有颜色的对象来区分左脚和右脚。在一个实施例中,例如,可以通过地板将“红色”对象的坐标限制在运动的腹侧(前部或前侧)端。由于病人是坐着,因此即使是在静止不动时,轻敲的足部都可能会受到地板的限制。足部的垂直移动可能仅会受到腿部-足部的骨骼长度以及病人将脚向上抬起、然后放到地板上的肌肉活动性的限制。在一个实施例中,足底的阴影可能比足部的体积更重要。在一个实施例中,最感兴趣的坐标可能不是通过地板限制于运动的腹侧端,而是集中在足部的不同的区域或边界。与现有技术不同的是,本发明对颜色点和对象进行视频跟踪的显著特征包括提供了每只脚的独特特征,以及能够在步态及相关足部运动中对行走、轻敲和上台阶的单只脚进行自动跟踪。作为过程500中的可选决策,并且为了确定相对脚的运动“溢出”或者过度测量,可在上述步骤510中加入其他步骤。例如,在一个实施例中,在步骤510中,可对图像进行两次HSV滤波,为每只有颜色的鞋套90分别做一次,并且,之后所有的后续操作都可进行两次,以相同地测定相对(左和右)脚的鞋套。上述步骤500还可在病人正站在一个固定位置时,用来确定两只脚之间的距离。
手部敏捷性分析手指轻敲,手部轻拍图6示出了根据一个实施例的综合人体运动分析的手指轻敲和手部轻拍分析方法的流程图。手指轻敲和手部轻拍过程600可分别针对左手和右手进行。需要注意的是,手指轻敲和手部轻拍是分开的过程,但是为了简便,将它们称作过程600。在一个实施例中,过程600可应用到上述分析模块中多达四种的不同模块中。对从视频文件序列中得到的单个帧图像执行过程600的步骤。因此,在各帧图像中执行下列步骤在步骤605中,删除图像帧的绿色和蓝色颜色层。在步骤610中,一旦图像中删除了绿色和蓝色颜色层,便将所得的图像转换为二进制形式。在步骤615中,形态地打开或扩大该图像。在步骤620中,找到图像中的最大对象的边界。在步骤625中,确定图像中最中心的最大对象的定向角。在步骤630中,将对象旋转至最佳位置。在步骤635中,确定对象的偏心点。在步骤640中,确定偏心点的角度,并且能够将对象旋转,以更加精确地得到所需的角度。在步骤645中,通过在对象的无关区域填充黑像素来“修整”对象。在步骤650中,确定所修整的(部分地填充入黑像素)对象的偏心点的坐标。在步骤655中,计算所修整的对象的偏心点之间的距离。在步骤660中,将对象所计算的距离值加入至时间序列中。在步骤665中,通过校正(例如,摄影测量校正),将像素(得自步骤660)中的距离值转换为以厘米为单位的距离值。在步骤670中,平滑化时间序列(其中在步骤660加入了所修整的对象的距离值),以实现绘图和存储目的。最后,在步骤675中,汇总了拇指与食指之间距离的平均峰值距离或者指尖与手掌之间的距离,以及振荡数。在一个实施例中,过程600可以只用于阈值对象以及每个帧中对 象的偏心点坐标,而不是基于开放的形态手部线条的方法。这种方法可采用X和y坐标,以实现对震颤运动以及手指和手部屈伸运动的敏感。在一个实施例中,上述过程600的策略是利用RGB图像中的红色颜色层。实质上,皮肤颜色是不确定的,并且上述过程600的策略允许手相对于背景的检测,在该背景上,手是属于一个拥有许多不同类型的皮肤“色彩”和“肤色”的个体,颜色范围可以是从颜色很深到几乎没有色素。
头部运动测量图7示出了根据一个实施例的综合人体运动分析的头部运动测量
查看更多专利详情

下载专利文献

下载专利