专利名称：利用网络服务的精神状态分析的制作方法精神状态的评估是理解个体的关键因素，而且对于医疗和商业目的而言也是有帮助的。精神状态涵盖从高兴到悲伤、从满意到焦急、和从激动到平静以及其他很多情感的广阔范围。在对日常事件作出反应时会体验到这些精神状态，这些事件例如是交通堵塞时的挫折感、站队时的厌倦感以及等候一杯咖啡时的急躁感。基于评估和理解其他人的精神状态，个人可能变得相当敏锐和感性，但精神状态的自动评估则更具有挑战性。感性的人可以察觉另一个人是焦虑的或欢喜的并相应地作出反应。一个人察觉另一个人的精神状态的能力和方式可能是十分难于总结的并且常常表示为具有“直觉”。很多精神状态(例如困惑、专注以及担心)可以得到识别以帮助理解一个人或人群。例如在目击一场大灾难后，人们可能集体地反应为恐惧或焦虑。同样，例如当人们的运动队获得一场胜利时，他们可以集体地反应为高兴狂热。某些面部表情和头部姿势可用于·识别一个人正在经历的精神状态。在基于面部表情的精神状态评估中只进行了有限的自动化处理。某些生理条件可以提供一个人心理状态的显著说明并已经以粗略的方式用在测谎仪或测谎测试中。仍然存在自动地对精神状态进行增强评估的需求。
精神状态分析可以通过评估个人所展现的面部表情、头部姿势和生理条件来进行。这种分析可以帮助理解消费者行为、更加贴近于用户需求地订做产品、以及改善网站和计算机程序的接口。在此披露了一种用于分析精神状态的计算机实施方法，该方法包括将与一个人相关的数据捕获至一个计算机系统中，其中该数据提供评估该个人的精神状态的信息；从一个网络服务接收分析，其中该分析基于在该个人上捕获的数据；并且基于该接收的分析来渲染一个输出，该输出描述该个人的精神状态。与该个人相关的数据包括一个群组中的一种，该群组包括面部表情、生理信息以及加速计读数。该面部表情进一步包括头部姿势。该生理信息包括一个群组中的一种，该群组包括皮肤电活动、心率、心率变异性以及呼吸。可以在不接触该个人的情况下采集该生理信息。该精神状态是认知状态和情感状态之一。该网络服务包括一个接口，该接口包括远离该个人的一个服务器和基于云的存储器。该方法可以进一步包括通过该网络服务标引与该个人相关的数据。该标引可以包括基于效价和唤醒信息的分类。该方法可以进一步包括接收与多个其他人相关的分析信息，其中该分析信息允许评估该多个其他人的集体精神状态。该分析信息可以包括将该多个其他人的精神状态关联至在该个人的精神状态上捕获的数据。该关联可以基于来自该个人的元数据和来自该多个其他人的元数据。从该网络服务接收的该分析可以基于特定的访问权限。该方法可以进一步包括向网络服务发送一条请求以进行该分析。该分析可以基于一条分析请求而即时产生。该方法可以进一步包括向该网络服务发送在该个人上捕获的数据的一个子集。该渲染可以基于从该网络服务接收的数据。接收的数据可以包括JavaScript对象注解(JSON)形式的序列化对象。该方法可以进一步包括将该序列化对象去串行化为JavaScript对象的形式。该渲染进一步包括基于该个人的精神状态来推荐一个行动方案。该推荐包括一个群组中的一项，该群组包括修改对一个焦点 群体进行查询的问题、改变网页上的广告、编辑观看的电影以去除有异议的部分、改变电子游戏的方向、改变医疗咨询介绍、以及编辑基于互联网的教程的令人混淆部分。在一些实施方案中，一种用于分析精神状态的实例化在计算机可读介质中的计算机程序产品可以包括将与一个人有关的数据捕获至一个计算机系统的代码，其中，该数据提供评估该个人的精神状态的信息；从一个网络服务接收分析的代码，其中该分析基于所捕获的与该个人有关的数据；并且基于接收的分析来渲染一个输出的代码，该输出描述该个人的精神状态。在实施方案中，一种用于分析精神状态的系统可以包括存储指令的一个存储器；附接至该存储器的一个或多个处理器，其中当执行存储的指令时，该一个或多个处理器被配置用于捕获与一个人相关的数据，其中该数据提供评估该个人的精神状态的信息；从一个网络服务接收分析，其中该分析基于在该个人上所捕获的数据；并且基于接收的分析来渲染一个输出，该输出描述该个人的精神状态。不同实施方案的不同特征、方面和优点将从以下进一步的描述中变得更为清晰。通过参考以下附图可以理解某些实施方案的下述详细描述，其中图I是一个用于分析精神状态的系统的图示。图2是在精神状态分析中获取并使用数据的流程图。图3是皮肤电活动的图形渲染。图4是加速计数据的图形渲染。图5是皮肤温度数据的图形渲染。图6展示了用于面部分析的图像采集系统。图7是进行面部分析的流程图。图8是描述生理分析的图示。图9是描述心率分析的图示。图10是进行精神状态分析和渲染的流程图。图11是描述人群的心理反应的分析的流程图。图12是识别数据部分的流程图，该数据部分匹配所选择的感兴趣精神状态。图13是一群人的精神状态分析与汇总结果的图形渲染。图14是精神状态分析的图形渲染。图15是基于元数据的精神状态分析的图形渲染。
在一个示例实施方案中，公司的雇员可以选择自我评估程序，在这种情况中，在执行工作职责的同时监控他或她的脸部和皮肤电活动。雇员还可以选择一种工具，在这种情况中聚合机170读取博客帖子以及工作、公司、心情或健康的社交网络帖子。久而久之，该雇员能够在工作日那天感受的感觉中回顾社交网络存在。雇员还可以查看他或她的心情和态度可以如何影响所张贴的内容。一个实施方案可能是几乎无破坏的，例如只是计算社交网络帖子的数量，或者是有破坏的，例如通过分析引擎来抽出社交网络内容，该分析引擎从文本内容上推断精神状态。在另一个实施方案中，公司可能想要理解华尔街日报(Wall Street Journal )和其他出版物中与该公司有关的新闻报道如何影响雇员士气和工作满意度。可以对聚合机170进行编程以搜索提及该公司的新闻报道并将它们链接回参与这种尝试的雇员。做额外分析的人可以浏览与该公司相关的新闻报道以便向每个参与者的精神状态提供额外的环境。在又一个实施方案中，面部分析工具可以处理面部动作单元和姿势以推断精神状 态。当存储图像时，可以附上元数据，例如其面部出现在视频(视频是面部分析的一部分)中的人的姓名。这种视频和元数据可以通过面部识别引擎进行传递并告知此人的面部。当面部对于面部识别引擎而言是可识别的，聚合机170可以在互联网上广播，或仅向特定的网站传播，例如网络相册和脸谱网页，以便发现具有相同面部的链接。通过面部识别定位的人的其他图片可以再次提交给面部分析工具进行分析，以便提供该对象的精神状态的更深入理解。图2是在精神状态分析过程中获取并使用数据的流程图。流程200描绘了一种用于分析精神状态的计算机实现方法。流程可以开始于将个人上的数据捕获至一个计算机系统210，其中该数据提供评估个人的精神状态的信息。所获取的数据可以与个人的经历相关联。经历可以是以下群组中的一项，该群组包括交互于网站、电影、电影预告片、产品、计算机游戏、视频游戏、个人游戏机、移动电话、移动装置、广告或进食。交互可以指简单地浏览或可以有意浏览并做出响应。与个人相关的数据可以进一步包括手势和肢体语言方面的信息。与个人相关的数据可以包括面部表情、生理信息以及加速计读数。面部表情可以进一步包括头部姿势。生理信息可以包括皮肤电活动、皮肤温度、心率、心率变异性以及呼吸。生理信息可以在不接触个人的情况下获取，例如通过分析面部视频。该信息可以实时地、即时地、或在计划分析的基础上获取和分析。流程200继续向网络服务发送捕获的数据212。发送的数据可以包括图像、生理以及加速计信息。可以发送数据用于进一步的精神状态分析或用于与其他人的数据进行关联，或用于其他分析。在一些实施方案中，发送至网络服务的数据是在个人上捕获的数据的子集。网络服务可以是网站、ftp站点或服务器，它们将访问权提供给与精神状态相关的大量分析工具。网络服务可以是数据的通道，这些数据在其他人上收集或来自其他信息源。在一些实施方案中，处理过程可以包括标引在网络服务上获取的数据。流程200可以继续向网络服务发送分析请求214。分析可以包括将捕获的数据与其他人的数据相关联、分析捕获的精神状态数据等。在一些实施方案中，基于分析请求，即时地产生分析。流程200继续从网络服务接收分析216，其中这种分析基于在个人上获取的数据。接收的分析可以对应于所请求的分析，可以基于所捕获的数据，或可以基于精神状态分析或最新获取数据的一些其他逻辑分析。在一些实施方案中，捕获的数据包括个人的图像。图像可以是图像序列并且可以由视频摄像机、网络摄像机固定镜头、热成像仪、CCD装置、电话摄像机、或其他摄像机类型装置来捕获。流程200可以包括安排图像内容的分析220。分析可以实时地、即时地、或按计划地执行，以备后续分析。所捕获的数据中的一些可以要求除有可能实时分析之外的进一步分析。其他类型的数据还可以要求进一步分析并且可以包括安排所捕获和标引的数据的一部分的分析，并对安排的数据的那部分进行分析。流程200可以继续图像内容的分析222。在一些实施方案中，视频的分析可以包括与面部表情和头部姿势相关的数据。面部表情和头部姿势可以记录在视频中。可以针对动作单元、姿势以及精神状态来分析视频。在一些实施方案中，视频分析可用于评估皮肤孔隙大小，皮肤孔隙大小可以与皮肤电传导或其他生理评估相关联。在一些实施方案中，视频分析可用于评估瞳孔放大。
流程200可以包括其他人的分析230。可以分析来自多个其他个人的信息，其中这些信息允许评估该多个其他个人中每一个的精神状态并将该多个其他个人中每一个的精神状态关联至个人的精神状态上所获取和标引的数据。还可以允许评估该多个其他个人的集体精神状态。在评估精神状态时，可以基于人口统计资料、基于地理位置、或基于感兴趣的其他因素对其他个人进行分组。分析可以包括在个人上捕获的每种类型的数据210。可替代地，与其他人相关的分析可以包括其他数据230，例如社交媒体网络信息。其他人及其相关数据可以关联至在其上捕获数据的个人232。关联可以基于共同的经历、共同的精神状态、共同的人口统计资料或其他因素。在一些实施方案中，关联基于来自个人的元数据和来自该多个其他人的元数据234。元数据可以包括时间戳、自评定结果以及其他信息。自评定结果可以包括指示是否某些人喜欢他们遇到的经历，例如像浏览过的视频。流程200可以继续从网络服务接收与多个其他人相关的分析信息236，其中这些信息允许评估该多个其他人中每一个的精神状态并将该多个其他人中每一个的精神状态关联至在该个人的精神状态上捕获的数据。从网络服务接收的分析可以是基于特定访问权限的。网络服务可以具有与很多人群相关的数据。在一些情况中，例如可以仅在一个或多个人群上授权精神状态分析。在进行精神状态分析过程中，流程200可以包括汇总其他信息源240。信息源可以包括新闻订阅、脸谱网条目、网络相册、推特消息、以及其他社交网络站点。汇总可以包括从个人访问的或个人为其创建内容的各个站点收集信息。其他信息源可以关联至个人，以帮助确定个人的精神状态和其他彳目息源之间的关系。流程200继续个人的精神状态的分析250。捕获的数据、分析的图像内容、与其他人的关联以及汇总的其他信息源各自可用于推断该个人的一种或多种精神状态。进一步地，精神状态分析可以针对一群人来执行，包括该个人和来自其他人的一个或多个人。处理过程可以包括基于在该个人上捕获的数据来自动推断精神状态。精神状态可以是认知状态。精神状态可以是情绪状态。精神状态可以是认知和情绪状态的组合。可以推断一种精神状态或同该个人处于该种精神状态的概率一起来估计这种精神状态。可评估的精神状态可以包括快乐、悲伤、满意、担心、专注、焦急、困惑、高兴以及自信。在一些实施方案中，表示精神状态可以像跟踪并分析微笑一样简单。精神状态分析可以基于生理数据、加速计读数、或基于所获取的面部图像来推断。精神状态可以基于唤醒或效价来分析。唤醒的范围可以从高度活泼(例如当某人被鼓动时候)到完全消极(例如当某人无聊时)效价的变化范围可以从十分积极(例如当某人高兴时)到十分消极(例如当某人生气时)。生理数据可以包括皮肤电活动(EDA)或皮肤电传导或皮肤电反应(GSR)、加速计读数、皮肤温度、心率、心率变异性以及其他类型的人类分析。将会理解的是，本文档的此处以及其他位置中，生理信息可以由传感器或由面部观察来获得。在一些实施方案中，面部观察利用网络摄像头来获得。在一些实例中，升高的心率表示兴奋状态。增加的皮肤电传导等级可以对应于被唤醒。小的、频繁的加速计移动读数可以表示烦躁和厌倦。加速计读数还可以用于推断例如像在电脑前工作、骑自行车、或弹吉他这样的内容。面部数据可以包括用于推断精神状态的面部动作和头部姿势。另外，数据可以包括与手势或肢体语言以及身体移动(例如明显的坐立不安)相关的信息。在一些实施方案中，这些移动可以由摄像机或由传感器读数来获得。面部数据可以包括使头部倾斜到侧方、前倾、微笑、皱眉以及很多其他姿势或表情。头部向前倾斜可以表示关注电子显示屏上显示的内容。紧缩眉头可以表示集中精力。微笑可以表示肯定的应答或高兴。大笑可以表示喜悦并且表示已经发现一个有趣的主题。头部向侧方倾斜和眉头紧缩可以表示困惑。头部消极地摇动可以表示不愉快。这些以及很多其他精神状态可以基于捕获的面部表情和 生理数据来表示。在实施方案中，生理数据、加速计读数以及面部数据各自可以用作推断各种精神状态的算法中的影响因素。另外，复杂度更高的精神状态可以从生理数据、面部表情和加速计读数中的多项来推断。进一步地，精神状态可以基于在一段时间上采集的生理数据、面部表情和加速计读数来推断。流程200继续基于接收到的分析来渲染描述个人精神状态的输出260。输出可以是表示一个或多个精神状态的文本或数值输出。输出可以是一次经历的曲线图(具有时间轴)和在这次经历过程中出现的精神状态。渲染的输出可以是采集的生理、面部或加速计数据的图形表示。类似地，可以对结果进行渲染，结果表示一种精神状态以及个人处于这种精神状态中的概率。处理过程可以包括注解所捕获的数据并对注解进行渲染。渲染可以在计算机屏幕上显示数据。渲染可以包括显示唤醒和效价。渲染可以采用文件或文件中数据的形式在计算机可读存储器上存储数据。渲染可以基于从网络服务接收的数据。可以接收各种类型的数据，包括JavaScript对象注解(JSON)形式的或XML或CSV类型文件形式的序列化对象。流程200可以包括将串行化的对象去串行化为JavaScript对象的形式262。然后，JavaScript对象可用于输出精神状态的文本或图形表示。在一些实施方案中，流程200可以包括基于个人的精神状态来推荐一个行动方案270。推荐可以包括修改对焦点群体进行查询的问题、改变网页上的广告、编辑观看的电影以去除有异议的部分、改变电子游戏的方向、改变医疗咨询介绍、编辑基于互联网的教程的令人混淆部分等。图3是皮肤电活动的图形渲染。皮肤电活动可以包括皮肤电传导，在一些实施方案中，皮肤电传导以micro-Siemens (百万分之一欧姆)为单位进行测量。曲线310展示了为个人采集的皮肤电活动。皮肤电活动的值显示在曲线图的y轴320上。皮肤电活动是在一段时间上采集的并且时标330显示在曲线图的X轴上。在一些实施方案中，多个人的皮肤电活动可以在需要时呈现或在汇总的基础上进行显示。可以包括标记，以标识曲线图的一部分。标记可用于描绘被放大或可放大的曲线图的一部分。放大可以涵盖一个短时段，在该短时段上可以专注于进一步的分析或检查。该放大部分可以在另一个曲线图上渲染。还可以包括标记，以标识对应于特定精神状态的部分。可以对每个波形或时间轴进行注解。起始注解和结束注解可以标记一个区域或时间段的开始和结束。单一注解可以标记特定的时间点。每个注解可以具有相关的文本，文本可以自动地输入或由用户输入。可以显示包括文本的文本框。图4是加速计数据的图形渲染。可以采集一个、两个或三个维度的加速计数据。在图4的实例中，X轴加速计读数的曲线图在第一曲线图410中示出，y轴加速计读数的曲线图在第二曲线图420中示出，并且z轴加速计读数的曲线图在第三曲线图430中示出。相应加速计读数的时间标记在曲线图轴线440上示出。X加速值示出在另一个轴线450上，y加速值示在轴线452上，并且z加速值示出在轴线454上。在一些实施方案中，多个人的皮肤电活动可以在需要时呈现或在汇总的基础上进行显示。可以包括和使用类似于图3中所讨论的那些标记和注解。图5是皮肤温度数据的图形渲染。曲线510展示了为个人采集的皮肤电活动。皮肤温度的值示出在曲线图的I轴520上。皮肤温度值在一段时间上收集并且时间标记530显示在曲线图的X轴上。在一些实施方案中，多个人的皮肤温度值可以在需要时呈现或在汇总的基础上进行显示。可以包括和使用类似于图3中所讨论的那些标记和注解。图6展示了用于面部分析的图像采集系统。系统600包括电子显示器620和网络摄像头630。系统600将面部反应捕获至电子显示器620。在一些实施方案中，系统600捕获对其他刺激物的面部反应，例如商店展览、汽车、棋盘游戏、电影屏幕货其他类型的经历。面部数据可以包括与精神状态有关的视频和信息集。在一些实施方案中，网络摄像头630可以捕获个人610的视频。可以将视频捕获530至磁盘、磁带上，捕获至计算机系统上，或流至服务器。个人610的图像或图像序列可以由摄像机、网络摄像机固定镜头、热成像仪、CXD装置、电话摄像机、或其他摄像机类型装置来捕获。·电子显示器620可以显示视频或其他表示形式。电子显示器620可以包括计算机显示器、膝上计算机屏幕、移动装置显示器、移动电话显示器、或某种其他电子显示器。电子显示器620可以包括键盘、鼠标、操纵杆、触摸板、触摸屏、识别笔、运动传感器、以及其他输入设备。电子显示器620可以显示网页、网站、能上网的应用程序等。个人610的图像可以由视频捕获单元640来捕获。在一些实施方案中，可以捕获个人610的视频，而在其他实施方案中，捕获一系列静止图像。在实施方案中，网络摄像头用于捕获面部数据。动作单元、姿势、以及精神状态的分析可以利用所捕获的个人610的图像来完成。动作单元可用于识别微笑、皱眉和精神状态的其他面部指示。在一些实施方案中，直接识别微笑，并且在一些情况中可以识别微笑程度(例如，小、中和大)。姿势(包括头部姿势)可以表示兴趣或好奇。例如，朝向电子显示器620移动的头部姿势可以表示兴趣增加或希望弄清楚。面部分析650可以基于信息和捕获的图像来执行。分析可以包括面部分析和头部姿势的分析。基于捕获的图像，可以进行生理技能的分析。生理技能的评估可以包括通过分析个人的面部或身体的图像来评估心率、心率变异性、呼吸、汗液、温度、皮肤孔隙大小、以及其他生理特征。在很多情况中，评估可以利用网络摄像头完成。另外，在一些实施方案中，生理传感器可以附接至个人以获得与精神状态相关的进一步数据。分析可以实时地或即时地执行。在一些实施方案中，分析是安排好的，然后通过分析器或计算机处理器(已经过编程)来运行以执行面部分析。在一些实施方案中，计算机处理器可以得到人为干预的帮助。人为干预可以识别计算机处理器不能识别的精神状态。在一些实施方案中，处理器识别人为干预有帮助的地点，而在其他实施方案中，人类观察面部视频并提供输入，甚至是在处理器无法识别干预是有帮助的时候。在一些实施方案中，处理器可以基于人为干预来执行机器学习。基于人为输入，处理器可以学习到某些面部动作单元或姿势对应于特定的精神状态，然后将来能够自动地识别这些精神状态，无需人为干预。图7是执行面部分析的流程图。流程700可以开始于导入面部视频710。面部视频可以事先记录并存储，以备以后分析。可替代地，导入面部视频可以在观察到一个人时实时地发生。可以检测并分析动作单元720。动作单元可以包括扬起内侧眉毛、绷紧嘴唇、降低眉毛、张开鼻孔、眼睛斜视以及很多其他可能动作。这些动作单元可以由分析视频的计算机系统自动地检测。可替代地，在动作单元的正式列表中常规上并未编号的小范围的面部移动也可以认为是用于输入给分析过程的动作单元，例如微笑的抽动或双眼上方的眉毛向上移动。可替代地，可以提供计算机系统进行的自动检测和人工输入的组合形式来提高动作单元的检测和相关的输入测度。也可以检测和分析面部和头部姿势730。姿势可以包括头部向侧方倾斜、前倾、微笑、皱眉以及很多其他姿势。可以执行精神状态的分析740。精神 状态可以包括快乐、悲伤、专注、困惑、以及很多其他情况。基于动作单元和和面部或头部姿势，可以分析、推断并识别精神状态。图8是描述生理分析的图示。系统800可以对为其采集数据的个人810进行分析。个人810可以具有附接至他或她的传感器812。传感器812可以置于手腕、手掌、手部、头部、胸骨或身体的其他部分。在一些实施方案中，多个传感器置于一个人身上，例如置于两个手腕上。传感器812可以包括用于皮肤电活动、皮肤温度以及加速计读数的检测器。还可以包括其他传感器，例如心率、血压以及其他生理检测器。传感器812可以利用无线技术(例如Wi-Fi、蓝牙、802. 11、移动电话或其他频带)向接收器820传送收集的信息。在一些实施方案中，传感器812可以存储信息并通过无线技术引发数据下载。在其他实施方案中，传感器812可以存储信息以用于未来有线下载。接收器可以向系统800中的一个或多个组件提供数据。还可以采集皮肤电活动(EDA)830。可以是每秒、每秒4次、每秒8次、每秒32次或以一些其他周期或基于某些事件来连续地采集皮肤电活动。可以记录皮肤电活动832。记录操作可以是记录至磁盘、磁带,记录到闪存盘上，记录到计算机系统中，或流入服务器上。可以分析皮肤电活动834。皮肤电活动可以基于皮肤电传导中的变化表示唤醒、激动、厌倦或其他精神状态。可以每秒、每秒4次、每秒8次、每秒32次或以一些其他周期来连续地采集皮肤温度840。可以记录皮肤温度842。记录操作可以是记录至磁盘、磁带,记录到闪存盘上,记录到计算机系统中，或流入服务器上。可以分析皮肤温度844。基于皮肤温度上的变化，皮肤温度可用于表示唤醒、激动、厌倦或其他精神状态。可以采集加速计数据850。加速计可以表示一维、二维或三维移动。可以记录加速计数据852。记录操作可以是记录至磁盘、磁带，记录到闪存盘上，记录到计算机系统中，或流入服务器上。可以分析加速计数据854。加速计数据可用于表示睡眠模式、剧烈活动状态、昏睡状态或基于加速计数据的其他状态。图9是描述心率分析的图示。可以观察个人910。可以通过心率传感器来观察个人920。观察可以通过接触传感器、通过视频分析(能够捕获心率信息)、或其他无线传感技术来进行。可以记录心率930。记录操作可以是记录至磁盘、磁带,记录到闪存盘上,记录到计算机系统中，或流入服务器上。可以分析心率和心率变异性940。提高的心率可以表示兴奋、紧张或其他精神状态。降低的心率可用于表示平静、厌倦或其他精神状态。作为变量的心率可以表示身体健康和缺少压力。缺乏心率变异性可以表示压力增加。图10是进行精神状态分析和渲染的流程图。流程1000可以开始于不同类型的数据采集和分析。可以执行面部分析1010，从而识别动作单元、面部和头部姿势、微笑和精神状态。可以执行生理分析1012。生理分析可以包括皮肤电活动、皮肤温度、加速计数据、心率和与人体相关的其他测量。生理数据可以通过接触传感器、通过视频分析(如心率信息的情况一样)或其他设备来采集。在一些实施方案中，可以执行唤醒和效价评估1020。唤醒等级可以从平静到兴奋。效价可以是正面或负面倾向。效价和唤醒的组合可用于表征精神状态1030。精神状态可以包括困惑、专注、快乐、满足、自信以及其他状态。在一些实施方案中，精神状态的表征可以完全由计算机系统来评估1030。 在其他实施方案中，在推断精神状态时可以提供人为协助1032。该过程可以包括利用人类来评估以下群组中的一项的一部分，该群组包括面部表情、头部姿势、手部姿势和肢体语言。人仅仅可用于评估一小部分、甚至一个单一的表情或姿势。因此，人可以评估面部表情、头部姿势或手势中的一小部分。同样，人可以评估观察到的人的肢体语言的一部分。在实施方案中，该过程可以包括在针对所捕获的数据的一部分对精神状态进行评估时提醒人进行输入。人可以观察面部分析或生理分析原始数据(包括视频)或可以观察原始数据或分析结果的多个部分。人可以进行干预并提供输入以帮助推断精神状态，或可以为用于表征精神状态的计算机系统来识别精神状态1030。计算机系统可以突出显示需要人为干预的数据的多个部分，并且可以跳至一个时间点，在该时间点上将需要干预的数据提供给人。可以向人提供反馈，该反馈在表征过程中提供帮助。多个人可以在表征精神状态的过程中提供帮助。基于精神状态的自动表征以及多个人进行的评估，反馈可以提供给一个人以提高该人的表征精度。可以补偿单独的人以便在表征过程中提供帮助。基于自动表征或基于帮助表征的其他人，表征过程的改进精度可以产生增强的补偿。流程100可以包括计算机系统的学习。精神状态评估的机器学习1034可以由精神状态的表征中使用的计算机系统来执行1030。机器学习可以基于在针对一部分数据评估精神状态时的人类输入。可以渲染精神状态和相关概率的表示1040。精神状态可以呈现在计算机显示器、电子显示器、移动电话显示器、个人数字助理显示屏或其他显示器上。可以图形化地显示精神状态。一系列精神状态可以呈现为每个状态在给定时间点上出现的可能性。同样，每种精神状态的一系列概率可以呈现在分析面部和生理数据的时间轴上。在一些实施方案中，可以基于检测到的精神状态来建议动作1042。动作可以包括在小组座谈会议上推荐问题。动作可以是改变网页上的广告。动作可以是编辑所观赏的电影以便移除有异议的节段或无聊的部分。动作可以是在商店中正在移动显示器。动作可以是编辑网上或视频中教程的令人混淆部分。图11是描述群组的精神反应分析的流程图。流程1100可以开始于聚集人群1110。人群可以具有共同的经历，例如观赏电影、观看电视节目、观看电影预告片、浏览流媒体、观看广告、听歌曲、观看或听讲座、使用计算机程序、使用产品、进食、使用视频或计算机游戏、远程教育、乘坐或驾驶运输车辆(例如汽车)、或其他经历。可以对人群的每个成员执行数据采集1120(1110)。可以在人群1110的每个成员上进行多次感测，包括例如第一感测1122、第二感测1124等等一直到第η感测1126。执行数据采集1120所用的不同感测可以包括捕获面部表情、皮肤电活动、皮肤温度、加速计读数、心率以及其他生理信息。可以分析所捕获的数据1130。这种分析可以包括表征唤醒和效价以及表征人群1110中每个人的精神状态。可以推断人群的心理反应1140，以提供集体精神状态。可以对精神状态进行汇总以评估人群1110中所有人的共同经历。可以对结果进行渲染1150。结果可以是时间的函数或人们所经历的一系列事件的函数。 结果可以包括效价和唤醒的图形显示。结果可以包括个人和全体人群的精神状态的图形显示。图12是识别数据部分的流程图，该数据部分匹配所选择的感兴趣精神状态。流程1200可以开始于导入通过感测而采集的数据以及迄今为止所进行的任意分析1210。数据的导入可以是下载先前所捕获的已存储数据或可以是下载实时捕获的数据。数据还可以已经存在于进行分析的系统内部。感测可以包括获取面部表情、皮肤电活动、皮肤温度、加速计读数、心率采集、以及其他生理信息。可以对通过感测而采集的各种数据进行分析，以表征精神状态。可以选择引起用户兴趣的精神状态1220。感兴趣的精神状态可以是困惑、专注、自信、高兴以及很多其他精神状态。在一些实施方案中，可以对采集的数据预先进行分析。分析可以包括数据的标引和对推断或检测的精神状态进行分类。当已经预先进行了分析并且已经对感兴趣的精神状态进行了分类，可以通过分析进行搜索1225，以找到匹配于所选状态的一个或多个类别。例如，可以将困惑选为感兴趣的精神状态。所采集的数据已经预先针对于不同精神状态(包括困惑)经过了分析。当标引所采集的数据时，在数据采集过程中可以在不同时间点上标记困惑的类别。接着，当任意困惑点已经预先进行了分类时就针对它们搜索分析内容。在一些实施方案中，响应的特征可以是对应于感兴趣的精神状态1230。响应可以是正效价的和激昂的，例如选择自信作感兴趣的精神状态。响应可以降低至效价和唤醒或可以进一步降低以寻找动作单元或面部表情和头部姿势。可以搜索采集的数据以响应于对应的所选状态1240。可以搜索感测的数据或者可以搜索源自所选数据的分析。搜索可以查找动作单元、面部表情、头部姿势或匹配所选状态的精神状态(用户感兴趣于该精神状态)1220。可以跳转至数据中具有感兴趣的精神状态的部分1250。例如，当选择困惑时，数据或源自数据的分析可以对应于出现困惑的时间点而展示出来。这种“跳转特征”可以认为是在数据中快进至感兴趣的部分，在这部分中检测困惑或另一个所选精神状态。当考虑面部视频时，可以展示视频中匹配所选状态的关键部分。在一些实施方案中，可以注释数据中具有感兴趣的精神状态的部分1252。注释可以沿着时间轴设置，时间轴标记了具有所选状态的数据和时刻。在实施方案中，可以呈现在具有所选状态的时刻上感测的数据1254。数据可以包括面部视频。数据还可以包括皮肤电活动、皮肤温度、加速计读数、心率、以及其他生理读数的图形表示。图13是来自人群的精神状态分析的汇总结果的图形渲染。这种渲染可以呈现在网页、能上网的应用程序、或其他类型的电子显示表示形式上。曲线图1310可以为在其上采集情感数据的个人而显示。精神分析可以基于面部图像或生理数据采集。在一些实施方案中，曲线图1310可以表示为个人所观察的微笑的量级或概率。曲线图上的较高值或点表示更强烈的或较大的微笑。在某些点中，当图像采集出现缺失或不能够识别某人的面部时，曲线图下降或降低。情感的概率或强度沿着y轴1320给出。时间轴可以沿着X轴1330给出。另一个曲线图1312可以显示用于在另一个人上采集的情感或从多个人的汇总情感。汇总信息可以基于采用人群的平均、中间、或其他采集值。在一些实施方案中，图形笑脸图标1340、1342和1344可以表示微笑或其他面部表情的量级。第一个非常明显的笑脸图标1340可以表示观察到的大笑。第一个正常的笑脸图标1342可以表示观察到的微笑。第一个笑脸图标1344可以表示不微笑。这些图标各自可以对应于y轴1320上的一个区域，该区域表示微笑的概率或强度。图14是精神状态分析的图形渲染。这种渲染可以呈现在网页、能上网的应用程序、或其他类型的电子显示表示形式上。曲线图1410可以表示观察到的情感出现的强度或概率。时间轴可以沿着X轴1420给出。情感的概率或强度沿着y轴1430给出。第二曲线图1412可以展示曲线图1410的平滑版本。可以识别情感中的一个或多个低谷，例如凹处 1440。可以识别情感中的一个或多个高峰，例如尖峰1442。图15是基于元数据的精神状态分析的图形渲染。这种渲染可以呈现在网页、能上网的应用程序、或其他类型的电子显示表示形式上。在曲线图上，第一曲线1530、第二曲线1532、以及第三曲线1534各自可以对应于采集的不同元数据。例如，可以采集自评定元数据，以表示上报的人对某个事件是否“真正喜欢”、“喜欢”或“模棱两可”。事件可以是电影、电视节目、网络系列片、网络视频短片、视频、视频剪辑、电子游戏、广告、电子书、电子杂志等。第一曲线1530可以对应于一个人“真正喜欢”的事件，而第二曲线1532可以对应于“喜欢”该事件的另一个人。同样，第三曲线1534可以对应于对该事件“模棱两可”的一个不同的人。在一些实施方案中，曲线可能对应于多个人的汇总结果。以上方法的每一个可以在一个或多个计算机系统的一个或多个处理器上执行。实施方案可以包括各种形式的分布式计算、客户端/服务器计算、以及基于云的计算。进一步地，将会理解的是对于本披露中的每个流程图，提供所描绘的步骤或方框图的目的仅仅用于图示和解释。可以对这些步骤进行修改、省略或重新排序，而其他步骤可以在不偏离本披露范围的情况下添加进来。进一步地，每个步骤可以包含一个或多个子步骤。尽管前述的附图和描述提出了所披露系统的功能方面，但除非明确指出或从上下文中清晰可见，从这些描述中不应当推断出实现这些功能方面的软件和/或硬件的具体安排。软件和/或硬件的所有这些安排应当落在本披露的范围之内。框图和流程示意图描绘了方法、设备、系统和计算机产品。框图和流程示意图的每个元素以及框图和流程示意图中元素的每个组合形式说明了方法、设备、系统、计算机程序产品和/或计算机实施方法的一个功能、步骤或一组步骤。任意和所有这些功能可以由计算机程序指令、由专用的基于硬件的计算机系统、由专用硬件和计算机指令的组合形式、有通用硬件和计算机指令的组合形式、由计算机系统等来实施。这些功能中的任意一项或所有在本文通常可以称为“电路”、“模块”或“系统”。执行以上提及的计算机程序产品或计算机实施方法中任意一个的可编程设备可以包括一个或多个处理器、微处理器、微控制器、嵌入式微控制器、可编程数值信号处理器、可编程装置、可编程门阵列、可编程阵列逻辑、存储装置、特定应用集成电路等。每一个都可以适当地使用或配置以处理计算机指令、执行计算机逻辑、存储计算机数据等。将会理解的是，计算机可以包括计算机可读存储介质中的计算机程序产品，并且这种介质可以是内部的或外部的、可拆卸的或可置换的、或是固定的。另外，计算机可以包括基本输入/输出系统(BIOS)、固件、操作系统、数据库等，它们可以包括、连接、或支持本文描述的软件和硬件。本发明的实施方案不限于包括传统计算机程序的应用程序或运行它们的可编程设备。例如，可以设想的是，当前所声明的发明的实施方案可能包括光学计算机、量子计算机、模拟计算机等。计算机程序可以下载到计算机上以产生可以执行所描述功能的任意一项或全部的具体机构。该具体机构提供执行所描述功能的任意一项或全部的方法。可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是用于存储的暂时的或非暂时的计算机可读介质。计算机可读存储介质可以是电、磁、光、电磁、红夕卜、半导体或前述介质中任意适合的组合形式。另一些计算机可读存储介质实例可以包括具有一个或多个导线的电连接、便携式计算机软磁盘、硬盘、随机存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存、MRAM、FeRAM、相变存储器、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置、或前述装置的任意适合组合形式。在本文档的环境中，计算机可读存储介质可以是任意有形的包含或存储程序的介质，该程序由指令执行系统、设备或装置来使用或与它们相关联使用。将要认识到是，计算机程序指令可以包括计算机可执行代码。表达计算机程序指令的各种语言可以包括但不限于C、C++、Java、JavaScript 、ActionScript 、汇编语言、LiSp、Perl、TCl、Python、Ruby、硬件描述语言、数据库程序设计语言、函数式程序设计语言、命令式程序设计语言等。在实施方案中，计算机程序指令可以进行存储、编译或解释，以便运行在计算机、可编程数据处理设备、处理器或处理器架构等等的不同组合上。不加限制地，本发明的实施方案可以采用基于网络的计算机软件的形式，该软件包括客户端/服务器软件、软件即服务、对等网络软件等。在实施方案中，计算机能够执行包括多个程序或线程的计算机程序指令。多个程 序或线程可以几乎同时进行处理以便提高处理器的利用率并充分地帮助同时发挥功能。通过实施，本文描述的任何和所有方法、程序代码、程序指令等可以在一个或多个线程中执行。每个线程可以产生其他线程，这些其他线程本身可以具有与它们相关的优先权。在一些实施方案中，计算机可以基于优先权或其他顺序来处理这些线程。除非明确指出或从上下文中清晰可见，动词“执行”和“处理”可以互换地使用以表示执行、处理、解释、编译、汇编、链接、下载或前述动作的组合。因此，执行或处理计算机程序指令、计算机可执行代码等的实施方案可以采用所描述方式的任意一种或所有按照指令或代码产生动作。进一步地，所示的方法步骤意在包括使一个或多个部分或实体执行步骤的任意适合的方法。执行步骤或步骤的一部分的多个部分不需要位于特定的地理位置或国家范围内。例如，如果位于美国的一个实体使得它的方法步骤或一部分在美国以外执行，那么该方法被认为通过使得执行该步骤的该实体在美国执行。尽管针对示出的并且详细描述的优选实施方案披露了本发明，但在其上的各种修改形式和改进形式对本领域那些熟练技术人员而言将变得十分明显。因此，本发明的精神和范围不应当由前述实例所限制，而是应当在 法律所允许的最广泛意义上进行理解。


利用网络服务提供精神状态分析，以便能够进行数据分析。为个人捕获数据，其中该数据包括面部信息和生理信息。在网络服务上进行分析并接收该分析。其他人的精神状态可以与该个人的精神状态相关联。可以汇总其他信息源，其中该信息可用于分析该个人的精神状态。渲染该个人或人群的精神状态分析以进行显示。