早鸽—汇聚行业精英
  • 联系客服
  • 帮助中心
  • 投诉举报
  • 关注微信
400-006-1351
您的问题早鸽都有答案
3000+专业顾问
搜索
咨询

用于在系统故障之前报告所记录的视频的系统制作方法

  • 专利名称
    用于在系统故障之前报告所记录的视频的系统制作方法
  • 发明者
  • 公开日
  • 申请日期
  • 优先权日
  • 申请人
  • 文档编号
  • 关键字
  • 技术领域
    本公开总体上涉及改善用户操作及存取音频和视频媒体的能力的数据处理系统 的领域
  • 背景技术
  • 专利详情
  • 全文pdf
  • 权力要求
  • 说明书
  • 法律状态
专利名称:用于在系统故障之前报告所记录的视频的系统的制作方法自从托马斯 爱迪生(Thomas Edison)时代以来,记录的音频及电影媒体已成为 社会的一方面。在20世纪初期,记录的音频媒体(磁柱及唱片)及电影媒体(投币式自动 点唱机及电影)广泛发行,但两种技术仍处于其起步阶段。在20世纪20年代后期,在大 众市场的基础上将电影与音频组合,之后将彩色电影与音频组合。无线电广播逐渐演变成 很大程度上支持广告的形式的广播大众市场音频媒体。当在20世纪40年代中期建立电视 (TV)广播标准时,电视与无线电以广播大众市场媒体的形式接合,从而将先前记录的或现 场直播的电影带入家庭中。至20世纪中期为止,大部分美国家庭已具有用于播放记录的音频媒体的唱片播 放器(phonograph record player)、用于接收现场直播的广播音频的无线电设备,及用于 播放现场直播的广播音频/视频(A/V)媒体的电视机。常常将所述3个“媒体播放器”(唱 片播放器、无线电设备及TV)组合到共有公共扬声器的橱柜中,变成家庭的“媒体中心”。尽 管对于消费者而言媒体选择有限,但媒体“生态系统”非常稳定。大多数消费者知道如何使 用“媒体播放器”且能够享受其能力的全部范围。同时,媒体的出版商(大多为电影和电视 工作室,及音乐公司)能够将其媒体分配给电影院与家庭两者,而不遭受广泛的盗版或“二 次销售”(也即,已使用媒体的重新销售)。通常,出版商不会从二次销售得到收入,且因此, 二次销售减少了出版商对于新的销售从原本可自己使用媒体的购买者得到的收入。尽管在 20世纪中期期间的确存有已使用的唱片出售,但所述销售不会对唱片出版商有大影响,因 为不同于电影或视频节目(其通常被成年人观看一次或仅数次),音乐曲目可被收听数百 次或甚至数千次。因此,音乐媒体远比电影/视频媒体“经久”(也即,对于成年消费者而 言,其具有持久价值)。一旦购买了唱片,若消费者喜欢该音乐,则消费者可能将其保持很长 时间。自20世纪中期到现在,媒体生态系统对于消费者与出版商的利益及损失来说都 经历了一系列根本改变。在音频录音机(尤其是具有高质量立体声的盒式磁带)的广泛 引入的情况下,的确有较高程度的消费者便利。但其也标志着现在广泛的消费者媒体实 践_盗版的开始。的确,许多消费者纯粹出于便利起见而使用盒式磁带来录制其自己的唱 片,但日益增加的消费者(例如,宿舍中准备存取彼此的唱片收集的学生)将进行盗版复3制。而且,消费者将录制经由无线电播放的音乐,而非从出版商购买唱片或磁带。消费者VCR的出现导致更多的消费者便利,因为现在VCR被设置为记录TV节目, 其可在稍后时间观看,且VCR也导致视频租赁业的建立,其中电影以及TV节目设计可在“点 播”基础上进行存取。自20世纪80年代中期以来的大众市场家庭媒体设备的快速开发已 导致消费者的空前的选择及便利程度,且也导致媒体出版市场的快速扩张。现今,消费者面对过多媒体选择以及过多媒体设备,其中许多被绑定到特定形式 的媒体或特定出版商。热衷的媒体消费者可能将一堆设备连接到房屋各房间中的TV及计 算机,造成至一或多个电视机和/或个人计算机(PC)的“鼠窝式”电缆以及一群远程控制。 (在本申请的上下文中,术语“个人计算机”或“PC”指代适合于在家庭或办公室中使用的任 何种类的计算机),包括台式计算机、Macintosh (麦金托什机器)⑧或其他非Windows (视 窗)计算机、与Windows相容的设备、Unix变体、笔记本计算机等)。所述设备可包括视频 游戏控制台、VCR、DVD播放器、音频环绕音效处理器/放大器、卫星机顶盒、电缆TV机顶盒 等。此外,对于热衷的消费者,可能由于相容性问题而存在多个类似功能的设备。举例而言, 消费者可能拥有HD-DVD与蓝光(Blu-ray)DVD播放器两者,或Microsoft Xbox (微软家用 游戏机) 与Sony Playstation (索尼游戏站) 视频游戏系统两者。实际上,由于一些 跨游戏控制台版本的的游戏的不相容性,消费者可能拥有XBox与稍后的版本(诸如,Xbox 360 )两者。经常地,消费者对于使用哪个视频输入端及哪个远端感到迷惑。甚至在将光 碟置放于正确的播放器(例如,DVD、HD_DVD、蓝光、Xbox或Playstation)中、选择用于该设 备的视频及音频输入端且发现正确远程控制之后,消费者仍面临技术挑战。举例而言,在宽 屏DVD的状况下,用户可能需要首先确定正确的纵横比(例如,4 3、完全、放大、宽放大、 电影院宽等)且接着在其TV或监视器屏幕上设定正确的纵横比。类似地,用户可能需要首 先确定正确的音频环绕音效系统格式(例如,AC-3、杜比数字、DTS等)且接着设定正确的 音频环绕音效系统格式。时常,消费者未意识到其可能未享受到其电视或音频系统的全部 能力下的媒体内容(例如,观看以错误纵横比挤压的电影,或收听立体声的音频而非环绕 音效的音频)。日益增加地,已将以基于互联网的媒体设备添加到设备的堆栈中。类似Sonos (索 罗斯) 数字音乐系统的音频设备使音频直接从互联网流动(stream)。同样地,类似 SlingboXTM(视灵宝 )娱乐播放器的设备记录视频且使其经由家庭网络流动或经由互联网 流动而出,其中可在PC上远程观看该视频。且互联网协议电视(IPTV)服务经由数字用户 线(DSL)或其他家庭互联网连接而提供类似电缆TV的服务。近来还努力将多个媒体功能 整合到单个设备(诸如,Moxi (摩西) 媒体中心及执行Windows XP媒体中心版本的PC) 中。尽管所述设备中的每个设备对其执行的功能提供一点便利,但每个设备缺乏对大多数 媒体的普遍且简单的存取。另外,常常由于昂贵的处理和/或本地储存的需要而使得所述 设备经常花费数百美元来制造。另外,所述现代的消费者电子设备通常消耗大量电力,甚至 当闲置时也消耗大量电力,这意谓着其随着时间而更加昂贵且浪费能源。举例而言,若消费 者忘记将设备切断或将其切换到不同视频输入端,则该设备可能继续操作。此外,因为所述 设备当中没有一个设备为完全的解决方案,所以必须将其与家庭中的其他设备的堆栈整合 在一起,这仍对用户留下鼠窝式线及许多远程控制。此外,当许多较新的以互联网为基础的设备适当地工作时,其通常提供更一般形式(与其原本可能可用的形式相比)的媒体。举例而言,使视频经由互联网流动的设备常 常仅使视频材料流动,而不能使常常伴随DVD的互动式“额外项目”流动,如视频的“制作”、 游戏或导演评论。这是由于以下事实互动式材料经常是以特定格式制作,该特定格式意 欲用于在本地处理互动性的特定设备。举例而言,DVD、HD-DVD及蓝光光碟中每一者具有其 自身的特定互动格式。任何家庭媒体设备或本地计算机(其可能经开发以支持所有流行格 式)将需要一定程度的尖端性(sophistication)及灵活性,其将可能对于消费者操作而言 过于昂贵及复杂。使该问题加重,若稍后在将来引入新格式,则本地设备可能不具有支持新格式的 硬件能力,这将意味着消费者将必须购买升级的本地媒体设备。举例而言,若在稍后的日期 引入较高分辨率的视频或立体视频(例如,每一只眼一个视频流),则本地设备可能不具有 解码该视频的计算能力,或其可能不具有用于以新格式输出该视频的硬件(例如,假定通 过与遮光眼镜(shuttered glassess)同步的120fps视频来实现立体视觉,其中将60fps 传送到每一只眼,若消费者的视频硬件仅可支持60fps视频,则该选项在缺乏升级的硬件 购买的情况下将不可用)。当谈及尖端的互动式媒体(尤其是视频游戏)时,媒体设备废弃及复杂度的问题 为严重问题。现代视频游戏应用基本上划分成四个主要非便携式式硬件平台 SonyPlayStation 1、2 及 3(PS1、PS2,及 PS3) ;Microsoft Xbox 及 Xbox 360 及 Nintendo Gamecube (任天堂方糖)⑧及Wii ;以及以PC为基础的游戏。所述平台中的每一 者不同于其他者,使得被编写以在一个平台上执行的游戏通常不会在另一平台上执行。也 可能存在一代设备与下一代设备的相容性问题。即使大多数软件游戏开发者建立独立于特 定平台而设计的软件游戏,为了在特定平台上执行特定游戏,也需要专有软件层(其经常 被称为“游戏开发引擎」”)来调适游戏以在特定平台上使用。每一个平台以“控制台”(也 即,附接到TV或监视器/扬声器的脱机盒(standalone box))的形式出售给消费者或其本 身为PC。通常,视频游戏在诸如蓝光DVD、DVD_R0M或⑶-ROM的光学媒体上出售,该光学媒 体含有体现为尖端的实时软件应用程序的视频游戏。随着家庭宽带速度增加,视频游戏正 日益变得可用于下载。由于高级视频游戏的实时性及高计算要求而使得实现与视频游戏软件的平台相 容性的特殊性要求极端苛刻。举例而言,一个人可能期望从一代视频游戏到下一代视频游 戏(例如,自 XBox 至 XBox 360,或自 Playstation 2(“PS2”)至 Playstation 3(“PS3”)) 的完全游戏相容性,正如存在从一个PC到具有较快处理单元或核心的另一 PC的生产力应 用程序(例如,MicrosoftWord(微软文字处理软件))的普遍相容性。然而,对于视频游戏 并非是这种状况。因为当发行一代视频游戏时,视频游戏制造商通常寻求对于给定价格点 的最高可能性能,所以经常对系统进行动态架构改变,以使得被编写以用于前代系统的许 多游戏在稍后一代系统上不能工作。举例而言,XBox基于x86系列处理器,而XBox 360基 于PowerPC系列。可利用技术来模仿先前架构,但假定视频游戏为实时应用程序,则在模仿中达成 完全相同的行为常常不切实际。这是对消费者、视频游戏控制台制造商及视频游戏软件出 版商的损失。对于消费者而言,这意味着将旧的一代视频游戏控制台与新的一代视频游戏控制台两者保持接通到TV以便能够玩所有游戏的必要性。对于控制台制造商而言,这意味 着与新控制台的模仿及较慢采用相关的成本。且对于出版商而言,这意味着可能必须发行 新游戏的多个版本以便涵盖所有潜在的消费者_不仅发行用于视频游戏的每个商标(例 如,XBohPlaystation)的版本,而且常常发行用于给定商标的每个版本(例如,PS2及PS3) 的版本。举例而言,开发艺电有限公司(Electronic Arts)的“疯狂橄榄球08”的单独版本 以用于XBox、XBox 360、PS2、PS3、Gamecube、Wii及PC平台以及其他平台。便携式设备(诸如,移动电话及便携式媒体播放器)也对游戏开发商提出挑战。日 益增加地,所述设备连接到无线数据网络且能够下载视频游戏。但是,市场中存在具有多种 不同显示分辨率及计算能力的多种移动电话及媒体设备。而且,因为所述设备通常具有电 力消耗、成本及重量约束,所以其通常缺乏类似于图形处理单元(“GPU”)的高级图形加速 硬件(诸如,由美国加州的圣克拉拉的NVIDIA(英伟达公司)制造的设备)。因此,游戏软 件开发商通常开发同时用于许多不同类型的便携式设备的给定游戏标题。用户可发现给 定游戏标题不可用于其特定移动电话或便携式媒体播放器。在家庭游戏控制台的状况下,硬件平台制造商通常向软件游戏开发商收取用于在 其平台上发布游戏的能力的版税。移动电话无线通信公司通常也向游戏出版商收取用于将 游戏下载到移动电话中的版税。在PC游戏的状况下,不存在用于发布游戏所支付的版税, 但由于用于支持多种PC配置及可能引起的安装问题的较高消费者服务负担而使得游戏开 发商通常面临高成本。而且,PC通常较少阻碍游戏软件的盗版,因为其可很容易地由精通 技术的用户重新编程且游戏可更容易地被盗版且更容易地被分配(例如,经由互联网)。因 此,对于软件游戏开发商而言,在游戏控制台、移动电话及PC上发行具有成本及不利之处。对于控制台及PC软件的游戏出版商而言,成本不止于此。为了经由零售通道分配 游戏,出版商向零售商收取低于出售价格的批发价格以使零售商具有利润率。出版商通常 也必须支付制造及分配保存游戏的物理媒体的成本。零售商经常也向出版商收取“价格保 护费”以涵盖可能的意外费用(诸如,游戏售不出,或游戏的价格降低,或零售商必须退还部 分或所有批发价格和/或从购买者收回游戏)。另外,零售商通常也向出版商收取用于帮助 在广告传单中销售游戏的费用。此外,零售商日益增加地从已玩完游戏的用户购买回游戏, 且接着将所述游戏以使用过的游戏出售,通常不与游戏出版商分享使用过的游戏的收入。 以下事实增加了施加给游戏出版商的成本负担游戏常常被经由互联网盗版及分配以供用 户下载及进行免费复制。随着互联网宽带速度增加且宽带连接性在美国及全世界变得更广泛(更具体地, 到家庭和到租赁连接互联网的PC的“网吧”),游戏被更多地经由下载而分配到PC或控制 台。而且,宽带连接更多地用于玩多人及大型多人在线游戏(该两者在本公开中由首字母 缩写词“MM0G”来指代)。这些改变减轻了与零售分配相关的一些成本及问题。下载在线游 戏解决了游戏出版商的一些不利之处,因为分配成本通常较小且存在较少或不存在未出售 媒体的成本。但已下载的游戏仍被盗版,且由于其大小(大小常常为几十亿字节)而使得 其可能花费非常长的时间来下载。另外,多个游戏可装满小磁盘驱动器,例如连同便携式计 算机一起或连同视频游戏控制台一起出售的那些磁盘驱动器。然而,就游戏或MM0G需要在 线连接以使得游戏可玩的程度而言,盗版问题得以减轻,因为通常需要用户具有有效的用 户帐户。不同于可由相机拍摄显示屏幕的视频或由麦克风记录来自扬声器的音频来复制的线性媒体(例如,视频及音乐),每个视频游戏体验是唯一的,且不可使用简单的视频/音 频记录来复制。因此,甚至在未强力执行版权法且盗版猖獗的区域中,也可保护MM0G免于 被盗版,从而可支持商业。举例而言,已成功地部署Vivendi SA(维旺迪公司)的“魔兽世 界”MM0G,而在全世界未遭受盗版。且许多在线或MM0G游戏(诸如,Linden Lab (林登实验 室)的“第二人生”MM0G)通过建在游戏中的经济模型而产生游戏运营商的收入,其中资产 可使用在线工具而带来、出售且甚至建立。因此,可使用除传统游戏软件购买或订阅之外的 机制来为在线游戏的使用付费。尽管由于在线或MM0G的性质而使得常常可减轻盗版,但在线游戏运营商仍面临 其余挑战。许多游戏需要大量的本地(也即,家庭内)处理资源以供在线或MM0G适当地工 作。若用户具有低性能的本地计算机(例如,不具有GPU的计算机,诸如低端笔记本计算 机),则其可能不能够玩该游戏。另外,随着游戏控制台老化,其远落后于目前技术状态且 可能不能够处理更高级的游戏。即使假定用户的本地PC能够处理游戏的计算要求,常常也 存在安装复杂度。可能存在驱动器不相容性(例如,若下载新游戏,则可能安装新版本的图 形驱动器,其致使依赖于旧版本图形驱动器的先前已安装的游戏不可操作)。随着下载更 多游戏,控制台可能用完本地磁盘空间。当发现缺陷并修复时或若对游戏进行了修改(例 如,若游戏开发商发现游戏的级别太难玩或太容易玩),复杂游戏通常随着时间推移而从游 戏开发商接收下载的补丁(patch)。该补丁需要新的下载。但有时并非所有用户完成所有 补丁的下载。在其他时候,下载的补丁引入其他相容性或磁盘空间消耗问题。而且,在游戏播放期间,可能需要大数据下载以将图形或行为信息提供到本地PC 或控制台。举例而言,若用户进入MM0G中的一个房间中,且遇到由图形数据组成或具有在 用户的本地机器上不可用的行为的场景或人物,则必须下载那个场景或人物的数据。若互 联网连接不够快,则此可导致玩游戏期间的实质延迟。此外,若所遇到的场景或人物需要超 过本地PC或控制台的储存空间或计算能力的储存空间或计算能力,则其可产生下述情形 其中用户不能在游戏中继续,或必须以质量降低的图形继续。因此,在线或MM0G游戏常常 限制其储存和/或计算复杂度要求。另外,其常常限制游戏期间的数据传送的量。在线或 MM0G游戏也可使可玩游戏的用户的市场变窄。此外,精通技术的用户越来越多地对游戏的本地复本进行反向工程且修改游戏以 使得他们可以作弊。作弊可能与进行比用人力可能的速度快的重复按钮按压(例如,为了 非常快速地射击)一样简单。在支持游戏中资产交易的游戏中,作弊可达到导致欺骗性交 易涉及具有实际经济价值的资产的欺诈程度。当在线或MM0G经济模型基于所述资产交易 时,这可导致对游戏运营商的实质有害后果。开发新游戏的成本随着PC及控制台能够制作越来越尖端的游戏(例如,具有更逼 真的图形(诸如,实时光线追踪),及更逼真的行为(诸如,实时物理学仿真))而增长。在 视频游戏业的早期,视频游戏开发是应用程序软件开发非常类似的过程;也即,大多数开发 成本在软件的开发中(与图形、音频及行为要素或“资产”的开发相对比),诸如可被开发以 用于具有广泛特殊效果的电影的那些软件开发。现今,许多尖端的视频游戏开发成果比软 件开发更类似于富有特效的电影开发。举例而言,许多视频游戏提供3-D世界的仿真,且产 生更加真实(也即,看似与摄影拍摄的实景(live action)图像一样逼真的计算机图形) 的人物、道具及环境。照片一样逼真的游戏开发的最具挑战方面中的一者为创建不能区别7于实景人脸的计算机产生的人脸。面部捕获技术(诸如,由加州的圣弗朗西斯科的Mova开 发的Contour (轮廓 )真实性捕获系统)捕获表演者的面部的精确几何形状并在表演者 处于运动中时以高分辨率追踪表演者的面部的精确几何形状。此技术允许在PC或游戏控 制台上再现3D面部,该3D面部实际上不能区别于所捕获的实景面部。精确地捕获及再现 “照片一样逼真的”人脸在多个方面是有用的。首先,高度可识别的名人或运动员常常用于 视频游戏中(常常被高成本雇用),且不完美性可能对于用户而言显而易见,从而使观看体 验(viewing experience)分心或令人不愉快。经常地,需要高度细节来实现高度的照片一 样的逼真感_潜在地需要再现大量多边形及高分辨率纹理(在多边形和/或纹理在帧接帧 的基础上随着面部移动而改变的情况下)。当具有详细纹理的高多边形计数场景快速改变时,支持游戏的PC或游戏控制台 可能不具有足够的RAM来储存用于游戏片段中所产生的所需数目的动画帧的足够多边形 及纹理数据。另外,通常可用于PC或游戏控制台上的单个光学驱动器或单个磁盘驱动器通 常比RAM缓慢得多,且通常不能跟上GPU在再现多边形及纹理中可接受的最大数据速率。当 前游戏通常将大多数多边形及纹理载入到RAM中,这意味着给定场景在复杂度及持续时间 上很大程度上受RAM的容量限制。在例如面部动画制作的状况下,这可能将PC或游戏控制 台限制于并无真实感的低分辨率面部,或限制于仅可在游戏暂停且载入用于更多帧的多边 形及纹理(及其他数据)之前在有限数目的帧中制作成动画的真实感面部。当PC或控制台显示类似于“正在载入...”的消息时,观看进程条跨屏幕缓慢地 移动被现今的复杂视频游戏的用户公认为是内在缺点。下一个场景从磁盘(除非另外有 条件,否则本文中的“磁盘”指非易失性光学媒体或磁性媒体,以及诸如半导体“闪存”存储 器的非磁盘媒体)载入时的延迟可花费若干秒或甚至若干分钟。这浪费时间且可能使游戏 玩家相当沮丧。如先前所述,大量或所有延迟可能是由于来自磁盘的多边形、纹理或其他数 据的载入时间,但也可能是以下状况当PC或控制台中的处理器和/或GPU准备用于场景 的数据时,花费一部分载入时间。举例而言,英式足球视频游戏可允许玩家在大量玩家、小 组、运动场及天气条件当中选择。因此,取决于选择什么特定组合,可能需要用于场景的不 同多边形、纹理及其他数据(统称“对象”)(例如,不同小组在其制服上具有不同色彩及图 案)。可能要列举各种排列中的许多或所有排列且提前预先计算对象中的许多或所有对象 并将对象储存在用于储存游戏的磁盘上。但是,若排列的数目很大,则所有对象所需的储存 量可能过大以致不能安装在磁盘上(或太不切实际以致不能下载)。因此,现有的PC及控 制台系统通常在给定场景的复杂度与播放持续时间两者上受约束且对于复杂场景遭受长 的载入时间。先前技术的视频游戏系统及应用程序软件系统的另一显著限制在于其越来越多 地使用例如3D对象的大数据库(诸如,多边形及纹理),所述大数据库需要被载入到PC或 游戏控制台中以用于处理。如上所述,当将所述数据库在本地储存于磁盘上时,所述数据库 可花费长时间来载入。然而,若数据库系储存于远程位置且经由互联网来存取,则载入时间 通常严重得多。在此种情形下,下载大数据库可能花费几分钟、几小时或甚至几天。另外, 所述数据库常常产生大量费用(例如,用于游戏、电影或历史记录片中的详细的高的有桅 帆船的3D模型)且意欲用于销售给本地终端用户。然而,一旦数据库被下载至本地用户, 其就有被盗版的风险。在许多状况下,用户仅为了评估数据库来观看其是否适合用户的需要(例如,当用户执行特定移动时,用于游戏人物的3D服装是否具有满意的外观或外表) 的目的而希望下载数据库。对于在决定进行购买之前评估3D数据库的用户而言,长载入时 间可能是阻碍。类似问题在MM0G (更具体地,如允许用户利用更加定制化的人物的游戏)中出现。 对于显示人物的PC或游戏控制台,其需要能够存取具有3D几何形状(多边形、纹理等)以 及所述人物的行为(例如,若人物具有盾牌,则盾牌是否足够强以使矛偏转)的数据库。通 常,当MM0G由用户初次玩时,用于人物的大量数据库在游戏的初始复本下已经可用,游戏 的初始复本在本地在游戏光盘上可用或被下载到磁盘。但是,随着游戏进展,若用户遇到数 据库在本地不可用的人物或对象(例如,若另一用户已建立一定制人物),则在可显示该人 物或对象之前,必须下载其数据库。这可导致游戏的实质延迟。给定视频游戏的尖端性及复杂度,则在先前技术视频游戏控制台情况下对视频游 戏开发商及出版商的另一挑战在于开发视频游戏经常花费2年到3年,成本在数千万美 元。假定新视频游戏控制台平台以大致每隔五年一次的速率引入,则游戏开发商需要在新 游戏控制台发行之前的数年开始那些游戏的开发工作,以便在发行新平台时使视频游戏同 时可用。来自竞争性制造商的若干个控制台有时大约同时发行(例如,彼此在一年或两年 内),但尚待分晓的是每个控制台的流行性(例如,哪个控制台将产生最大的视频游戏软件 销售)。举例而言,在最近的控制台周期中,Microsoft XBox 360、SonyPlaystation 3及 Nintendo Wii计划在大约相同的大体时段引进。但在所述引进之前的数年中,游戏开发商 实质上必须“压注(place bets)”哪些控制台平台将比其他者更成功,且相应地投入其开 发资源。电影制作公司也必须在电影发行之前很长时间基于其估计可能成功的电影而分 摊其有限的制作资源。给定视频游戏所需的投资的增长程度,则游戏制作越加变得类似电 影制作,且游戏制作公司常规上基于其对特定视频游戏的将来成功的估计而投入其制作资 源。但是,不同于电影公司,此压注并非仅基于制作本身的成功;而是,其依据于游戏要在其 上执行的游戏控制台的成功。同时在多个控制台上发行游戏可减轻风险,但此额外努力增 加成本,且经常延迟游戏的实际发行。PC上的应用程序软件及用户环境正变得更为计算上密集、动态及互动,不仅使其 在视觉上更吸引用户,而且使其更有用及直观。举例而言,新Windows Vista(视窗远景) 操作系统与Macintosh. 操作系统的后续版本两者并入了视觉动画效应。高级图形工具 (诸如,来自Autodesk(欧特克)公司的Maya (玛雅 ))提供非常尖端的3D再现及动画 制作能力(其推动了目前技术状态的CPU及GPU的限制)。然而,这些新工具的计算要求对 于所述产品的用户及软件开发商而言产生了许多实际问题。因为操作系统(0S)的视觉显示必须在多种计算机(包括不再出售但仍可随着新 0S而升级的前代计算机)上工作,0S图形要求在很大程度上受0S要用于的计算机(其通 常包括不包括GPU的计算机)的最少共同点限制。这严重地限制0S的图形能力。此外,电 池供电的便携式计算机(例如,笔记本计算机)限制视觉显示能力,因为CPU或GPU中的高 计算活动通常导致较高电力消耗及较短电池寿命。便携式计算机通常包括在不利用处理 器时自动地减低处理器活动性以降低电力消耗的软件。在一些计算机型号中,用户可手动 地减低处理器活动性。举例而言,Sony的VGN-SZ280P笔记本计算机包括在一侧上标记为 "Stamina (持久性)”(用于低性能,更长电池寿命)且另一侧上标记为“Speed (速度)”(用于高性能,较短电池寿命)的交换器。在便携式计算机上执行的OS必须能够即使在计算机 以其峰值性能能力的一小部分执行的情况下也可用地起作用。因此,OS图形性能常常保持 为远低于目前技术状态的可用计算能力。经常出售高端的计算上密集的应用程序(如Maya),期望所述应用程序将用于高 性能PC上。此通常产生高得多的性能,及更昂贵且便携性较差、最少共同点的要求。因此, 所述应用程序具有比通用OS(或通用生产力应用程序,类似Microsoft Office)有限得多 的目标受众且通常以比通用OS软件或通用应用程序软件低得多的量出售。潜在的受众进 一步受限制,因为预期的用户时常难以提前试用所述计算上密集的应用程序。举例而言,假 设学生希望了解如何使用Maya或已经知道所述应用程序的潜在购买者在购买中希望在进 行投资之前试用Maya (此可能涉及也购买能够执行Maya的高端计算机)。当学生或潜在购 买者可下载Maya的演示版本或得到Maya演示版本的物理媒体复本时,若其缺乏能够执行 Maya的全部潜能(例如,处理复杂3D场景)的计算机,则其将不能够进行产品的全方位评 估。此实质上限制所述高端应用程序的受众。这也使出售价格变高,因为开发成本通常经 过比通用应用程序的购买次数小得多的购买次数而分摊。高价应用程序也对使用应用程序软件的盗版复本的个体及商业产生更多刺激。因 此,高端应用程序软件遭受猖獗盗版,尽管该软件的出版商进行了大量努力来通过各种技 术减轻该盗版。但是,甚至当使用盗版的高端应用程序时,用户也不可能排除投资昂贵的目 前技术状态的PC来执行盗版复本的需要。因此,尽管用户可以用软件应用程序的实际零 售价格的一小部分获得软件应用程序的使用,但盗版软件的用户仍需要购买或获得昂贵的 PC,以便完全利用该应用程序。此对于高性能盗版视频游戏的用户同样成立。尽管盗版者可以用游戏的实际价格 的一小部分得到游戏,但其仍需要购买适当地玩游戏所需的昂贵计算硬件(例如,GPU-增 强型PC,或类似XBox 360的高端视频游戏控制台)。假定视频游戏通常是消费者的娱乐, 则用于高端视频游戏系统的额外成本可能是过于昂贵的。该情形在当前工人的平均年收入 相当低(相对于美国的当前工人平均年收入)的国家(例如,中国)中更糟。这样,小得多 的百分比的人口拥有高端视频游戏系统或高端PC。在这些国家中,用户可支付费用以使用 连接到互联网的计算机的“网吧”相当普遍。经常地,所述网吧具有不具有高性能特征(诸 如,原本可使玩家能够玩计算上密集的视频游戏的GPU)的较旧型号或低端PC。这是在低端 PC上执行的游戏成功的关键因素(诸如,Vivendi的“魔兽世界”,其在中国高度成功,且通 常是在中国的网吧中玩)。相比之下,计算上密集的游戏(如“第二人生”)更不可能在安 装于中国网吧中的PC上玩。所述游戏实际上对于仅能够存取网吧中的低性能PC的用户来 说是不可访问的。对于考虑购买视频游戏且首先愿意通过经由互联网将演示下载到其家庭而试用 游戏的示范版本的用户也存在障碍。视频游戏演示常常为游戏的全能版本,其中一些特征 停用,或对游戏播放的量施加限制。此可能涉及在可将游戏安装于PC或控制台上且在PC或 控制台上执行之前下载数十亿字节的数据的长过程(可能几个小时)。在PC的状况下,其 也可能涉及算出游戏需要哪些特殊驱动器(例如,DirectX或OpenGL驱动器),下载正确的 版本,安装正确的版本,及接着确定PC是否能够播放该游戏。后者步骤可能涉及确定PC是 否具有足够的处理(CPU及GPU)能力、足够的RAM及相容的0S (例如,一些游戏在WindowsXP上执行而不在Vista上执行)。因此,在试图执行视频游戏演示的长过程之后,用户可能 发现在给定用户的PC配置的情况下视频游戏演示不可能玩。更糟地,一旦用户已下载新驱 动器以用于尝试该演示,这些驱动器版本就可能与用户在PC上习惯使用的其他游戏或应 用程序不相容,因此,演示的安装可致使先前可操作的游戏或应用程序不能操作。这些障 碍不仅使用户沮丧,而且其也对视频游戏软件出版商及视频游戏开发商销售其游戏产生障 碍。导致不具经济效益的另一问题与以下事实有关给定PC或游戏控制台通常被设 计以适应对应用程序和/或游戏的特定程度的性能要求。举例而言,一些PC具有或多或少 的RAM、较慢或较快的CPU及较慢或较快的GPU (若其具有GPU)。一些游戏或应用程序利用 给定PC或控制台的全计算能力,而一些游戏或应用程序却不利用给定PC或控制台的全计 算能力。若用户的游戏或应用程序的选择未达到本地PC或控制台的峰值性能能力,则用户 可能由于未利用的特征而在PC或控制台上浪费了财力。在控制台的状况下,控制台制造商 可能支付比资助控制台成本所要的多的成本。存在于视频游戏的销售及享受中的另一问题涉及在用户实施购买游戏之前允许 用户观看他人玩游戏。存在用于记录视频游戏以在稍后时间重放的若干先前技术方法。举 例而言,美国专利第5,558,339号教导了在“游戏播放”期间将游戏状态信息(包括游戏控 制器动作)记录在视频游戏客户端计算机(由同一个或不同用户拥有)中。此状态信息可 在稍后时间使用以在视频游戏客户端计算机(例如,PC或控制台)上重放一些或所有游戏 动作。该方法的显著缺点在于对于观看已记录的游戏的用户,用户必须具有能够播放该游 戏的视频游戏客户端计算机且必须具有在该计算机上执行的视频游戏应用程序,以使得当 重放被记录的游戏状态时游戏播放是完全相同的。除此之外,视频游戏应用程序必须是以 在被记录的游戏与经回放的游戏之间不存在可能的执行差异的方式编写。举例而言,游戏图形大体在帧接帧基础上计算。对于许多游戏,取决于场景是否特 别复杂或是否存在减缓执行的其他延迟(例如,在PC上,另一过程可能正在执行,以致从游 戏应用程序夺走CPU周期),游戏逻辑有时可能花费比一帧时间短或比一帧时间长的时间 来计算为下一个帧而显示的图形。在此种游戏中,以比一帧时间稍少的时间(例如,少几个 CPU时钟周期)计算的“临限值”巾贞最终可出现。当使用完全相同的游戏状态信息再次计算 该同一场景时,可能容易花费比一帧时间多几个CPU时钟周期的时间(例如,若内部CPU总 线稍微与外部DRAM总线不同相,且即使不存在来自从游戏处理夺走数毫秒CPU时间的另一 过程的大延迟,其也引入几个CPU周期时间的延迟)。因此,当回放游戏时,帧变成以两个 帧时间计算而非以单个帧时间计算。一些行为基于游戏计算新帧的频率(例如,当游戏取 样来自游戏控制器的输入时)。当播放游戏时,用于不同行为的时间参考中的该偏差不会 影响游戏播放,但其可导致所回放的游戏产生不同结果。举例而言,若篮球的轨道是以稳定 的60fps速率来计算,但游戏控制器输入是基于计算的帧的速率来取样,则当记录游戏时, 计算的帧的速率可能为53fps,而当重放游戏时,计算的帧的速率可能为52fps,此可使得 篮球是否被阻止进入篮中存在差异,从而导致不同结果。因此,使用游戏状态记录视频游戏 需要非常谨慎的游戏软件设计,以确保使用同一游戏状态信息重放产生完全相同的结果。用于记录视频游戏的另一先前技术方法是仅记录PC或视频游戏系统的视频输出 (例如,到VCR、DVD记录器,或到PC上的视频捕获板)。接着可将视频回倒及重放,或替代11地,将记录的视频上传到互联网(通常在将视频压缩之后)。该方法的不利之处在于当回 放3D游戏序列时,用户限于仅从观看点(序列从该观看点被记录)来观看序列。换言之, 用户不可改变场景的观看点。另外,当经由互联网而使在家庭PC或游戏控制台上播放的记录的游戏序列的经 压缩的视频为其他用户可用时,即使视频是实时压缩,也不可能实时地将经压缩的视频上 传到互联网。其原因是因为世界上连接到互联网的许多家庭具有高度不对称的宽带连接 (例如,DSL及电缆调制解调器通常具有比上流带宽高得多的下流带宽)。被压缩的高分辨 率视频序列常常具有比网络的上传带宽容量高的带宽,使得其不可能实时上传。因此,在播 放游戏序列之后(可能几分钟或甚至几小时),在互联网上的另一用户能够观看该游戏之 前,将存在显著延迟。尽管该延迟在特定情形下(例如,观看在先前时间出现的游戏玩家的 成果)可容忍,但其消除了观看游戏现场直播(例如,由优胜玩家玩的篮球锦标赛)的能力 或现场直播地播放游戏时的“即刻重放”能力。另一先前技术方法允许具有电视接收器的观看者观看视频游戏现场直播,但仅在 电视制作人员的控制下。美国与其他国家中的一些电视频道提供视频游戏观看频道,其中 电视观众能够在视频游戏频道上观看特定的视频游戏用户(例如,参加锦标赛烦人顶级玩 家)。这通过将视频游戏系统(PC和/或控制台)的视频输出馈送至用于电视频道的视频 分配及处理设备中来完成。这正如电视频道广播现场直播的篮球比赛时的情况,其中若干 个相机从篮球场周围的不同角度提供现场直播的馈送。电视频道接着能够利用其视频/音 频处理及效应设备来操作来自各种视频游戏系统的输出。举例而言,电视频道可在来自视 频游戏的视频之上叠加指示不同玩家的状态的文字(正如其可在现场直播的篮球比赛期 间叠加文字),且电视频道可加录来自评论员(其可论述在比赛期间出现的动作)的音频。 另外,可将视频游戏输出与记录游戏的实际玩家的视频的相机(例如,显示玩家对游戏的 情绪反应)组合。该方法的一个问题在于必须实时地使所述现场直播的视频馈送为电视频道的视 频分配及处理设备可用,以便使其具有现场直播的广播的刺激性。然而,如先前所述,当视 频游戏系统从家庭执行时(尤其是当广播的一部分包括来自正捕获游戏玩家的真实世界 视频的相机的现场直播的视频时),这常常不可能。另外,在锦标赛情形下,所关注的是家庭 中游戏者可修改游戏及作弊,如先前所述。由于这些原因,电视频道上的所述视频游戏广播 常常配置有聚集于公共位置处(例如,在电视演播室处或在竞技场中)的播放器及视频游 戏系统,其中电视制作设备可接受来自多个视频游戏系统及潜在的现场直播的相机的视频 馈送。尽管所述先前技术视频游戏电视频道可为电视观众提供非常刺激的演出(这是 与现场直播的运动事件同类(例如,与以“运动员”呈现的视频游戏玩家同类)的体验,不 仅根据其在视频游戏世界中的动作,而且根据其在真实世界中的动作),但这些视频游戏系 统常常限于玩家彼此身体上极接近的情形。此外,因为电视频道被广播,所以每个被广播的 频道仅可显示由电视频道的制作人员选择的一个视频流。由于这些限制及广播时间、制作 设备及制作人员的高成本,所述电视频道通常仅显示参加顶级锦标赛的顶级玩家。另外,向全部电视观众广播视频游戏的全屏幕图像的给定电视频道每次仅显示一 个视频游戏。这严重地限制电视观看者的选择。举例而言,电视观看者可能对给定时间显示的游戏不感兴趣。另一观看者可能仅对观看并非由电视频道在给定时间放映的特定玩家 的游戏播放感兴趣。在其他状况下,观看者可能仅对观看内行玩家如何处理游戏中的特定 级别感兴趣。其他观看者可能希望控制观看点(视频游戏从该观看点来看),该观看点不同 于由制作小组等选择的观看点。简言之,电视观看者在观看视频游戏中可能具有无数的偏 好(即使若干个不同电视频道可用,电视网络的特定广播也不适应所述偏好)。由于所有上 述原因,使得先前技术视频游戏电视频道在向电视观看者呈现视频游戏中具有显著限制。先前技术视频游戏系统及应用程序软件系统的另一缺点在于他们很复杂,且通 常遭受错误、崩溃和/或无意识且不需要的行为(统称“缺陷”)。尽管游戏及应用程序在 发行之前通常经历除错及调谐过程(经常称为“软件质量保证”或SQA),但几乎不变的是 一旦游戏或应用程序被发行到领域中的广大受众,缺陷就会突然出现。遗憾的是,软件开发 商难以在发行之后识别及追踪到许多缺陷。软件开发商可能难以意识到缺陷。即使当其了 解缺陷时,也可能仅存在其可用于识别是什么引起该缺陷的有限量的信息。举例而言,用户 可打电话给游戏开发商的消费者服务热线且留下消息,该消息陈述当玩游戏时,屏幕开始 闪烁,接着变成固体蓝(solid blue)且PC冻结。其为SQA小组提供了在追踪缺陷中有用 的非常少的信息。在线连接的一些游戏或应用程序在特定状况下有时可提供更多信息。举 例而言,有时可使用”看门狗”过程来监视游戏或应用程序是否“崩溃”。看门狗过程可收 集游戏或应用程序崩溃时关于游戏或应用程序过程的状态(例如,存储器堆栈使用状态、 游戏或应用程序进展到的程度等)的统计,且接着经由互联网而将所述信息上传至SQA小 组。但在复杂游戏或应用程序中,该信息可花费非常长的时间来解密,以便准确地确定在崩 溃时用户正在进行什么。尽管如此,也不可能确定什么事件序列导致崩溃。与PC及游戏控制台相关联的又一问题在于其经受使消费者极不便利的服务问 题。服务问题也影响PC或游戏控制台的制造商,因为其通常需要发送特殊盒子以安全地 装运破损的PC或控制台,且因而招致修理的成本(若PC或控制台处于保修期内)。游戏 或应用程序软件出版商也可受处于修理状态中的PC和/或控制台引起的销售损失(或 在线服务使用)影响。图1说明诸如Sony Playstation 3、Microsoft Xbox 360 、 NintendoWii 、以Windows为基础的个人计算机或Apple Macintosh的先前技术视频游戏 系统。所述系统中的每一者包括用于执行程序码的中央处理单元(CPU)(通常为用于执行 高级图形操作的图形处理单元(GPU)),及用于与外部设备及用户通信的多个形式的输入/ 输出(1/0)。为简单起见,将所述组件显示为组合在一起为单个单元100。图1的先前技术 视频游戏系统也显示为包括光学媒体驱动器104(例如,DVD-ROM驱动器);用于储存视频 游戏程序代码及数据的硬盘驱动器103 ;用于播放多人游戏、用于下载游戏、补丁、演示或 其他媒体的网络连接105 ;用于储存当前正由CPU/GPU 100执行的程序码的随机存取存储 器(RAM) 101 ;用于在游戏播放期间接收来自用户的输入命令的游戏控制器106 ;及显示设 备102 (例如,SDTV/HDTV或计算机监视器)。图1中所显示的先前技术系统受到若干限制。首先,与RAM 101的存取速度相比 较,光学驱动器104及硬碟机103往往具有慢得多的存取速度。当直接通过RAM 101工作 时,由于RAM 101通常具有高得多的带宽且不会受到磁盘机构相对长的搜寻延迟的事实, CPU/GPU 100在实践中可处理比直接从硬盘驱动器103或光学驱动器104读出程序代码及 数据时可能的每秒多边形数多得多的每秒多边形数。但仅有限量的RAM提供于这些先前技术系统中(例如,256-512兆字节)。因此,常常需要“正在载入...”序列,其中RAM 101被 周期性地填充有用于视频游戏的下一个场景的数据。一些系统试图同时地重迭程序代码的载入与游戏播放,但这仅可在存在已知序列 的事件时进行(例如,若正沿道路驾驶车,则可在驾驶车的同时载入路旁的正接近的建筑 物的几何形状)。对于复杂和/或快速场景改变,此类型的重迭通常不起作用。举例而言, 在用户处于战役进行之中且在那时刻的视图内RAM 101完全被填满表示对象的数据的状 况下,若用户将视图快速地向左移动以观看当前未载入在RAM 101中的对象,则将导致动 作的不连续性,因为不存在足够的时间来将新对象自硬盘驱动器103或光学媒体104载入 到 RAM 101 中。图1的系统的另一问题是由于硬盘驱动器103及光学媒体104的储存容量的限制 引起。尽管磁盘储存设备可被制造成有相对较大的储存容量(例如,500亿字节或500亿字 节以上),但其仍不提供用于在当前视频游戏中所遇到的特定情况的足够储存容量。举例而 言,如先前所述,英式足球视频游戏可允许用户在全世界的许多小组、玩家及运动场当中选 择。对于每个小组、每个玩家及每个运动场,需要大量纹理映射及环境映射来特征化世界上 的3D表面(例如,每个小组具有唯一运动衫,每一者需要唯一纹理映射)。用于解决上述后者问题的一个技术是对于游戏,一旦用户选择了纹理及环境映 射,就预先计算纹理及环境映射。此可涉及许多计算上密集的过程,包括解压缩图像、3D映 射、加阴影、组织数据结构等。因此,当视频游戏执行这些计算时,对于用户可能存在延迟。 减少此延迟的一个方法原则上为最初开发游戏时执行所有这些计算_包括小组、玩家名 册及运动场的每个排列。游戏的发行版本因而将包括储存在光学媒体104上或互联网上的 一个或多个服务器上的所有所述经预先处理的数据,当用户作出选择时,仅经由互联网将 用于给定小组、玩家名册、运动场选择的选定的预先处理的数据下载到硬盘驱动器103。然 而,作为实际问题,游戏播放中可能的每个排列的该预先载入的数据可能轻易地为几兆兆 字节(terabyte)的数据,其远超过现今的光学媒体设备的容量。此外,用于给定小组、玩家 名册、运动场选择的数据可能轻易地为几亿字节的数据或几亿字节以上的数据。在家庭网 络连接的情况下(例如,10Mbps),经由网络连接105下载该数据将比在本地计算数据花费 更长时间。因此,图1中所显示的先前技术游戏架构使用户在复杂游戏的较大场景转变之间 经受显著延迟。诸如图1中所显示的先前技术方法的先前技术方法的另一问题在于这些年来, 视频游戏倾向于变得更高级且需要更多CPU/GPU处理能力。因此,即使采用无限量的RAM, 视频游戏硬件要求也超过所述系统中可用的处理能力的峰值水平。因此,需要用户每隔几 年升级游戏硬件以保持同步(或以较低质量水准玩较新游戏)。比以往更高级的视频游戏 的趋势的后果为用于家庭用途的玩视频游戏的机器通常不具经济效益,因为其成本通常 由其可支持的最高性能游戏的要求来确定。举例而言,可能使用XBox 360来玩类似“战争 机器(Gears of War) ”的游戏,该游戏要求高性能的CPU、GPU及几亿字节的RAM,或者可能 使用XBox 360来玩“吃豆(Pac Man) ”,其为来自20世纪70年代的游戏,其仅需要几千字 节的RAM及非常低性能的CPU。实际上,XBox 360具有同时主机代管许多同时的“吃豆”游 戏的足够计算能力。14在一周的大多数小时中,通常关闭视频游戏机。根据2006年7月Nielsen(尼尔 森)娱乐对13岁及13岁以上的活跃游戏者的研究,平均起来,活跃游戏者一周中花费十四 个小时或一周中的全部小时的仅12%来玩控制台视频游戏。这意味着平均视频游戏控制台 在88%的时间内闲置,这是昂贵资源的无效率使用。假定视频游戏控制台常常是由制造商 来资助以降低购买价格(期望该资助将通过来自未来视频游戏软件购买的版税来赚回), 则这特别有意义。视频游戏控制台也造成与几乎任何消费者电子设备相关的成本。举例而言,需要 将系统的电子设备及机构容纳于外壳中。制造商需要提供服务保证。出售该系统的零售商 需要收取关于系统的销售和/或关于视频游戏软件的销售的利润。所有这些因素添加视频 游戏控制台的成本,该成本必须由制造商来资助、传递至消费者,或者由制造商与消费者两 者来资助。另外,盗版是视频游戏工业的较大问题。实际上每个较大视频游戏系统上所利用 的安全机构这些年来已“破裂”,导致视频游戏的未经授权的复制。举例而言,Xbox 360安 全系统在2006年7月破裂且用户现在能够在线下载非法复本。可下载的游戏(例如,用于 PC或Mac的游戏)特别容易经受盗版。在世界的特定区域(其中盗版管制不强)中,实质 上不存在独立视频游戏软件的可行市场,因为用户可与合法复本一般容易地以成本的非常 小一部分购买盗版复本。而且,在世界的许多地方,游戏控制台的成本占收入的高百分比, 以致即使盗版受控制,也很少有人可买得起目前技术状态的游戏系统。另外,已使用的游戏的市场减少了视频游戏业的收入。当用户变得对游戏厌倦时, 其可将游戏出售给将游戏转售给其他用户的店铺。这种未经授权但普遍的实践显著减少 了游戏出版商的收入。类似地,当每隔几年存在平台转变时,通常出现大约50%的销售减 少。这是因为当用户知道即将发行较新版本的平台时,用户停止购买用于较旧平台的游戏 (例如,当即将发行Playstation 3时,用户停止购买Playstation 2游戏)。组合起来,销 售的损失及与新平台相关的增加的开发成本可对游戏开发商的收益性有非常显著的不利 影响。新游戏控制台也非常昂贵。Xbox360、Nintendo Wii 及 Sony Playstation 3 均 以数百美元零售。高能力的个人计算机游戏系统可花费高达$8000。这表示用户的显著投 资,具体来说,考虑到硬件在几年后变陈旧及许多系统是为孩子而购买的事实。上述问题的一个方法是在线游戏,其中将游戏程序代码及数据主机代管于服务器 上且按要求将其传送至客户端机器,经压缩的视频及音频经由数字宽带网络而流动。一些 公司(诸如,芬兰的G-Cluster(G-群集公司),其现在为日本的SOFTBANK Broadmedia(软 银宽媒)的子公司)当前在线提供所述服务。类似游戏服务变得在本地网络(诸如,旅馆 内及由DSL及电缆电视提供者提供的那些网络)中可用。这些系统的较大缺点是延时的问 题,也即,信号行进到游戏服务器及从游戏服务器行进所花费的时间,游戏服务器通常定位 在运营商的“前端”中。快速动作视频游戏(也称为“极速(twitch)”视频游戏)在用户 通过游戏控制器执行动作的时间与更新显示屏幕以显示用户动作的结果的时间之间需要 非常低的延时。需要低延时,以使得用户感觉到游戏“即刻地”响应。可视游戏的类型及用 户的熟练程度而以不同延时间隔来满足用户。举例而言,对于缓慢的非正式游戏(类似西 洋双陆棋)或慢动作角色扮演游戏而言,100毫秒的延时可能是可容忍的,但在快动作游戏中,超过70毫秒或80毫秒的延时可引起用户在游戏中更拙劣地表现,且因此不可接受。举 例而言,在需要快反应时间的游戏中,当延时自50毫秒增加至100毫秒时,存在准确度的锐 降。当游戏或应用服务器安装在附近的受控网络环境或至用户的网络路径可预测和/ 或可容忍带宽峰值的网络环境中时,在最大延时以及延时的一致性方面,控制延时容易得 多(例如,因此用户经由网络观察到来自数字视频流动的稳定运动)。该程度的控制可在以 下达成在电缆TV网络前端到电缆TV用户的家庭之间,或自DSL中央办公室至DSL用户的 家庭,或在来自服务器或用户的商业办公室区域网络(LAN)环境中。而且,有可能获得商业 之间的具有得到保证的带宽及延时的特定分级的点到点私用连接。但在将游戏主机代管于 连接到通用互联网的服务器中心中且接着经由宽带连接而使经压缩的视频流动(stream) 到用户的游戏或应用系统中,许多因素造成延时,导致先前技术系统的部署中的严重限制。在典型的连接宽带的家庭中,用户可具有用于宽带服务的DSL或电缆调制解调 器。所述宽带服务通常造成用户的家庭与通用互联网之间的多达25毫秒的来回行程延时 (且有时更多)。另外,存在由于经由互联网将数据路由到服务器中心而造成的来回行程延 时。经由互联网的延时基于给出数据的路线及数据被路由时数据所造成的延迟而改变。除 路由延迟之外,还由于光穿过使大多数互联网互连的光纤的速度而造成来回行程延时。举 例而言,对于每1000英里,由于光穿过光纤的速度及其他耗用而造成约22毫秒的来回行程 延时。额外延时可由于经由互联网流动的数据的数据速率而造成。举例而言,若用户具 有以“6Mbps DSL服务”出售的DSL服务,则在实践中,用户将很可能最多得到小于5Mbps 的下行输送量,且将可能周期性地看见由于各种因素(诸如,峰值载入时间期间在数字用 户线接入复用器(DSLAM)处的拥挤)产生的连接降级。若经由相邻者循环的本地共用同轴 电缆中存在拥挤或电缆调制解调器系统网络中的其他地方存在拥挤,则类似问题可出现, 从而将用于以“6Mbps电缆调制解调器服务”出售的连接的电缆调制解调器的数据速率减 小至远小于该数据速率。若使4Mbps的稳定速率下的数据分组以用户数据报协议(UDP)格 式单向地从服务器中心经由所述连接而流动,若一切都适当地工作,则数据分组将通过而 不造成额外延时,但若存在拥挤(或其他妨碍)且仅3. 5Mbps可用于使数据流动到用户,则 在典型情形下,包将被丢弃,导致丢失数据,或者分组将在拥挤点处排队直至它们可被发送 为止,从而引入了额外延时。不同拥挤点具有用于保存被延迟的分组的不同队列容量,因此 在一些状况下,立即将不可成功解决拥挤的分组丢弃。在其他状况下,将几百万比特的数据 排队且最终将其发送。但是,在几乎所有状况下,拥挤点处的排队具有容量限制,且一旦超 过该限制,队列将溢出且分组将被丢弃。因此,为了避免造成额外延时(或更糟地,分组丢 失),必须避免超过从游戏或应用服务器到用户的数据速率容量。还由于在服务器中压缩视频及在客户端设备中解压缩视频所需的时间而造成延 时。当在服务器上执行的视频游戏正在计算待显示的下一个帧时,进一步造成延时。当前可 用的视频压缩算法受到高数据速率或高延时。举例而言,运动JPEG为仅帧内有损的压缩算 法,该压缩算法特征为低延时。视频的每个帧独立于视频的每个其他帧而压缩。当客户端 设备接收经压缩的运动JPEG视频的一个帧时,其可立即解压缩该帧且显示该帧,从而导致 非常低的延时。但因为每个帧分开进行压缩,所以算法不能够利用连续帧之间的类似性,且16因此仅帧内视频压缩算法受到非常高的数据速率。举例而言,60fps (每秒帧数)640X480 运动JPEG视频可能需要40Mbps (每秒百万比特)或40Mbps (每秒百万比特)以上的数据。 用于所述低分辨率视频窗的所述高数据速率在许多宽带应用程序中将是过于昂贵的(且 对于大多数消费者的基于互联网的应用程序的确如此)。另外,因为每个帧经独立压缩,所 以可能由于有损压缩而产生的帧中的假影可能出现于连续帧中的不同位置处。这可导致当 解压缩视频时,在观看者看来为移动的视觉假影。其他压缩算法(诸如,来自Microsoft公司的MPEG2、H. 264或VC9)当用于先前技 术的配置中时,可实现高压缩比率,但以高延时为代价。所述算法利用帧间压缩以及帧内压 缩。周期性地,所述算法执行帧的仅帧内压缩。这种帧被称为关键帧(通常称作“I”帧)。 接着,该算法通常将I帧与先前帧与相继帧两者相比较。并非独立地压缩先前帧及相继帧, 而是算法确定图像从I帧到先前帧及相继帧有什么改变,且接着将该改变储存为“B”帧 (对于I帧之前的改变)及“P”帧(对于I帧之后的改变)。这导致比仅帧内压缩低得多 的数据速率。但是,其通常以较高延时为代价。I帧通常比B帧或P帧大得多(常常大10 倍),且因此,以给定数据速率传输成比例地花费较长的时间。考虑(例如)一个i情形其中I帧为B帧及P帧的大小的10倍,且对于每个单 个I帧内,存在29个B帧+30个P帧=59个帧间,或对于每个“帧群”(GOP)总共60个帧。 因此,在60fps下,每秒存在1个60帧G0P。假设传输信道具有2Mbps的最大数据速率。为 了在信道中达成最高质量的视频,压缩算法将产生2Mbps数据流,且给定上述比率,这将产 生每帧内2百万比特(Mb)/(59+10) = 30,394个比特及每I帧303,935个比特。当通过解 压缩算法接收经压缩的视频流时,为了稳定地播放视频,需要以规则间隔(例如,60fps)解 压缩及显示每个帧。为了实现该结果,若任何帧受到传输延时,则需要将所有帧延迟至少该 延时,因此最糟状况的帧延时将限定用于每个视频帧的延时。因为I帧最大,所以I帧引入 最长传输延时,且整个I帧将必须在可解压缩及显示I帧(或取决于I帧的任何帧间)之 前接收。假定信道数据速率为2Mbps,则传输I帧将花费303,935/2Mb = 145毫秒。使用传输信道的带宽的大百分比的帧间视频压缩系统(如上所述)将由于I帧相 对于帧的平均大小的大的大小而经受长延时。或者,换言之,当先前技术帧间压缩算法达成 比仅帧内压缩算法低的平均每帧数据速率(例如,2Mbps对40Mbps)时,其由于大I帧而仍 遭受高的峰值每帧数据速率(例如,303,935*60 = 18. 2Mbps)。但请记住上述分析假定P 帧及B帧均比I帧小得多。尽管这大体成立,但对于具有与先前帧、高运动或场景改变不相 关的高图像复杂度的帧,这不成立。在所述情形下,P帧或B帧可变得与I帧一般大(若P 帧或B帧变得比I帧大,则尖端压缩算法通常将“强制”I帧且用I帧替换P帧或B帧)。因 此,I帧大小的数据速率峰值可在任何时刻出现于数字视频流中。因此,对于经压缩的视频, 当平均视频数据速率接近传输信道的数据速率容量时(经常为该状况,给定对于视频的高 数据速率要求),来自I帧或大的P帧或B帧的高峰值数据速率导致高帧延时。当然,上述论述仅特征化由GOP中的大的B帧、P帧或I帧产生的压缩算法延时。 若使用B帧,则延时将更高。原因是因为在可显示B帧之前,必须接收B帧之后的所有B帧 及I帧。因此,在诸如BBBBBIPPPPPBBBBBIPPPPP的图片群(GOP)序列中,其中在每个I帧之 前存在5个B帧,只有在接收到随后的B帧及I帧之后才可由视频解压缩器显示第一 B帧。 因此,若使视频以60fps (也即,16. 67毫秒/帧)流动,则在可解压缩第一 B帧之前,不管信道带宽如何快,接收五个B帧及I帧将花费16. 67*6 = 100毫秒,且这是仅5个B帧的情 况。具有30个B帧的经压缩的视频序列相当普遍。此外,在如2Mbps的低信道带宽下,由 于I帧的大小而引起的延时影响很大程度上增加到由于等待B帧到达而产生的延时影响。 因此,在2Mbps信道上,在大量B帧的情况下,使用先前技术视频压缩技术超过500毫秒或 500毫秒以上的延时相当容易。若不使用B帧(对于给定质量水准,以较低压缩比率为代 价),则不招致B帧延时,但仍招致上文所描述的由于峰值帧大小而引起的延时。问题恰恰由于许多视频游戏的性质而加重。利用上文所描述的G0P结构的视频压缩 算法很大程度上被最佳化以用于连同要用于被动观看的现场直播的视频或电影材料一起使 用。通常,相机(真实相机,或者计算机产生的动画的状况下的虚拟相机)及场景相对稳定, 仅因为若相机或场景太颠簸地来回移动,则视频或电影材料(a)通常观看起来令人不愉快, 且(b)若其正被观看,当相机突然来回颠簸时,观看者通常不能够紧密地跟随该动作(例如, 若相机在拍摄吹灭生日蛋糕上的蜡烛的孩子时被扰动且突然在蛋糕之间来回颠簸,则观看者 通常集中于孩子及蛋糕上,而不理会相机突然移动时的简短中断)。在视频会谈或视频电话 会议的状况下,可将相机固持于固定位置中且根本不移动,从而导致根本非常少的数据峰值。 但3D高动作视频游戏通过恒定运动来被特征化(例如,考虑3D竞赛,其中整个帧在竞赛的持 续时间中处于快速运动中,或者考虑第一人称射击游戏,其中虚拟相机恒定地颠簸地来回移 动)。所述视频游戏可产生具有大的及频繁的峰值的帧序列,其中用户可能需要清楚地看见 在该突然运动期间发生了什么。因此,在3D高动作视频游戏中,压缩假影远不可容忍。因此, 许多视频游戏的视频输出(由于其性质)产生具有非常高且频繁的峰值的经压缩的视频流。假定快动作视频游戏的用户对于高延时具有小的容忍度,且给定所有上述延时原 因,至今存在对于使视频在互联网上流动的服务器主机代管的视频游戏的限制。另外,若需 要高度互动性的应用程序被主机代管于通用互联网上且使视频流动,则所述应用程序的用 户遭受类似限制。所述服务需要网络配置,其中主机代管服务器直接设置于前端(在电缆 宽带的状况下)或中央办公室(在数字用户线(DSL)的状况下)中,或商业背景中的LAN内 (或特别分级的私用连接上),以便控制自客户端设备至服务器的路线及距离以最小化延 时且可适应峰值而不造成延时。LAN(通常额定在lOOMbps-lGbps)及具有足够带宽的租用 线路通常可支持峰值带宽要求(例如,18Mbps峰值带宽为100Mbps LAN容量的一小部分)。若进行特殊适应,则峰值带宽要求也可由住宅宽带基础架构来适应。举例而言,在 电缆TV系统上,可为数字视频通信给出专用带宽,该专用带宽可处理诸如大I帧的峰值。此 外,在DSL系统上,可供应较高速度的DSL调制解调器(考虑高峰值),或可供应可处理较高 数据速率的特别分级的连接。但是,附接至通用互联网的传统电缆调制解调器及DSL基础 架构对于用于压缩的视频的峰值带宽要求而言远不能容忍。因此,在线服务(将视频游戏 或应用程序主机代管于距客户端设备长距离的服务器中心中,且接着经由传统的住宅宽带 连接经由互联网而使经压缩
查看更多专利详情

下载专利文献

下载专利