专利名称：图像元素标识器的制作方法 在便携式电子设备内的电子游戏最近已经被开发成需要大存储空间的先进的和复杂的游戏。可能会发现诸如移动电话那样的便携式通信设备具有0.5Gb或更多的存储器。 虽然游戏的复杂性已经增加，但作为便携式通信设备的一个例子的移动电话的屏幕尺寸没有相同的进展。屏幕仍旧相对较小，这对于用户在玩游戏时的体验设置了限制。 使用大屏幕玩游戏是熟知的，且其是在早期的电子游戏中被执行的，诸如使用电视机作为屏幕的电视游戏，或是使用计算机阴极射线管作为屏幕的个人计算机游戏。 在电视目标瞄准和射击游戏中允许游戏的用户与所显示的游戏信息之间进行互动。电视游戏典型地提供感光枪，能够感测在电视接收机的屏幕上的大的明亮的目标符号。当使用安装在枪上的电光传感器成像时，目标被鲜明地显示在屏幕上，该电光传感器产生表示枪确实恰当地与目标调成一直线且命中被记分的一系列输出脉冲。这些都没有打算去显示当用户在未命中之前扳动扳机时用户正瞄准何处，或就这点而论，当他获得成功时他瞄准之处离屏幕上目标的中心有多接近。

在美国专利No.4,395,045中，电视精度目标射击设备和方法通过使用在屏幕上提供扳机扳动时枪指向何处的指示的仿真枪，来仿真射击在电视机的屏幕上显示的图像。这是通过以下方式来实现的，即在扳机扳动后使屏幕闪现白色，以便让枪内的光传感器响应于水平光栅线的短分段，使得通过分别相对于垂直和水平同步脉冲来计数垂直线和时间间隔，而实现枪指向屏幕上何处的标识。这允许在屏幕上的那个位置上显示一个符号。

然而，通过使用光学传感器(photo optical sensor)识别闪光项目的这些技术可能不能被使用于多个同样的目标，因为每个个体位置是与诸如垂直线和时间间隔那样的独特的位置描述符相关联的。

还有用户可以直接与图像呈现进行互动的其它技术。通过使用定向(directing)或指向(pointing)设备，可以确定这样的设备被定向于或指向的方向。

在一种技术中，使用了被构建在定向设备中、并对定向设备的横向和纵向运动进行反应的陀螺仪(gyro)。造成横向和纵向位移的任何横向和纵向运动是相对于参考位置，通过其可以计算经更新的位置。在游戏中应用这样的定向设备可以允许在屏幕上确定和显示光标或符号的位置。

使用陀螺仪来确定在屏幕上光标或符号的更新位置的替换例是使用被包括在定向或指示设备中的加速度计。定向或指示设备的任何运动由加速度计检测，然后被变换成定向或指示设备所指向的位置的位移。所以光标又可以通过使用这种技术被显示在屏幕上。

这两种定向技术是基于相对于参考方向的运动的，为此那些技术变为不可应用来确定屏幕上的多个目标位置。

因此存在一种需要去克服现有技术的限制，和提供一种更灵活的和适用于定位多个目标的技术。




本发明的方面针对解决以下问题，即通过使用便携式通信设备，互动地控制被显示在大屏幕上的图像呈现。

和本发明一致的方面提供用于使用便携式通信设备的光记录(light registering)照相机单元，比较记录的图像信息与呈现的图像信息的方法。

按照本发明的一方面，用于为便携式通信设备提供与图像信息的呈现有关的定位信息的方法包括提供要由图像信息呈现单元呈现的第一图像信息，在便携式通信设备的用户的控制下由便携式通信设备得到第一图像信息，由便携式通信设备的照相机记录第二图像信息，映射所呈现的第一图像信息和记录的第二图像信息，识别所呈现的第一图像信息的至少一个图像元素为被包括在记录的第二图像信息中，以及确定记录的第二图像信息的预定义区域相对于识别的至少一个图像元素的位置，其中预定义区域的所确定的相对位置被使用来控制正被呈现的第一图像信息的效果(purpose)。

本发明的第二方面针对包括第一方面的特征的方法，还包括发送预定义区域位置信息用于在图像信息呈现单元上显示预定义区域位置的步骤。

本发明的第三方面针对包括第一方面的特征的方法，其中确定预定义区域的位置的步骤包括确定第二记录的图像信息的中心区域的位置。

本发明的第四方面针对包括第一方面的特征的方法，还包括在便携式通信设备的用户的控制下得到对于便携式通信设备的照相机的经更新的定向。

本发明的第五方面针对包括第一方面的特征的方法，还包括由便携式通信设备接收用户输入的步骤，该用户输入被用作为控制正被呈现的第一图像信息的输入数据。

本发明的第六方面针对包括第四方面的特征的方法，还包括根据得到的所更新的定向或接收的用户输入的至少一项来控制正被呈现的第一图像信息的步骤。

与本发明一致的其它方面提供一种用于使用便携式通信设备的光记录照相机单元，比较记录的图像信息与呈现的图像信息的设备。

按照本发明的第七方面，用于提供与第一图像信息的呈现有关的定位信息的便携式通信设备包括图像信息提供单元，被安排来把第一图像信息提供到图像信息呈现单元；光记录照相机单元，被安排来当定向于图像呈现单元时记录第二图像信息；映射单元，被连接到光记录照相机单元，且被安排来映射第一图像信息和第二图像信息；以及控制单元，被安排来控制第一图像信息到图像信息单元的提供，控制由光记录照相机单元记录第二图像信息，且控制第一图像信息和第二图像信息的映射，以及还被安排来识别所呈现的第一图像信息的至少一个图像元素为被包括在第二图像信息中，确定第二记录的图像信息的预定义区域相对于识别的至少一个图像元素的位置，和使用预定义区域的所确定的相对位置来控制正被呈现的第一图像信息。

本发明的第八方面针对包括第七方面的特征的便携式通信设备，以及其中控制单元还被配置成使用预定义区域的所确定的相对位置来控制正被呈现的第一图像信息。

本发明的第九方面针对包括第七方面的特征的便携式通信设备，其中便携式通信设备包括移动电话。

本发明更有的其它方面提供计算机程序产品，包括计算机可读媒体，其上具有计算机程序代码装置，使得便携式通信设备或计算机执行，从而使用便携式通信设备的光记录照相机单元，比较记录的图像信息与呈现的图像信息。

按照本发明的第十方面，计算机程序产品包括计算机可读媒体，其上具有计算机程序代码，用于当所述计算机程序代码被装载到便携式通信设备或计算机中时由便携式通信设备或计算机执行，以使得便携式通信设备或计算机执行包括以下步骤的方法从便携式通信设备或计算机提供要由图像信息呈现单元呈现的第一图像信息，由便携式通信设备的照相机记录第二图像信息，映射所呈现的第一图像信息和记录的第二图像信息，识别所呈现的第一图像信息的至少一个图像元素为被包括在第二记录的图像信息中，以及确定第二记录的图像信息的预定义区域相对于识别的至少一个图像元素的位置。

本发明的第十一方面针对包括第十方面的特征的计算机程序产品，这里由便携式通信设备或计算机执行的方法还包括使用预定义区域的所确定的相对位置来控制正被呈现的第一图像信息。

本发明的各方面，连同其它优点一起，提供图像中心相对于识别的周围的图像元素的定位，这使能通过使用移动电话结合外部图像呈现单元来玩更先进的游戏。

本发明还可提供灵活的定位工具，它也可以被使用来根据光标运动的相对定位而控制对象。

应当强调指出，术语“包括”当在本说明书中被使用时被看作规定所阐述的特征、整体、步骤或部件的存在，但不排除一个或多个其它特征、整体、步骤、部件或它们的组的存在或添加。




现在将相对于附图更详细地描述本发明，其中
图1示意地图解符合本发明的示例性便携式通信设备；
图2是显示按照本发明的一个实施例的处理的流程图；
图3示意地给出按照本发明的第一和第二图像信息的一个简单例子；
图4图解按照本发明的一个实施例的、具有蜂窝电话的形式的便携式通信设备；以及
图5图解其上存储有计算机程序代码的计算机程序产品，以使得便携式通信设备或计算机执行按照本发明的一个实施例的方法的步骤。


符合本发明的各方面针对解决以下问题，即通过使用便携式通信设备，互动地控制如在大屏幕上显示的图像呈现。

参照图1，图上示意地显示按照本发明的一个实施例的便携式通信设备100，现在更详细地说明本发明。

便携式通信设备100包括图像信息提供单元102、光记录照相机单元104、映射单元106、控制单元108、存储器单元110和用户输入单元112。如图1所示，控制单元108被连接到所有其它单元。也就是，控制单元108被连接到图像信息提供单元102、光记录单元104、映射单元106、存储器单元110和用户输入单元112。而且，光记录照相机单元104和存储器单元110被连接到映射单元106。图像信息提供单元102还被连接到存储器单元110。

符合本发明的各方面使用由光记录照相机单元记录的图像信息，比较记录的图像信息与正被呈现的图像信息，并根据识别的图像元素或图像对象，在正被呈现的图像信息中定位照相机图像的预定部分。通过显示这个位置，作为通信设备100的一个例子的便携式移动电话的用户可以利用照相机图像的预定部分相对于正被呈现的图像信息中显示的图像元素的位置，来控制正被呈现的图像信息。

通过参照给出按照本发明的一个实施例的方法的流程图的图2，将更详细地描述该方法。

本示例性方法从发送用于呈现的视频或图像信息开始(步骤202)。这个步骤由图像信息提供单元102在控制单元108的控制下被执行。视频信息在这里被理解为包括可被照相机单元记录的图像信息。

在发送视频信息之前，便携式通信设备100被连接到图像信息呈现单元，诸如电视屏幕、电视机、PC屏幕、视频投影仪等等，以便用来呈现第一图像信息。

在作为便携式通信设备100的一个例子的移动电话与图像信息呈现单元之间的连接，按照本发明的一种实现，是通过使用例如通用串行总线(USB)连接器来完成的。

按照本发明的一个替换例，连接可以通过使用蓝牙技术、使用被构建在移动电话中或与移动电话关联的第一蓝牙模块和被连接到图像信息呈现单元或与该图像信息呈现单元关联的第二蓝牙模块而被建立。

移动电话可以把视频信息，作为第一图像信息的一个例子，发送到图像信息呈现单元。

提供定位信息的方法还可包括在移动电话100的用户的控制下使移动电话100的光记录照相机单元104定向于图像信息呈现单元，和得到视频信息(步骤204)。也就是，移动电话100的用户可以使用移动电话100的照相机功能(即，光记录照相机单元104)作为指示器(pointer)，并使移动电话100指向图像信息呈现单元的方向。这个步骤所以被包括，是因为光记录照相机单元104，在本发明的方法内，被安排成记录来自图像信息呈现单元的光。

按照本发明的替换实施例，光记录照相机单元104可以检测被包括在移动电话100中的照相机相对于图像信息呈现单元的方向的改变。这个方向改变可以是由移动电话100的用户造成的，诸如由于用户移动移动电话100，或由于其它影响而将发生。

照相机图像然后可以被记录(步骤206)。也就是，光记录照相机单元104可以将图像信息-诸如与正被呈现在图像信息呈现单元上的视频信息相关联的图像信息-记录为正被呈现的图像信息的例子。由光记录照相机单元104记录的光然后可以形成第二图像信息，它将被使用来与第一图像信息进行比较，正如下面更详细地描述的。记录步骤在控制单元108的控制下由光记录照相机单元104执行。

在由光记录照相机单元104记录照相机图像为第二图像信息和访问视频信息(作为第一图像信息的一个例子)后，以后的步骤是映射呈现的第一图像信息和记录的第二图像信息(步骤208)。

这个映射可以在控制单元108的控制下通过映射单元106执行，其被提供以来自光记录照相机单元104的第二图像信息和来自存储器单元110的第一图像信息。

由于图像或图片信息的映射对于本领域技术人员是熟知的，所以这个映射步骤不作完全详细的讨论，以免不适当地模糊本发明的要点。然而，应当看到，映射可包括两种图像信息的相对尺寸调节、旋转、和平移。

在本发明的替换实施例中，当映射第一图像信息与记录的第二图像信息时，在映射步骤中可以使用第一图像信息以一个角度的投影，因为第二图像信息已经相对于使用图像信息呈现单元的第一图像信息的呈现以一个角度被记录。

按照另一个实施例，映射的步骤是考虑当把光记录照相机单元104定向于图像信息呈现单元时由不稳定的用户操作引起的(包括光记录照相机单元104的)移动电话100的摇晃而执行的。

在映射第一图像信息和第二图像信息后，提供定位信息的方法的下一个步骤是识别第一图像信息的至少一个图像元素为被包括在记录的第二图像信息中(步骤210)。例如，假设一个人的图像被包括在第一图像信息中。在这种情形下，这个步骤可包括在第二图像信息中识别一个人的图像。这个识别步骤可以通过控制单元108来执行，其被映射单元106提供给映射信息。

按照本发明的另一个实施例，完整的图像对象可以在步骤210由控制单元108识别为在第一和第二图像信息中给出。

然后可以确定照相机图像中心相对于识别的个人的相对位置(动作212)，作为确定在第一图像信息中该记录的第二图像信息的预定义区域相对于识别的图像元素的相对位置的一个例子。按照本发明的一个实施例，确定照相机图像中心的相对位置是可以由控制单元108执行的步骤。

应当指出，图像信息且特别是活动图片，即视频信息，可以以各种不同的方式被格式化。为此，映射诸如呈现的视频信息那样的第一图像信息，和诸如记录的第二图像信息那样的第二图像信息的步骤，以及识别图像元素为在这两个图像信息中存在的步骤，可以以多种多样的方式被执行。映射可以遵循不同准则以多种多样的时间间隔进行。这样的变例是本领域技术人员已知的，所以以后将不进行讨论。

接着，诸如光标那样的符号可以在照相机图像中心位置处在所呈现的视频信息上被显示(步骤214)。在一种实现中，在控制单元108的控制下，图像信息提供单元102可以把照相机图像中心位置提供到图像呈现单元，在该图像呈现单元上显示中心位置连同视频信息。

在本发明的一个实施例中，跟随在显示照相机图像位置与视频信息之后，确定得到的照相机图像(即，在步骤204得到的第二信息)是否适当(步骤216)。例如，在一种实现中，控制单元108在映射单元106的帮助下可以根据例如在步骤210的图像元素和对象的识别程度来确定是否了出现移动电话100的任何实质上的方向改变。

在本发明的替换实施例中，也可以使用用于确定得到的照相机图像是否适当(例如，移动电话100的方向是否出现实质上的改变)的各种其它准则。

例如，按照本发明的一个实施例，跟随在显示照相机图像位置与视频信息(即，步骤214)之后，可以确定在控制单元108的控制下照相机是否检测到方向改变。

如果在步骤216确定得到的照相机图像是不适当的，或按照替换实施例，已经检测到方向的改变，则处理可能返回到步骤204。也就是，在移动电话100的用户的影响下，可以得到来自移动电话100的新的视频信息(例如，照相机图像)。

然而，如果在步骤216确定该图像是适当的，或按照替换实施例，尚未检测到方向的改变，则以后的步骤检测是否已经出现用户互动(步骤218)。用户互动可以通过去除元素，或图形分解图像对象，或移位对象来加以说明，这里只是举几个例子。这样的互动可以通过使用由移动电话100执行的应用程序，诸如视频游戏(例如，射击游戏)，而被执行。

如果在步骤218确定接收到用户互动，则按照本发明的这个实施例，处理可以返回到步骤216。

如果另一方面确定在步骤218没有接收到用户互动，则方法可以结束(步骤220)。

按照本发明的另一个实施例，第二图像信息的预定义区域在第一图像信息上的相对位置，诸如，举例而言视频呈现的照相机图像中心可被使用于得到在飞行游戏中的定向命令，其中照相机中心(例如，光标)相对于对象位置的位置可被使用来变更在飞行游戏中对象的高度，使得对象执行转向、准备降落和着陆等等，这里只是提及几种可能性。

按照本发明的再一个实施例，照相机中心位置可以与一个或多个识别的对象相关联，以便改变对于该对象的速度、方向或条件。一个例子是把照相机中心与汽车相关联，或变为你自己的汽车，诸如在赛车游戏中，此后，照相机中心相对于相关联汽车的任何位置都可被用于操纵和速度调节的目的等等。也可以提供沿相似线路的更多的变例。

参照图3，图上示意地图解使用本发明来控制电子游戏效果的例子。具有屏幕形式的外部图像信息呈现单元302被使用来呈现第一图像信息，在这里是以在呈现中在右面的成人308和位于靠近呈现的中心的、在成人右面的儿童306的形式。

包含如图3的方框305所图解的光记录照相机单元的便携式通信设备304被定向于图像信息呈现单元302的屏幕。便携式通信设备304，在这里也被称为移动电话304，可以包括与以上对于图1描述的便携式通信设备100相同的或类似的单元。通过记录入射光，照相机记录第二图像信息，其被图解为图像310，包含在右面的成人314和定位靠近呈现的中心的、在成人右面的儿童312。

在得到第一和第二图像信息后，映射第一和第二图像信息的步骤，如上所述，由图1中的映射单元106执行。在识别成人和儿童为被包括在两个图像中(即，由图像信息呈现单元302显示的图像和图像310)后，照相机中心位置被确定且信息被提供到图像呈现单元，以便显示照相机中心位置。

结果，如在屏幕316上显示的第一图像呈现现在包括照相机中心，用星号322表示。星号322的位置因此相应于照相机图像中心。在屏幕316上的这个图像中心322被定位在儿童318的左面，甚至更远离成人320。

在步骤216确定照相机图像信息是不适合的或照相机被移动后，可以得到与移动电话100的运动有关联的新的图像(步骤204)。

这是通过如与以前的示例性图片相比较的、将移动电话304定向到朝向屏幕324的新方向而示意地描绘的。也就是，移动电话304已经指向新的方向。结果，成人330看来似乎是位于靠近照相机视图的中心且儿童328位于照相机视图的左面。

因此，如由照相机看到的、屏幕的第二图像信息被表示为332，它显示成人336靠近照相机画面的中心，而儿童334位于照相机画面的左面，作为第二图像信息的一个例子。

通过执行在第一图像呈现上的映射、识别和显示照相机中心位置的步骤，被表示为338的视图作为第一图像信息被提供。如预期的，成人342和儿童340在第一图像信息上没有改变他们的位置，但表示照相机中心的光标现在被显示为在成人342的位置处的星号344。这是由于照相机定向到屏幕324的第一图像信息上成人330的位置。

屏幕346表示在经由移动电话304接收用户输入后成人图像被清除或被去除后的屏幕。例如，成人可以经由与用户玩由移动电话304执行的视频游戏相关联的输入而被去除。儿童348仍旧存在，且表示照相机中心的星号350也存在。

所以，在此例中，便携式通信设备304可被用作为指示设备，以及符号，诸如在本例中的星号，可被用来表示照相机指向的中心位置。这样，便携式通信设备304充当与在外部图像呈现单元上的图像相关联的指示设备，图像呈现单元诸如是在屏幕316，338和346中图解的显示器。当符号(例如，星号)位于想要的图像上时，便携式通信设备304的用户可以在由便携式通信设备304的用户玩的视频游戏的执行期间执行一个动作，诸如去除图像。

上面描述的是定位信息可以如何以简单的方式被使用来控制由外部图像信息呈现单元呈现的视频信息的一个例子。

在另一个例子中，按照本发明，在游戏应用期间在移动电话的用户与游戏之间的其它互动被启用。例如，在使用大的显示器，诸如电视机、监视器等等的游戏会话期间，移动电话可被用作为游戏的指示器。这个指示器可被显示为枪或射击设备，允许用户控制虚拟枪向移动电话的照相机指向的方向射击。指示器还可以被使用来在显示器内移动图像。

在本发明的应用的再一个例子中，提供作为指向和记录工具的照相机和其它用户接口的组合。例如，当使照相机指向屏幕上的特定位置时，移动电话的某些按钮与特殊的功能相关联。按钮可被使用来激活某些动作，例如，仅仅通过在使照相机定向于监视器/电视机的特定部分时输入某个数字而设置口令。使移动电话定向于监视器或显示器的特定部分并输入特定的密钥的组合因此可以形成独特的图案，它可被用作为秘密密钥或用于一般的安全用途。

图4图解按照本发明的一个实施例的、具有移动电话形式的便携式通信设备40。便携式通信设备40可包括与以上参照图1描述的便携式通信设备100相同或类似的单元。

另外，图5示意地描述了按照本发明的一个实施例的计算机程序产品50，其上有计算机程序代码装置。当被包括在计算机程序产品中的计算机程序代码装置被装载到计算机或便携式通信设备中时，所述计算机或便携式通信设备执行提供要由图像信息呈现单元呈现的、来自计算机的便携式通信设备的第一图像信息，在便携式通信设备的用户的控制下由便携式通信设备的照相机记录第二图像信息，映射所呈现的第一图像信息和记录的第二图像信息，识别所呈现的第一图像信息的至少一个图像元素为被包括在第二记录的图像信息中，以及确定第二记录的图像信息的预定义区域相对于识别的至少一个图像元素的位置，以便使能使用预定义区域的所确定的相对位置来控制正被呈现的第一图像信息的效果。

按照本发明的一个实施例，计算机程序产品可被提供为CD-ROM。然而，计算机程序产品50替换地可被提供为另一种类型的盘，诸如数字视频盘(DVD)、硬盘或可被提供为存储器或其它存储容量，诸如基于快闪的存储器，例如记忆棒或USB(通用串行总线)存储器或甚至是易失性类型的存储器。

应当强调指出，本发明可以以许多方式变化，其中以上讨论的实施例仅仅是几个例子。这些不同的实施例因此是非限制性例子。然而，本发明的范围仅仅由随后的以下的权利要求限制。

按照本发明的一个替换实施例，如上所述的方法的步骤可以以不同的次序被执行，而不背离本发明的范围。另外，某些步骤可以同时形成。更进一步，该方法的某些步骤可以省略，但是是遵循本发明的一个不同的实施例。

而且，步骤的数目可以改变，例如通过把几个步骤合并到其它步骤，或把某些步骤的功能划分成其它步骤，这样，新颖的步骤被创建、但却不背离步骤的总体功能。

如图1所示的被包括在便携式通信设备中的单元可以至少部分地被包括在其它执行单元中，而不背离本发明。按照本发明的其它实施例，其它单元可以共存。

如上所述的本发明的方面除了其它优点外尤其提供图像中心相对于识别的周围图像元素的定位，例如，它使得能通过使用移动电话结合外部图像呈现单元来玩更先进的游戏。

本发明还可以提供灵活的定位工具，它也可以被使用来根据光标运动的相对定位而控制对象。

本发明的范围由权利要求及其等价物限定。


一种为便携式通信设备提供与图像信息的呈现有关的定位信息的方法，包括提供要被呈现的第一图像信息(202)；在便携式通信设备的用户的控制下由便携式通信设备得到第一图像信息；由便携式通信设备的照相机记录第二图像信息(206)；以及映射所呈现的第一图像信息和所记录的第二图像信息(208)。该方法还可包括识别所呈现的第一图像信息的至少一个图像元素为被包括在记录的第二图像信息中(210)；以及确定所记录的第二图像信息的预定义区域相对于所识别的至少一个图像元素的位置(212)。预定义区域的所确定的相对位置可被使用来控制正被呈现的第一图像信息的效果。