用于虚拟现实和增强现实的电影掌控
2020-01-07

用于虚拟现实和增强现实的电影掌控

一种娱乐系统将数据提供到公共屏幕(例如电影院屏幕)和个人沉浸式现实设备。例如,电影数据分发服务器与多个沉浸式输出设备进行通信,多个沉浸式输出设备中的每一个被配置为基于数据信号提供沉浸式输出(例如虚拟现实输出)。多个沉浸式输出设备中的每一个呈现在公共显示屏幕的视界内。服务器基于包括沉浸式现实数据的数字电影主数据来配置数据信号。服务器将数据信号发送到彼此同时的多个沉浸式输出设备,并且可选地同时提供协调的音频视频信号以用于经由公共显示屏幕和共享的音频系统输出。

显示和通信单元602的组件可以进一步包括例如音频输出换能器620,例如显示和通信单元602中的扬声器或压电换能器、或者用于头戴式受话器的音频输出端口、或者安装在头戴式装置624等中的其他音频输出换能器。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象音频”、或伴随立体沉浸式VR视频显示内容的其他音轨输出。显示和通信单元㈤2的组件可以进一步包括例如经由存储器总线耦合到CPU606的存储器设备608。存储器608可以存储例如程序指令,当程序指令由处理器执行时使得装置600执行如本文所述的操作。存储器60S还可以存储例如在库中的音频视频数据或在流式传输操作期间被缓冲的数据。关于VR环境的生成和使用的进一步细节可以如在2014年12月5日提交的美国临时专利申请序列号62/088,496中描述的,其通过引用整体并入本文中。

在相关方面中,装置1800可以包括可操作用于通过计算机网络与系统组件进行通信的网络接口模块1814。例如,组件1814可以促进将数字主数据分发给通信和/或计算机网络的其他设备。在替代实施例中,装置可以包括用于将内容和替代内容记录在非暂时性计算机可读介质中的设备端口。在进一步的相关方面中,装置1800可以可选地包括用于存储信息的模块,诸如例如存储器设备/模块1816。计算机可读介质或存储器模块1816可以经由总线1812等可操作地耦合到装置1800的其他组件。存储器模块1816可以适用于存储计算机可读指令和数据,该计算机可读指令和数据用于实现模块1802至1804及其子组件、或处理器1810、或本文公开的方法1500和附加操作1600或1700中的一个或多个、或用于结合电影主数据在针对多人的观众的同时的沉浸式和非沉浸式演示中的使用来实施或促进本文中以上描述的任何更多详细输出效果或相关功能的操作的过程和行为。存储器模块1816可以保留用于执行与模块1802至1804相关联的功能的指令。尽管示出为在存储器1816的外部,但是应该理解模块1802至1804可以存在于存储器1816内。

图5B是示出包括沉浸式和非沉浸式内容的协调的输出的内容显示系统的方面的框图。_

图18是示出用于针对电影呈现配置数字电影主数据的装置或系统的组件的概念框图。

参考图13,方法1000可以进一步包括在1310处包括用于增强在显示屏幕上输出的视频数据的VR数据。在相关方面中,方法1000可以包括在1320处在不同的非重叠时间处播放视频数据和VR数据,使得穿戴VR输出设备的多个人中的一些人在不同时间处在显示屏幕上和在VR输出设备上观看内容。另外地或者替代地,视频数据和VR数据被配置为同时播放。在另一方面中,方法1000可以包括在1340处在数字电影主数据中包括触觉控制数据,其中触觉控制数据与AR数据或VR数据中的至少一个协调地激活触觉设备。进一步的细节可以如结合上面的图5B所描述的。

本文公开的操作方面可以以硬件、由处理器执行的软件模块、或两者的组合来直接体现。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPR0M存储器、寄存器、硬盘、可移动磁盘、CD-ROM、DVD、蓝光光盘、固态存储设备(SSD)或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器,使得处理器可以从存储介质读取信息并且将信息写入到存储介质。可替代地,存储介质可以集成到处理器中。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。可替代地,处理器和存储介质可以作为分立组件驻留在用户终端中。

各种类型的数据可以由服务器422从数据源408获得。这些类型可以包括例如数字视频文件或流馈送的2D数据412、音频数据(未示出)、用于使用AR输出设备406增强2D数据的AR数据414、用于使用VR输出设备404提供并行或补充娱乐体验的VR数据416、以及用于管理来自服务器422的前述数据的分发的分发应用418。服务器422可以执行应用418,其在被执行时可以提供各种功能模块。这些模块可以包括分发模块424,该分发模块424用于管理与多个沉浸式输出设备的通信和到多个沉浸式输出设备的分发。模块可以包括用于管理内容安全性并且以设备可用形式提供流数据的解密和解码模块426。模块可以包括用于维持在流式传输到不同沉浸式输出设备的娱乐内容之间的协调的内容协调模块428、用于例如在交互式内容的情况下使内容能够被定制用于特定沉浸式输出设备的定制化模块430。模块可以包括用于收集来自沉浸式输出设备404、4〇6的反馈的度量模块4:32,该度量模块432可以被匿名化并被用于分析使用模式,目的是为沉浸式输出提供更有效且吸引人的内容、用于跟踪用户偏好、或其它目的。

图14是示出用于向提供电影院体验的AR或VR输出设备供应VR或AR数据的装置或系统的组件的概念框图。

每个场景可以具有静态焦点706,该焦点在物理屏幕的情况下将随着场景保持固定。虽然屏幕704示出为高度弯曲,但应该认识到实际的物理屏幕通常将具有小得多的曲率或无曲率。当屏幕是平坦的或较少弯曲时,如果需要,壳体702可以被混合以匹配其边缘周围的物理屏幕的曲率或平坦度。应该预期屏幕704的形状因影院而异。为了能够使相同的内容与不同尺寸的屏幕和影院一起使用,可以针对每个影院选择自限定或半自限定(意味着从标准形状和尺寸的范围中选择)壳体,并且自限定或半自限定壳体不包括在运行时基于壳体的背景纹理文件和每个观看者的视场而被纹理化和渲染的屏幕704区域。例如,对于每个观看者,服务器可以基于当前观看者视场选择并发送背景纹理的一部分,加上超过当前视场的一些额外区域量以适应预期的头部移动(其可能非常轻微,或者根据主要对象在场景中移动的速度而改变)量。因此,如果背景逐帧改变,则每个沉浸式输出设备不需要针对每个帧提供整个背景纹理。如果背景或其一部分在多个帧上是静态的,则向每个沉浸式输出设备提供整个背景纹理或一组帧的静态部分而不是针对单独观看者选择当前观看的部分可能是更少资源密集的。

所公开的方面的先前描述被提供以使得本领域的任何技术人员能够制造或使用本公开。对于本领域技术人员而言,对这些方面的各种修改将是显而易见的,并且在不脱离本公开的精神或范围的情况下,可以将本文限定的通用原理应用到其他实施例。因此,本公开不旨在限于本文所示的实施例,而是应被赋予与本文公开的原理和新颖特征一致的最宽范围。

将根据可以包括多个组件、模块等的系统来呈现各个方面。应该理解并认识到各种系统可以包括附加的组件、模块等、和/或可以不包括结合附图讨论的所有组件、模块等。还可以使用这些方法的组合。本文公开的各个方面可以在包括利用触摸屏幕显示技术、抬头,户界面、可穿戴界面、和/或鼠标和键盘类型界面的设备的电子设备上执行。此类设备的示例包括VR输出设备(例如VR头戴式耳机)、AR输出设备(例如AR头戴式耳机)、计算机(台式的和移动的)、智能电话、个人数字助理(PDA)、以及其他有线和无线的电子设备。

技术领域