US11924708B2
有效
信息处理装置及信息处理方法
相关申请的交叉引用
[0001] 本申请是2019年11月21日提交的国际专利申请No. PCT/JP2019/045559的美国国家阶段,该申请要求12月5日向日本专利局提交的日本专利申请No. JP 2018-228016的优先权。 ,2018。上述每个申请的全部内容均通过引用并入本文。
技术领域
[0002] 信息 处理装置和信息处理方法技术领域本技术涉及信息处理装置和信息处理方法,并且特别涉及能够确保最佳通信信道的信息处理装置和信息处理方法。
背景技术
[0003] 近年来,VR(虚拟现实)系统将在高端个人计算机、游戏设备等的控制台上呈现的视频传输到HMD(头戴式显示器),并且其中无电缆通信通道(传输) 通道)的实施已经出现。
[0004] 在许多这样的VR系统中,使用比传统上使用的WLAN(无线局域网)等更高的频带,从而获得高传输速率。 作为具体示例,已知诸如WiGig或WirelessHD的使用毫米波段的系统、使用5G通信的系统等。
[0005] 同时,与使用相对较低频率的WLAN等通信相比,众所周知,5G通信和毫米波通信等高频带无线通信在信号传播中的线性度较高,但抗阻塞性较弱。
[0006] 因此,当在诸如控制台的发送器和诸如HMD的接收器之间发生障碍物、人等的阻挡时,通信环境的恶化使得视频信息、音频信息等难以被接收。 正确传输。 这样,会发生由传输错误、传输延迟等引起的视频或音频质量的恶化,并且使用户体验恶化。
[0007] 因此,通过使用从附接到控制台的摄像机获取的信息来检测障碍物的位置并通过基于这种检测的结果选择通信信道来减少视频信息或音频信息的传输错误的技术已被开发出来。 已提出(例如,参见专利文献1)。
引文列表
专利文献
[0068] 接下来,将更具体地描述应用本技术的VR内容再现系统。
[0069] 图4是示出应用本技术的VR内容再现系统的实施例的配置示例的图。
[0070] 图4所示的VR内容再现系统包括控制台 51 和一个头显 52 都在同一个房间里。
[0071] 控制台 51 是一种信息处理设备,充当发送器并将内容数据发送到 HMD 52 通过无线通信。 与此同时,头显 52 是一种信息处理设备(再现设备),其用作接收器并且在接收到从控制台提供的内容数据时再现内容 51 ,和头戴式显示器 52 佩戴在要观看和收听内容的用户的头上。 控制台 51 和头显 52 对应控制台 11 和头显 12 如图2所示。
[0072] 从控制台传输内容数据 51 至头显 52 例如,通过使用诸如60GHz的高频宽带的无线通信来进行。 同时,从HMD发送位置姿势信息(IMU(惯性测量单元)信息)、其他类型的控制信息等 52 到控制台 51 通过无线通信。
[0073] 顺便提及,用于从控制台传输信息的无线通信方法 51 至头显 52 以及一种用于从HMD传输信息的无线通信方法 52 到控制台 51 可以相同也可以不同。
<控制台配置示例>
[0074] 此外,控制台 51 例如,如图5所示配置。
[0075] 控制台 51 图5所示的实施例包括传感器单元 81 ,阻塞检测单元 82 ,运动计算单元 83 ,一个控制单元 84 , 一个生成单元 85 ,一个存储单元 86 ,编码器单元 87 ,无线通信单元 88 ,和一个天线 89 。
[0076] 传感器单元 81 包括诸如距离传感器(例如RGBD传感器或超声波传感器)或相机之类的传感器,以检测控制台之间的阻挡物体 51 和头显 52 并输出传感器输出信息,该传感器输出信息是传感器对周围环境进行感测(观察结果)的结果。
[0077] 在传感器单元的情况下 81 包括摄像头,例如控制台周围的环境图像 51 将由相机拍摄到的图像作为传感器输出信息输出。 在传感器单元的情况下 81 包括距离传感器,例如,同时,距离信息指示距离传感器测量到的到控制台周围的物体的距离 51 被输出作为传感器输出信息。 顺便提及,下面将假设输出周围环境图像和距离信息作为传感器输出信息来继续描述。
[0078] 传感器单元输出的传感器输出信息 81 被提供给阻塞检测单元 82 , 运动计算单元 83 ,和控制单元 84 。
[0079] 阻塞检测单元 82 检测控制台之间通信通道的阻塞情况 51 和头显 52 ,即,基于从传感器单元提供的传感器输出信息来阻塞通信信道 81 以及关于用户的位置姿势信息(HMD 52 )由控制单元提供 84 。 阻塞检测单元 82 将通信信道阻塞的检测结果提供给移动计算单元 83 和控制单元 84 。
[0080] 运动计算单位 83 计算用户的移动量(HMD 52 )通过使用来自传感器单元的传感器输出信息,到达避开通信信道的阻塞的位置 81 ,来自控制单元的位置姿态信息 84 等,根据需要,并且基于从阻塞检测单元提供的检测结果 82 ,并将移动量提供给控制单元 84 。
[0081] 移动计算单元计算出的移动量 83 是用户在真实空间中的移动量。 另外,更具体地,移动量指示用户移动的方向和距离。
[0082] 控制单元 84 控制整个控制台的操作 51 。
[0083] 例如,控制单元 84 基于从运动计算单元提供的运动量来控制内容数据的生成 83 。 具体来说,控制单元 84 基于所提供的移动量更新位置姿态信息并控制生成单元生成内容数据 85 基于更新的位置姿态信息。 因此,位置姿势信息的更新(校正)反映在内容中。
[0084] 此外,控制单元 84 控制编码器单元对内容数据的编码 87 、无线通信单元发射和接收无线信号 88 例如,等等。
[0085] 发电单位 85 在控制单元的控制下生成内容数据 84 ,并将内容数据提供给存储单元 86。 在生成单元中 85 ,生成构成内容数据的视频信息和音频信息。
[0086] 存储单元 86 暂时存储从生成单元提供的内容数据 85 并将内容数据提供给编码器单元 87 。 编码器单元 87 对从存储单元提供的内容数据进行编码(压缩) 86 ,在控制单元的控制下 84 ,并将所得代码信息提供给无线通信单元 88 。
[0087] 无线通讯单元 88 与HMD进行无线通信 52 通过天线 89 ,在控制单元的控制下 84 。 即,无线通信单元 88 传输从编码器单元提供的代码信息 87 ,通过天线 89 通过无线通讯,或者接收HMD发送的位置姿态信息 52 ,通过天线 89 ,并将位置姿态信息提供给控制单元 84 , 例如。
<内容传输过程说明>
[0088] 接下来是控制台的操作 51 将进行描述。 即控制台的一次内容传输过程 51 下面将参考图6的流程图进行描述。
[0089] 同时,假设控制台 51 和头显 52 处于通过最佳通信通道,即与控制台线性连接的通信通道进行无线通信的状态 51 和头显 52 ,在内容传输过程中。 但根据通信通道的阻塞情况,控制台 51 和头显 52 可能处于通过不是线性连接控制台的通信信道的通信信道进行无线通信的状态 51 和头显 52 并且使用反射等,如箭头W所示 12 例如,在图1中。 另外,例如,针对内容数据的每一帧执行下面将描述的内容传输处理。
[0090] 在步骤S中 11 、无线通讯单元 88 接收HMD发送的位置姿态信息 52 ,通过天线 89 ,并将位置姿态信息提供给控制单元 84 。 此外,控制单元 84 提供从无线通信单元提供的位置姿势信息 88 , 至阻塞检测单元 82 , 运动计算单元 83 ,等等。
[0091] 在控制台中 51 ,一般来说,HMD的位置和姿势 52 可以根据传感器单元输出的传感器信息来识别真实空间中的(用户) 81 等,即使没有从 HMD 接收位置姿势信息 52 。 在这种情况下,控制单元 84 因此,可以不执行步骤S的处理而根据传感器输出信息等生成位置姿势信息 11 。
[0092] 在步骤S中 12 ,阻塞检测单元 82 根据来自传感器单元的传感器输出信息来检测通信信道的阻塞情况,即通信信道的阻塞 81 以及来自控制单元的位置姿态信息 84 ,并将这种检测的结果提供给运动计算单元 83 和控制单元 84 。
[0093] 阻塞检测单元 82 能够识别(检测)HMD 的位置 52 在真实空间中,控制台之间的阻挡物体的位置和大小 51 和头显 52 例如,基于周围环境图像、距离信息、位置姿势信息等作为传感器输出信息。
[0094]如果在控制台之间检测到阻挡物体 51 和头显 52 例如,这种检测意味着检测到通信信道被阻塞的阻塞情况。 即,该检测意味着检测到通信信道的阻塞。
[0095] 在步骤S中 13 ,控制单元 84 基于从阻塞检测单元提供的阻塞情况的检测结果,确定是否检测到通信信道的阻塞 82 。
[0096] 在传感器单元获得时序传感器输出信息的情况下 81 顺便提及,可以在周围环境图像上检测可能是遮挡物体的物体以及该物体的运动方向和速度。 因此,阻塞检测单元可以 82 预测未来通信信道被阻塞的时刻(时钟时间)以及通信信道将被阻塞的时间段,即阻塞的持续时间。
[0097] 在控制单元中 84 ,因此可以在步骤S中确定 13 不仅在通信信道实际被阻塞的情况下而且在预测通信信道将在指定时间段之后被阻塞的情况下检测到阻塞。 当预测通信信道将由于阻塞对象的移动而被阻塞时,顺便说一下,用户的这种移动量(HMD 52 )在与阻挡物体的移动方向相反的方向上以确保最佳通信信道可以在步骤S中计算 15 稍后描述。
[0098] 在步骤S中确定的情况下 13 当没有检测到阻塞时,控制单元 84 提供在步骤S中接收到的位置姿态信息 11 , 到生成单元 85 ,命令内容数据的生成,并且此后处理前进到步骤S 14 。
[0099] 在步骤S中 14 , 生成单元 85 根据从控制单元提供的位置姿势信息生成内容数据 84 ,即步骤S中接收到的位置姿态信息 11 ,并将内容数据提供给存储单元 86 。 存储单元 86 暂时存储从生成单元提供的内容数据 85 。
[0100] 具体来说,生成单元 85 例如,保留包括从不同视点成像的多项视频数据和用于再现多个声源(对象)的声音的音频数据的视频数据组,作为用于生成内容数据的数据。
[0101] 发电单位 85 例如,根据视频数据组和位置姿势信息进行绘制处理,从而生成具有与位置姿势信息相对应的视点位置和视线的视频信息,作为构成内容数据的视频信息。 。
[0102] 此外,发电单元 85 例如,基于音频数据和位置姿势信息执行VBAP(矢量基幅平移)和双耳处理、平移处理等作为渲染处理,从而生成构成内容数据的音频信息。
[0103] 基于以这种方式获得的音频信息的音频的再现使得能够再现声场,就好像处于由位置姿势信息指示的位置的用户聆听来自虚拟空间中的预定位置等的声源的声音一样, 即,声音定位的再现。
[0104] 经过步骤S的处理生成内容数据后 14 ,过程前进至步骤S 18 。
[0105] 在步骤S中确定的情况下 13 相比之下,控制单元检测到阻塞 84 向运动计算单元发出命令 83计算移动量,然后处理进入步骤S 15 。
[0106] 在步骤S中 15 , 运动计算单元 83 根据控制单元的命令计算(计算)用户在现实空间中的移动量 84 ,利用来自传感器单元的传感器输出信息 81 ,来自控制单元的位置姿态信息 84 等,根据需要,并且基于从阻塞检测单元提供的检测结果 82 ,并将移动量提供给控制单元 84 。
[0107] 阻塞检测单元 82 例如,能够检测阻塞通信信道的阻塞对象的大小,作为通信信道的阻塞情况。 相应地,运动计算单元 83 能够识别 HMD 的方向和距离 52 根据控制台之间的位置关系,在真实空间中移动,以避免通信通道的阻塞 51 , 头显 52 、遮挡对象、遮挡检测结果等。 即,HMD的移动量,即移动的方向和距离 52 可以计算出(用户)到达真实空间中逃脱通信信道阻塞的位置。
[0108] 在步骤S中 16 ,控制单元 84 基于从运动计算单元提供的运动量,更新指示用户在虚拟空间中的位置和姿势的位置姿势信息 83 。 然后,控制单元 84 将更新后的位置姿态信息提供给生成单元 85 从而命令(控制)内容数据的生成。
[0109] 在步骤S中 17 , 生成单元 85 根据从控制单元提供的更新的位置姿势信息生成内容数据 84 并将内容数据提供给存储单元 86 。 同时,存储单元 86 暂时存储从生成单元提供的内容数据 85 。
[0110] 在步骤S中 17 ,顺便说一下,通过与步骤S的过程类似的过程来生成内容数据 14 。 即步骤S的过程 17 以及步骤S的过程 14 仅位置姿态信息是否更新有区别,其他方面相同。
[0111] 当通过步骤S的处理生成内容数据时 14 或步骤S 17 ,编码器单元 87 对存储在存储单元中的内容数据进行编码 86 ,在控制单元的控制下 8 ,在步骤S中 18 。 编码器单元 87 将通过编码获得的代码信息提供给无线通信单元 88 。
[0112] 在步骤S中 19 、无线通讯单元 88 传输从编码器单元提供的代码信息 87 ,通过天线进行无线通信 89 ,在控制单元的控制下 84 ,则内容传输过程结束。 在这种情况下,内容将在 HMD 中再现 52 例如,如参考图3所述,基于内容数据进行引导,从而提供对逃脱封锁的位置的引导。
[0113] 在头显中 52 另外,在步骤S中发送的内容数据(代码信息) 19 接收到内容数据,并且基于接收到的内容数据来再现内容。 在步骤S中 19 顺便说一句,代码信息可以通过与控制台线性连接的通信通道来传输 51 和头显 52 或者通过不是线性连接控制台的通信通道的通信通道 51 和头显 52 并且使用反射等,如箭头W所示 12例如,在图1中,取决于通信信道的阻塞情况。
[0114] 参考图7和图8,这里,步骤S中要执行的过程 15 和步骤S 16 将更具体地描述。
[0115] 例如,假设HMD的位置和姿势 52 遮挡检测单元已经识别出现实空间中遮挡物体的位置和大小等 82 基于传感器输出信息、位置姿势信息等以及控制台之间的位置关系 51 , 头显 52 ,和一个阻塞对象 OBJ 1 因此,例如,如图7所示,识别了真实空间中的。
[0116] 在这种情况下,运动计算单元 83 能够计算向量 Δx w 指示 HMD 的移动量 52 到避开连接控制台的直线交点的目的地 51 和头显 52 和阻塞对象 OBJ 1 在真实空间中,基于遮挡检测单元识别的位置关系 82 。 即向量Δx w 指示 HMD 的目的地 52 使通信通道线性连接控制台 51 和头显 52 逃脱被阻挡物体OBJ阻挡 1 可以计算。
[0117] 在图7所示的示例中,假设真实空间坐标系是原点位于HMD的位置的三维正交坐标系。 52 在内容再现开始时并且具有 X 轴 w 轴,Y w 轴和 Z w 彼此正交的轴。
[0118] 特别地,这里,Z方向 w axis 是连接原点的方向,原点是 HMD 的位置 52 在内容和控制台再现开始时 51 并且在图中是向上的。 另外,X 方向 w axis为图7中向右的方向,进一步地,Y方向 w 轴是图7中向前的方向,即,从佩戴HMD的用户来看向上 52 。
[0119] 另外,现实空间坐标系的原点、轴的方向等可以以任意方式设定。 进一步地,用户的头部相对于Y方向的位置 w 轴基本上由佩戴HMD的用户的身高、坐高等确定 52 ,因此用户无法跟随用户位置在 Y 方向上的任何位移 w 虚拟空间中的轴。 因此,虽然 HMD 52 在 X 上移动 w Z w 飞机在这里,HMD 52 可以沿Y方向移动 w 例如,在将本技术应用于允许在失重空间、水下等中进行自由的三维移动的VR内容再现系统的情况下,也可以将轴定义为“轴”。
[0120] 在图7所示的示例中,箭头M 31 表示向量 Δx w 指示 HMD 的移动量 52 。 具体地,箭头M的起点的位置 31 表示 HMD 的实际当前位置 52 ,以及箭头M的终点位置 31 表示HMD的目标目的地的位置 52 ,即HMD的位置 52 从而避免了通信通道的阻塞。
[0121] 这里,Δx w =(Δx, 0) 对于向量 Δx 成立 w 因为 HMD 的实际当前位置 52 在真实空间坐标系原点处,X方向的移动量 w 轴为 Δx,Z 方向的移动量 w 轴为 0。
[0122] 运动计算单位 83 计算向量 Δx w 由箭头M表示 31 ,作为步骤 S 中的移动量 15,并将向量提供给控制单元 84 。
[0123] 然后,控制单元 84 转换向量 Δx w 将真实空间坐标系中的向量Δx v 在虚拟空间坐标系中。 向量 Δx v 是表示与向量Δx表示的移动量等价的虚拟空间中的移动量的矢量 w 在真实空间坐标系中。
[0124] 例如,假设虚拟空间坐标系是具有X轴的三维正交坐标系。 v 轴,Y v 轴和 Z v 彼此正交的轴,并且 X 的轴 v 轴,Y v 轴和 Z v 轴分别对应X轴 w 轴,Y w 轴和 Z w 真实空间坐标系中的轴。
[0125] 在这种情况下,假设虚拟空间坐标系旋转了旋转角度θ wv 例如,如图8所示,相对于真实空间坐标系。 也就是说,假设 Z 所成的角度 v 轴和 Z w 轴为 θ wv 度。
[0126] 这样的旋转角度θ wv 是已知的,因此控制单元 84 能够得到向量Δx v 指示 HMD 的移动量 52 在虚拟空间中,使用旋转矩阵R(θ)计算下式(1) wv ) 将向量旋转旋转角度 θ wv 。
[数学。 1]
Δ x v =R (θ wv )Δ x w (1)
[0127] 在表达式(1)的计算中,向量Δx w 被制成向量 Δx v 旋转 θ wv 度数根据旋转矩阵 R(θ wv )。 在图8中,箭头M 41 表示向量 Δx v 。
[0128] 进一步地,控制单元 84 将虚拟空间中的位置姿势信息所指示的位置移动-Δx v 在X上 v Z v 平面以制造 HMD 52 (用户)移动到向量 Δx 指示的位置 w 在真实的空间里。 即对于当前位置姿态信息,控制单元 84 进行使位置姿势信息所示的位置移动-Δx的修正(变更) v 在X上 v Z v 平面,并将得到的位置姿态信息作为更新后的位置姿态信息。
[0129] 然后,控制单元 84 将更新后的位置姿态信息提供给生成单元 85 从而引起内容数据的生成。 向量 Δx 的转换过程 w 到向量 Δx v 以及基于向量Δx的位置姿态信息的更新过程 v 如上所述,执行步骤S的处理 16 如上所述。
[0130] 这里,顺便提及,位置姿势信息指示的虚拟空间中的用户的位置(视点位置)移动-Δx的示例 v 已被描述。
[0131] 然而,代替由位置姿势信息指示的位置的移动,可以执行虚拟空间本身从当前位置的移动由矢量Δx指示的移动量 v ,即 Δx v 。 这是因为虚拟空间本身移动了Δx v 相当于用户在虚拟空间中的位置移动了−Δx v 。
[0132] 在虚拟空间移动的情况下,控制单元 84 命令生成单元 85 生成虚拟空间移动了Δx的内容数据 v ,以及生成单元 85 根据来自控制单元的命令执行渲染过程 84 ,从而生成虚拟空间移动了Δx的内容数据 v 。
[0133]在这种情况下,利用位移了Δx的虚拟空间坐标系来执行关于视频信息、音频信息等的渲染处理。 v ,位置姿态信息表示的位置随之移动-Δx v 。
[0134] 在检测到通信通道阻塞的情况下,如上所述,控制台 51 计算用户的移动量(HMD 52 )被移动,基于移动量更新位置姿势信息,并且基于更新的位置姿势信息生成内容数据。
[0135] 这样的过程使得能够利用重定向并确保最佳通信信道来无意识地将用户引导到适当的地方。
[0136] 对于步骤S 16 顺便说一下,描述了位置姿势信息被校正(改变)与向量Δx对应的量 w 表示步骤S中计算出的移动量 15 已给出。 换句话说,用户一次移动由矢量Δx指示的移动量的示例 v 已经在虚拟空间中进行了描述。 然而,用户可以随时间移动,对应于内容数据的几个帧,即,以小的分开的步骤。
[0137] 例如,在时间 t 检测到通信信道阻塞的情况下,向量 Δx v 如果获取了虚拟空间中的移动量,并且在随后的时间t'立即将相应的移动反映在内容数据中,则存在用户识别出位置和用户体验的突然变化的风险 受到伤害。 因此,代替每次移动与所获得的矢量Δx相对应的量 v 例如,可以执行预定次数的分割移动、每次预定移动量的移动等。
[0138] 在预先确定了移动次数N、即分割次数N的情况下,例如,控制单元 84 通过设置虚拟空间中的移动量为Δx来更新位置姿态信息 v 步骤S中的/N 16 。
[0139] 在这种情况下,控制单元执行以下过程: 84 通过将当前位置姿态信息指示的位置移动-Δx来更新位置姿态信息 v /N,并且基于更新的位置姿势信息和无线通信单元的处理来控制内容数据的生成。 88 通过无线通信发送内容数据连续进行N次。
[0140] 本例中,一次的移动量,即一帧的移动量例如为Δx v /N,用户的移动矢量Δx v 移动N次后(N帧后)完成。 这样的过程使得能够在预定时间段内可靠地完成用户的移动并确保最佳的通信信道。
[0141] 同时,假设一次移动量被确定为δ v (其中,δx v >0),例如。 即,假设移动量δx v 确定一次以满足 δx v =k[mm](例如k=2)等。
[0142] 在这种情况下,当处理次数为M时,移动量δx v 迭代直到 δx v ×M≥|Δx v | 很满意。 即,分割移动被执行M次(对于M帧)。
[0143] 在步骤S中 16 ,具体来说,控制单元 84 将虚拟空间的移动量设为δx,更新位置姿态信息 v 。
[0144] 因此,在这种情况下,控制单元的过程 84 通过移动当前位置姿态信息指示的位置来更新位置姿态信息,δx v,在与向量 Δx 表示的方向相反的方向上 v 以及基于更新的位置姿势信息和无线通信单元的处理来控制内容数据的生成。 88 通过无线通信发送内容数据连续进行M次。
[0145] 尽管完成移动的时间在每种情况下不同,但是这样的处理使得能够进行诸如最小化用户的移动对用户体验的影响的控制。
第二实施例
[0146] 顺便提及,以上描述已经给出了包括控制台的VR内容再现系统的示例。 51 和头显 52 ,其中在控制台一侧检测到通信通道的阻塞 51 根据检测结果更新位置姿态信息。 然而,通信信道的阻塞的检测、移动量的计算等可以在HMD侧进行 52 ,而不是控制台的侧面 51 。
[0147] 在这种情况下,HMD 52 例如,如图9所示配置。
[0148] 头显 52 图9所示的实施例包括传感器单元 111 ,阻塞检测单元 112 ,运动计算单元 113 、位置姿态测量单元 114 ,一个控制单元 115 , 天线 116 ,无线通信单元 117 ,解码器单元 118 ,一个生成单元 119 ,一个存储单元 120 、视频显示单元 121 ,和一个扬声器 122 。
[0149] 传感器单元 111 对应传感器单元 81 例如,图5所示的传感器包括诸如RGBD传感器或超声波传感器等距离传感器、摄像机或陀螺仪传感器等传感器,并且将由传感器获得的传感器输出信息提供给位置姿势测量单元 114 以及阻塞检测单元 112 。
[0150] 传感器单元输出的传感器输出信息 111 是周围环境图像、距离信息、指示HMD的位置、姿势等变化的角速度 52 例如,等,不仅用于遮挡状况的检测,还用于HMD的位置、姿势等的测量 52 。
[0151] 阻塞检测单元 112 对应阻塞检测单元 82 如图5所示,并且基于从传感器单元提供的传感器输出信息来检测通信信道的阻塞情况 111 和控制台之间的位置关系 51 和头显 52 由控制单元提供 115 ,即HMD的相对位置 52 关于控制台 51 。 即控制台之间通信通道的阻塞 51 和头显 52 被检测到。 阻塞检测单元 112 将通信信道阻塞的检测结果提供给移动计算单元 113 和控制单元 115 。
[0152] 顺便说一句,控制台之间的位置关系 51 和头显 52 可以由控制单元计算 115 根据从位置姿势测量单元提供的位置姿势信息 114 或者可以由控制单元计算 115 基于从传感器单元输出的传感器输出信息 111 。 否则,无线通信单元 117 可以接收指示控制台之间的位置关系的信息 51 和头显 52 从控制台 51 通过天线 116 并可将信息提供给控制单元 115 。
[0153] 运动计算单位 113 计算(compute)用户在真实空间中的移动量,即向量Δx w,通过使用来自控制单元的位置姿态信息 115 ,表示控制台位置关系的信息 51 和头显 52 等,根据需要,并且基于从阻塞检测单元提供的检测结果 112 ,并将移动量提供给控制单元 115 。
[0154] 位置姿态测量单元 114 测量 HMD 的位置和姿态 52 基于从传感器单元提供的传感器输出信息 111 ,根据这样的测量结果生成位置姿势信息,并将位置姿势信息提供给控制单元 115 。
[0155] 控制单元 115 控制整个 HMD 的操作 52 。 例如,控制单元 115 通过无线通信单元控制无线信号的发送和接收 117 或者控制生成单元对内容数据的处理 119 根据位置姿态信息。
[0156] 无线通讯单元 117 与控制台进行无线通信 51 通过天线 116 ,在控制单元的控制下 115 。 即,无线通信单元 117 传输移动量(矢量 Δx w )由控制单元提供 115 ,或通过天线类似 116 通过无线通讯或接收控制台发送的代码信息 51 ,通过天线 116 ,并将代码信息提供给解码器单元 118 , 例如。
[0157] 解码器单元 118 解码从无线通信单元提供的代码信息 117 并将所得到的内容数据提供给生成单元 119 。
[0158] 发电单位 119 对来自解码器单元的内容数据的视频信息进行处理过程 118 根据控制单元提供的位置姿态信息 115 并在控制单元的控制下 115 将包括处理后的视频信息和音频信息的内容数据提供给存储单元 120 。 生成单元执行的处理过程 119 例如,是根据位置姿势信息对虚拟空间中的用户的视点位置等进行微调(校正)的处理。
[0159] 存储单元 120 暂时存储生成单元提供的内容数据 119 ,将所存储的内容数据的视频信息提供给视频显示单元 121 ,并将内容数据的音频信息提供给扬声器 122 。
[0160] 视频显示单元 121 例如,包括液晶显示面板等,并且基于从存储单元提供的视频信息来显示内容的视频 120 。 演讲者 122 基于从存储单元提供的音频信息输出声音以再现内容的音频 120 。
内容复制流程说明>
[0161] 接下来,HMD的操作 52 将进行描述。
[0162] 从控制台传输代码信息后 51 通过无线通信,HMD 52 接收代码信息并执行用于再现内容的内容再现处理。 下面介绍HMD的内容再现过程 52 将参照图10的流程图进行描述。
[0163] 在步骤S中 41 、无线通讯单元 117 接收控制台传来的代码信息 51 通过无线通信,通过天线 116 ,并将代码信息提供给解码器单元 118 。
[0164] 在步骤S中 42 ,解码器单元 118 解码从无线通信单元提供的代码信息 117并将所得到的内容数据提供给生成单元 119 。
[0165] 进一步地,生成单元 119 对来自解码器单元的内容数据的视频信息进行适当的处理过程 118 ,在控制单元的控制下 115 ,并将包括处理后的视频信息和音频信息的内容数据提供给存储单元 120 。
[0166] 在步骤S中 43 、视频显示单元 121 和演讲者 122 再现内容,然后内容再现过程结束。
[0167] 即视频显示单元 121 基于从存储单元提供的视频信息显示内容的视频 120 。 与此同时,演讲者 122 基于从存储单元提供的音频信息输出声音 120 。 因此,再现内容的视频和音频。
<运动量传输过程的描述>
[0168] 此外,头显 52 执行参照图10描述的内容再现处理,并行地检测通信信道的阻塞,并且还执行移动量发送处理,其中根据这样的结果来发送移动量。 检测。 以下,说明HMD的移动量发送处理 52 将参照图11的流程图进行描述。
[0169] 在步骤S中 71 ,阻塞检测单元 112 检测与HMD线性连接的通信通道的阻塞情况 52 和控制台 51 ,即,基于从传感器单元提供的传感器输出信息来阻塞通信信道 111 和控制台之间的位置关系 51 和头显 52 由控制单元提供 115 。 阻塞检测单元 112 将阻塞情况的检测结果提供给移动计算单元 113 和控制单元 115 。
[0170] 在步骤S中 71 例如,通过与步骤S的过程类似的过程来检测通信通道的阻塞情况 12 在图6中。
[0171] 在步骤S中 72 ,控制单元 115 基于从阻塞检测单元提供的阻塞检测结果来确定是否检测到通信信道的阻塞 112 。 在步骤S中 72 ,例如与步骤S类似的判断过程 13 执行图6中的步骤。
[0172] 在步骤S中确定的情况下 72 未检测到阻塞,执行步骤S的处理 73 和步骤S 74 不执行,并且移动量发送处理结束。
[0173] 在步骤S中确定的情况下 72 相比之下,控制单元检测到阻塞 115 命令运动计算单元 113 计算移动量,然后处理进入步骤S 73 。
[0174] 在步骤S中 73 , 运动计算单元 113 利用来自控制单元的位置姿势信息计算(计算)用户在现实空间中的移动量 115 ,表示控制台位置关系的信息 51 和头显 52 等,根据需要,并且基于从阻塞检测单元提供的检测结果 112 。
[0175] 即运动计算单元 113 计算向量 Δx w 表示通过与步骤S类似的过程的移动量 15 图 6 中的向量并将向量提供给控制单元 115 , 例如。
[0176] 在步骤S中 73 ,但是,运动计算单元 113 计算向量 Δx w 根据阻挡对象OBJ之间的位置关系指示真实空间中的移动量 1 , 控制台 51 ,以及从 HMD 看到的类似内容 52 如图12所示。顺便提及,图12中与图7中的部件相对应的部件具有相同的附图标记,并且适当地省略其描述。
[0177] 在图12所示的示例中,向量Δx w 根据遮挡物体OBJ之间的位置关系计算 1 , 控制台 51 ,以及从 HMD 看到的类似内容 52 ,与图7所示的例子相反,但向量Δx相同 w 得到结果。 这里,箭头M 31 表示向量 Δx w 指示 HMD 的移动量 52 。
[0178] 继续对图11的流程图的描述,在提供矢量Δx时 w ,即移动量,来自移动计算单元 113 ,控制单元 115 提供向量 Δx w 指示无线通信单元的移动量 117 ,从而将命令传输到控制台 51 。
[0179] 在步骤S中 74 、无线通讯单元 117 传输移动量(矢量 Δx w )由控制单元提供 115 ,到控制台 51 通过天线 116 通过无线通信,则运动量传输过程结束。
[0180] 传输矢量 Δx w 以这种方式,无线通信单元 88 控制台的 51 接收传输矢量 Δx w 通过天线 89 并提供向量 Δx w 至控制单元 84 。
[0181] 控制单元 84 更新HMD的位置姿态信息 52 基于向量 Δx w 由无线通信单元提供 88 并将更新后的位置姿态信息提供给生成单元 85 从而引起内容数据的生成。 这里,与步骤S类似的过程 16 图6中的处理是在更新位置姿势信息时进行的。 即向量Δx w 转换为向量 Δx v 根据旋转矩阵 R(θ wv ),根据向量Δx更新位置姿态信息 v 。
[0182] 结果,从步骤S中接收的代码信息获得的内容数据 41 根据更新后的位置姿势信息生成下一次要执行的图10中的操作,使得基于内容数据的内容的再现使用户无意识地移动。 因此,即使在HMD中检测到通信信道的阻塞情况的情况下,也能确保最佳的通信信道 52 。
[0183] 在检测到通信信道阻塞的情况下,如上所述,HMD 52 计算用户的移动量(HMD 52 )将被移动并将移动量传输到控制台 51 。 这样的过程使得能够利用重定向并确保最佳通信信道来无意识地将用户引导到适当的地方。
[0184] 顺便说一句,虽然位置姿势信息的更新是在控制台一侧进行的 51 这里已经描述了,可以在HMD中更新位置姿态信息 52 。
[0185] 在这种情况下,控制单元 115 获取位置姿态测量单元生成的位置姿态信息 114 并根据向量Δx更新获取的位置姿态信息 w 由运动计算单元提供 113 , 例如。 也就是说,控制单元 115 转换向量 Δx w 代入向量 Δx v 并根据向量Δx更新位置姿态信息 v 。
[0186] 然后,控制单元 115 将更新后的位置姿态信息提供给无线通信单元 117 从而引起位置姿态信息的传输。 无线通讯单元 117 发送从控制单元提供的更新后的位置姿态信息 115 ,通过天线 116 通过无线通信。 当在这种情况下没有检测到阻塞时,同时,无线通信单元 117 传输控制单元提供的位置姿态信息 115 由位置姿态测量单元产生 114 ,无需通过天线进行修改 116 。
<计算机配置示例>
[0187] 顺便提及,上述一系列处理可以通过硬件来执行或者可以通过软件来执行。 在通过软件执行这一系列处理的情况下,构成软件的程序被安装到计算机中。 这里,计算机包括并入专用硬件中的计算机、例如能够通过安装在其中的各种程序来执行各种功能的通用个人计算机等。
[0188] 图13是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0189] 在计算机中,CPU 501 , ROM(只读存储器) 502 和 RAM(随机存取存储器) 503 通过总线相互连接 504 。
[0190] 另外,还有一个输入输出接口 505 已连接到总线 504 。 至输入输出接口 505 ,输入单元 506 ,输出单元 507 ,记录单元 508 , 通信单元 509 ,和一个驱动器 510 连接。
[0191] 输入单元 506 包括键盘、鼠标、麦克风、成像元件等。 输出单位 507 包括显示器、扬声器等。 录音单元 508 包括硬盘、非易失性存储器等。 通讯单元 509 包括网络接口等。 驱动器 510 驱动可移动记录介质 511 例如磁盘、光盘、磁光盘或半导体存储器。
[0192] 在如上所述配置的计算机中,CPU 501 加载记录单元中记录的节目 508 ,例如,进入RAM 503 通过输入输出接口 505 和公共汽车 504 并执行程序,从而执行上述一系列处理。
[0193] 计算机要执行的程序(CPU 501 )可以通过记录在可移动记录介质中来提供 511 例如,作为包装介质等。 或者,可以通过诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供程序。
[0194] 在计算机中安装可移动记录介质 511 在驱动器中 510 允许将程序安装到记录单元中 508 通过输入输出接口 505 。 或者,程序可以由通信单元接收 509 通过有线或无线传输介质,并且可以安装到记录单元中 508 。 否则,程序可能预装在 ROM 中 502 ,记录单元 508 ,或类似的。
[0195] 顺便提及,要由计算机执行的程序可以是其中沿着本文描述的顺序按时间顺序执行处理的程序,或者其中并行或在所需定时(例如, 已拨打电话。
[0196] 另外,本技术的实施例不限于上述实施例,并且可以以各种方式修改,除非背离本技术的主旨。
[0197]例如,本技术可以具有云计算的配置,其中通过网络在多个设备之间共享一个功能来协作处理。
[0198] 此外,参考上述流程图描述的每个步骤可以由一个设备来执行,或者另外,可以通过在多个设备之间共享来执行。
[0199] 另外,在1个步骤中包含多个处理的情况下,1个步骤中包含的多个处理可以由1台装置进行,也可以在多个装置之间分担来进行。
[0200] 另外,本技术还可以具有以下配置。
(1)
[0201] 一种信息处理装置,包括:
[0202] 阻塞检测单元,被配置为检测到再现设备的通信信道的阻塞,该再现设备被配置为基于内容数据来再现内容;
[0203] 移动计算单元,被配置为在检测到通信信道的阻塞的情况下,计算再现设备向摆脱阻塞的位置的移动量; 和
[0204] 控制单元,被配置为基于移动量来控制内容数据的生成。
(2)
[0205] 根据(1)所述的信息处理装置,
[0206] 其中,控制单元基于移动量来更新指示用户在内容的虚拟空间中的位置的位置信息,并且基于更新的位置信息来控制内容数据的生成。
(3)
[0207] 根据(2)所述的信息处理装置,还包括:
[0208] 无线通信单元,被配置为通过无线通信将内容数据发送到再现装置。
(4)
[0209] 根据(3)所述的信息处理装置,
[0210] 其中,在与由Δx表示的移动量相对应的虚拟空间中的移动量的情况下,控制单元通过将由位置信息指示的位置移动-Δx来更新位置信息。
(5)
[0211] 根据(3)所述的信息处理装置,
[0212] 其中,指定分割数为N,虚拟空间中的移动量对应于移动量,为Δx,
[0213] 控制单元通过将位置信息指示的位置移动-Δx/N来更新位置信息,并且基于更新的位置信息控制内容数据的生成,以及
[0214] 无线通信部将内容数据发送至再现装置的处理
[0215] 连续进行N次。
(6)
[0216] 根据(3)所述的信息处理装置,
[0217] 其中,将与移动量相对应的虚拟空间中的移动量设为Δx,将规定的移动量设为δx,将处理次数设为M,
[0218] 控制单元通过在与移动量Δx的方向相反的方向上移动由位置信息指示的位置δx来更新位置信息,并基于该位置控制内容数据的生成的处理 更新的位置信息,以及
[0219] 无线通信部将内容数据发送至再现装置的处理
[0220] 连续执行M次,
[0221] 直到δx×M≥|Δx| 很满意。
(7)
[0222] 根据(2)至(6)中任一项所述的信息处理装置,
[0223] 其中再现设备佩戴在要观看和收听内容的用户身上。
(8)
[0224] 根据(7)所述的信息处理装置,
[0225] 其中,内容包括VR内容。
(9)
[0226]根据(2)至(8)中任一项所述的信息处理装置,
[0227] 其中,控制单元生成具有与由更新的位置信息指示的位置相对应的视点的视频信息作为内容数据。
(10)
[0228] 根据(2)至(9)中任一项所述的信息处理装置,
[0229] 其中,控制单元生成通过基于更新的位置信息的渲染处理生成的音频信息作为内容数据。
(11)
[0230] 一种信息处理方法,包括:
[0231] 通过信息处理设备,
[0232] 检测到被配置为基于内容数据再现内容的再现设备的通信信道的阻塞;
[0233] 计算在检测到通信信道的阻塞的情况下,再现装置向摆脱阻塞的位置移动的量; 和
[0234] 基于移动量控制内容数据的生成。
(12)
[0235] 一种信息处理设备,被配置为基于内容数据再现内容,该信息处理设备包括:
[0236] 阻塞检测单元,被配置为检测到被配置为发送内容数据的另一信息处理设备的通信信道的阻塞;
[0237] 移动计算单元,被配置为在检测到通信信道的阻塞的情况下,计算信息处理装置向摆脱阻塞的位置的移动量; 和
[0238] 无线通信单元,被配置为通过无线通信将移动量发送至另一信息处理装置。
(13)
[0239] 根据(12)所述的信息处理装置,
[0240] 其中,无线通信单元接收基于移动量生成并从另一信息处理装置发送的内容数据。
(14)
[0241] 根据(12)所述的信息处理装置,其中,基于根据移动量更新的并且指示用户在内容的虚拟空间中的位置的位置信息来生成内容数据。
(15)
[0242] 根据(14)所述的信息处理装置
[0243] 其中,以与由Δx表示的移动量相对应的虚拟空间中的移动量,更新位置信息,使得由位置信息指示的位置移动-Δx。
(16)
[0244] 根据(14)或(15)所述的信息处理装置,
[0245] 其中,具有与由更新的位置信息指示的位置相对应的视点的视频信息被包括在内容数据中。
(17)
[0246] 根据(14)至(16)中任一项所述的信息处理装置,
[0247] 其中,通过基于更新的位置信息的渲染处理生成的音频信息被包括在内容数据中。
(18)
[0248] 根据(12)至(17)中任一项所述的信息处理装置,
[0249] 其中信息处理设备被佩戴在要观看和收听内容的用户上。
(19)
[0250] 根据(18)所述的信息处理装置,其中,所述内容包括VR内容。
(20)
[0251] 一种信息处理方法,包括:
[0252] 由被配置为基于内容数据再现内容的信息处理设备,
[0253] 检测到被配置为发送内容数据的另一信息处理设备的通信信道的阻塞;
[0254] 在检测到通信信道的堵塞的情况下,计算信息处理装置向摆脱堵塞的位置的移动量; 和
[0255]通过无线通信将移动量发送至其他信息处理装置。
附图标记列表
- [0008]
- [专利文献1] [0009]
- PCT专利公开号WO2017/099077
- 51 : 安慰 [0257]
- 52 : 头显 [0258]
- 81 :传感器单元 [0259]
- 82 :阻塞检测单元 [0260]
- 83 :运动计算单位 [0261]
- 84 :控制单元 [0262]
- 85 : 发电单位 [0263]
- 87 :编码器单元 [0264]
- 88 :无线通讯单元 [0265]
- 111 :传感器单元 [0266]
- 112 :阻塞检测单元 [0267]
- 113 :运动计算单位 [0268]
- 114 :位置姿势测量单位 [0269]
- 115 :控制单元 [0270]
- 117 :无线通讯单元 [0271]
- 121 :视频显示单元 [0272]
- 122 : 扬声器
