微软的野心：结合了AR与VR优点的新技术才是真正的未来

2016年。微软研究院发布了一条有关其研发的Holoportation技术的视频，该技术可以通过一套系统让两个人跨越空间的障碍在同一个空间中进行面对面的交流，出现在你面前将是一个立体的活生生的人而不是视频通话那样只是一幅会动的画面。

Holoportation的核心技术在于对真人进行较为精细的实时三维重建同时进行海量的数据传输，这不仅是一项先进的MR技术，也是影视行业所梦寐以求的，微软研究院研发的这套系统据称被大量应用于影视行业，整套系统的研发成本更是超过百万美金。

时隔两年，微软研究院又在其官方网站上发布了一项名为Remixed Reality的新技术。

什么是Remixed Reality?这是一项结合了AR与VR的优点用于改进MR体验的技术。在上一代的Holoportation中，你只能观看和缩放眼前看到的物体，但是通过Remixed Reality技术，你将可以像使用AR设备一样看到周围的真实世界，并像在VR中一样对它们做出实时改变。

使用Remixed Reality技术时，用户将不再只能看到另一个人及其周围非常有限的空间，取而代之的是由8台Kinect完成的一个完整房间的三维重建图像。用户可以通过VR头显来以自身的视角观察三维重建而成的房间，因为三维重建是实时的，所以用户可以看到任何进出房间的人或者是家具以及其他房间环境的变化，甚至可以与房间内的任何实物进行互动。这也给予了用户全新的能力——在观看真实世界的同时对它进行视觉的改变。

在这项技术的宣传视频中，我们可以看到相比两年前的Holoportation，Remixed Reality赋予了用户非常多的新能力。Remixed Reality给与用户的能力可以分为四个大类，分别为操纵空间、改变外观、控制时间与改变视点。

操纵空间：

复制　　移动

擦除

改变外观：

改变物体颜色

改变房间的光线

物体描边

改变画面风格

控制时间：

暂停

播放与倒放

改变视角：

让你拥有上帝视角

画中画功能

改变投影方式

如此酷炫的功能是如何做到的呢?

微软研究院的研究人员开发的这套RoomAlive系统主要分为两部分：数据采集与三维重建系统、显示与互动系统。8个Kinect V2为服务器提供大小约为4m×5m×2.5m的房间的深度信息以及色彩信息，服务器将这些信息进行压缩，并传输到一台连接了VR头显的PC上，在这台PC上完成信息解压缩与三维重建。显示与互动则是通过Unity与SteamVR完成的。

8台Kinect V2提供的数据量约为400Mb/s，在正常局域网(1000Mb/s)的带宽范围内，这意味着如果拥有更大的带宽的话，你可以继续增加Kinect的数量以增加数据采集的区域或是用来提高精度。Kinect的校准则是通过投影仪投影灰度图来实现的，其中用到了ICP(Iterative Closest Point)算法。

客户端的模型以每秒30帧的频率进行更新，但是每帧的模型数据之间没有联系，这就意味着如果你修改了其中某一帧的模型数据，下一帧中你的修改就会消失。如果要使模型的改动不会消失，则意味着你需要在帧与帧之间将三维模型进行匹配对齐，经过Kinect重建的三维模型有200多万个面，进行匹配算法根本无法实时完成。