在VR中重建镜面反射 Oculus展示背后团队和项目研发

随着虚拟现实和增强现实领域的不断发展，研究人员，开发者和内容创作者都在寻求能够提升计算机视觉和图形的方法，从而实现更加身临其境的世界模型。尽管重建技术已经走过了漫长的道路(尤其是自运动传感器出现以来，行业已经有了长足的进步)，但众所周知，我们难以以一种令人信服的方式来重现镜子和玻璃。在本月举行的SIGGRAPH 2018大会上，Facebook Reality Labs (FRL)将介绍一种重建镜子和其他反射性平面的全自动管道(能够提升3D场景和可信度和逼真感)。今天，Oculus介绍了这支团队背后的部分成员，同时向我们分享了这个研究项目的故事。

延伸阅读：Facebook展示如何在AR/VR场景中重建玻璃、镜面场景，将镜子带到虚拟世界

研究科学家托马斯·伟伦(Thomas Whelan)说道：“如果你留意一家家居装饰店的镜子，你会马上看到各种各样的形状和大小，几乎没有两面镜子是完全一样的。我们很早就明白，我们需要一个不会对重建内容做出太多假设的通用解决方案。我们渴望一种支持现实环境中的解决方案，因为这是最有用的地方。”

1. 面临问题

现有的3D扫描系统在镜子和玻璃上总是产生不需要的伪影，因为系统通常会错误地重建反射性表面上显示的3D几何。伟伦建议，我们可以使用一种简单的，易于检测的目标来识别反射性表面。通过识别镜像表面，团队可以使用正确的几何和反射重新渲染场景。

研究科学家朱利安·斯特劳勃(Julian Straub)指出：“在一开始，镜子类型和形状的多样性令人感到惊讶。设计一个能够处理大部分或所有镜子形状和大小的系统是我们的主要目标。我们随后意识到系统同时可以支持玻璃表面，只需一个额外的分类步骤即可。”

研究科学家史提芬·洛夫格罗夫(Steven Lovegrove)补充说：“很难描述人类是如何识别镜子与通向不同空间的窗户或门道的区别。为了创建可以支持各种真实空间中的3D重建，我们面临的挑战是采集一个有代表性的镜像样本，并创建一个可以在每个镜像上运行的强大算法。”

2. 挑战

伟伦与团队进行了紧密的合作，努力确定哪种特征对于确定边界线索最为有用，而斯特劳勃则专注于任意形状镜像边界的分割。当团队将所有一切都组合起来时，洛夫格罗夫构建了一个系统来校准装置和估算镜面在给定环境中的位置。捕捉装置本身包括红外深度摄像头，RGB彩色摄像头，用于估计运动的广角相机，以及用于显示标准AprilTag镜像的背光图形。

这使得研究团队能够以非常高的精度来定位镜子的边界，即便镜子没有边框的存在。FRL甚至可以将虚拟对象添加到场景中，而它们能够与现实世界的几何和反射器正确交互。

结果：一个从原生数据到最终重建的端到端系统。

客座研究员，达姆施塔特工业大学的迈克尔·哥斯尼里(Michael Goesele)教授与FRL的硬件工程师和技术员一起构建了实际的原型，并从图像流中检测目标。

哥斯尼里指出：“近二十年来，我一直致力于场景重建的各个方面，并且能够利用我在构建各种采集设置以及完整重建管道方面的经验。我已经发表了几篇关于重建和渲染反射性表面的论文，所以对这个问题已经建立起一个良好的心智模式，而这对我来说是一个巨大的帮助。”

这同样为整个团队带来了帮助，因为哥斯尼里帮助协调了管道的工作并推动了论文和SIGGRAPH的提交。他补充说：“最后，我在网上购买了很多镜子，而这非常有趣。”

3. 前方之路

跟其他重大研究问题一样，对于FRL的镜面重建研究，最令人兴奋的地方可能在于其可以为其他研究提供支持。

伟伦说道：“根据可清晰识别的反射目标，你现在可以尝试很多酷炫的想法。这也许与今天的深度学习趋势更相关，这种方法为包含这种挑战性表面的训练提供了一种快速的，全自动的标记输入数据方法。在以前，图像必须用手慢慢标记。借助我们的方法，你可以免费实现标记。”

洛夫格罗夫补充说：“我们希望这项研究能够帮助其他人更忠实地捕捉空间的3D呈现，比如说机器人导航和场景理解领域。我们的目标是创造更逼真和更具预测性的虚拟场景，而在朝着这个目标进发的过场中，我们的方法或许能够有所扩展，去支持描绘更具挑战性的对象，比如说非平面玻璃表面或半透明材料。”

4. 从梦想到团队合作