在VR里照镜子，Facebook实验室研发镜片捕捉技术

对于开发者们来说，在VR/AR世界中重建镜子和玻璃并非一件易事。在本月举行的SIGGRAPH 2018大会上，Facebook Reality Labs (FRL)提出了一种能够提升3D场景和可信度和逼真感的镜面建模方案。

在Oculus的介绍下，FRL的部分成员向我们详细解释了他们是如何寻求能够提升计算机视觉和图形的方法，从而实现更加身临其境的世界模型。目前，管道重建技术最明显的缺陷是3D扫描系统会产生真实场景之外的伪影。

研究科学家托马斯·伟伦(Thomas Whelan)建议：“想要识别目标足够精准，那就需要进一步简化识别标示，易于检测的目标将提升反射性表面的真是反馈，目前通过识别镜像表面，团队可使用正确的几何和反射重新渲染场景”。

为此，FRL团队需要解决的问题是镜子类型和形状的多样性问题。他准备设计一个能够处理大部分或所有镜子形状和大小的系统。采用分类步骤实现不同镜像之间的相互关联。

研究科学家史提芬·洛夫格罗夫(Steven Lovegrove)表示：“为了创建可以支持各种真实空间中的3D重建，我们面临的挑战是采集一个有代表性的镜像样本，并创建一个可以在每个镜像上运行的强大算法。”

另一个方面，是镜面便捷的分割。如何将虚拟世界的镜像关系不多不少正好“装”在镜子中?专注于任意形状镜像边界的分割工作的研究院斯特劳勃解释道：“洛夫格罗夫构建了一个系统来校准和估算镜面与虚拟现实节之间的变量关系，并未其在指定环境中进行定位。这套装置需要红外深度摄像头，RGB彩色摄像头、用于估计运动的广角相机和用于显示标准AprilTag镜像的背光图形。

将上述的系统进行整合封装，最终我闷闷所看到的就是一个完整的虚拟镜面成像系统，这一系统具备高精度的边界定位，也可以将虚拟对象添加到场景中，同时也能够与现实世界的几何和反射器正确交互——这是一个从原生数据到最终重建的端到端系统。

研究员洛夫格罗夫说道：“在以往的虚拟世界建设工作中，镜子总会被忽视，我们目前能玩到的几乎所有游戏中的镜面只能按照开发者的意愿折射出有需要的成像，这是不真实的。所以在某种程度上，我们正面解决了3D重建中最古老的问题之一。”

FBL团队的许多成员都参与过全球研究实验室的3D重建，图形，机器人和本地化工作。他们正在用一套系统的解决方案来构建几近真实的镜面成像系统，在VR世界中，我们看到的镜面将不再是空无一物，这对于提升VR体验的真实感极为重要。