虽然我们还没有制定任何精确的公制来进行优化，但由于设定的虚拟单位和米之间的呼应，我们倒也能以一种较为粗犷的角度来进行观察。尽管以我们的方式能够制造出传达优美几何意识的非真representation，但是要说到更多纹理和色彩的3D创建时，我们还是有一些小问题的。

例如，如图，atv直播，我们能够发现深度地图和RGB全景图片之间的不协调：建筑的边缘，被旁边的淡蓝色天空给扰乱了。另外，平面上投射的点同时也包括了代表天空的点，而后者按理说应该是定义为无穷远，因此不应该出现的。

关于这点，此前有专家（Branislav Micusik）的项目使用了异常值消除，而其使用的场景是更复杂的机器学习算法。

另一个问题是较远的点，当每个全景图片载入时，最远的点变得更加稀少并且精确度消失。当组合多个点云时，有些就是不能匹配，并在重建的模型上留下噪点。

如图所示。一个简单的祛除的方式，就是在合成多个全景图片时，根据他们的距离来祛除。

最后，当单个全景的方向和维度看起来已经匹配的时候，经度方向依然有几米的误差，以至于合成多个全景图片时会出现垂直方向的“重影”效果。这个可以归咎于第四个步骤中方程式的不精确。

探索空间

为了完成上述评估，我们认为需要建立一个特定的用户交互，让他们能从不同角度探索这个重建的世界。为此，我们加上了3个camera：

·1个静止的俯瞰的摄像机，当算法联系载入全景图片时，能够一步一步的观察重建过程。这个相机永远根据最新载入的点云而变化，但同时旋转保持不变。

·1个沿椭圆形轨道旋转的相机，能够给用户一个广阔的视角来观察建造起来的点云。它的运动会根据每一帧定义为：

算法5：计算机轨道计算

·1个互动相机，可以让用户自由的在空间中移动。摄像机根据键盘方向以及鼠标移动的[x,y]平面进行移动。

另外，一个简化的菜单，让用户可以改变FOV，将全景图片重新投射在一个球面上。最后一个特性尤其重要，因为它可以让用户匹配全景图片和点云。

相关网页【重要】

以上是Marco同学的论文主题，不知道大家是不是看的昏头涨脑。对这个方法有兴趣的同学，请一定要关注原作者的论文。

相关链接：

https://www.evl.uic.edu/documents/3drecomstrictionmcavallo.pdf

另一位同学使用类似方式做成的案例及说明：

https://medium.com/@nocomputer/creating-point-clouds-with-google-street-view-185faad9d4ee

后记

说实话，光看这7、8个公式就够人一呛，IN2估计不搞技术和算法的同学估计对本文是没啥兴趣的，这也可以解释为啥昨天的上篇在微信点击率并不很高，反倒是在头条有好多人收藏和转发。

正如原作者Marco同学所说，这个项目纯粹是从学术角度来看，到底有没有啥简单且免费的方法，能够重建一个城市的3D点云模型，虽然有些小瑕疵，但是基本目的还是实现了。至于重建出的点云模型究竟有啥用，这就见仁见智了，Marco认为这些数据可以用于交通导航、AR和VR等多种领域，IN2（）认为这个对于一小撮团队来说可能确实是个可行方案。或者有心的人会不会拿百度或者高德地图这么试一下，总感觉如果真能成功，包装一下去骗VC的钱还是有可能的，你说是不？

试验成功的团队，请务必私下致谢伊利诺伊大学的Marco同学，并购买IN2网站5年期的展示广告位，谢谢。

相关阅读

[术说]Deepano专家详解360°视频深度信息及6自由度VR

Facebook新VR相机详解：深度信息如何产生 6DOF如何实现

[消息来自 IN2原创资讯转载请注明来源及链接]

IN2

专业VR影像

VR影视+360视频

策划|拍摄|推广

寻求报道/商务合作

WeChat

Immersivetech

TEL