Aug, 2023
通过基于学习的眼高自适应提升预捕获环境的感知与沉浸
Enhancing Perception and Immersion in Pre-Captured Environments through Learning-Based Eye Height Adaptation
Qi Feng, Hubert P. H. Shum, Shigeo Morishima
TL;DR基于全景相机的预捕获沉浸式环境提供了广泛的虚拟现实应用。先前的研究表明，在自我中心的虚拟环境中操纵眼高可以显著影响距离感和沉浸感。然而，由于在捕获过程完成后改变视角的困难，对于预捕获的真实环境中的眼高的影响付诸较少关注。为了探索这种影响，我们首先提出了一个小型研究，用多个眼高捕捉真实环境，并要求参与者评估自我中心的距离感和沉浸感。如果确认存在显著影响，则需要一种有效的基于图像的方法来适应用户的眼高。受这个研究的启发，我们提出了一种基于学习的方法，用于合成具有不同眼高的全景图像的新视角。该方法采用多任务架构，在两种格式中学习深度和语义分割，并生成高质量的深度和语义分割以促进修复阶段。通过改进的全景感知分层深度图像，我们的方法为眼高适应合成自然而逼真的视觉效果。定量和定性评估显示出与最先进的方法相比有利的结果，并进行了大规模用户研究以验证对预捕获的真实环境的感知和沉浸的改进。