May, 2024

利用摄像头图像对全景图像进行间接增强现实的强度和纹理校正

TL;DR通过使用移动设备中的相机图像,增强现实(AR)在旅游推广中越来越受欢迎。然而,游客出现在相机图像中可能会导致相机姿态估计误差,进而产生 CG 不对齐和内容可见性降低的问题。为了避免这个问题,提出了一种不使用实时相机图像的间接 AR(IAR)。在该方法中,首先捕获全景图像,然后预先在图像上合成虚拟物体。用户可以通过查看从合成全景图像中提取的场景来体验 AR,以配合设备的传感器。这样可以实现鲁棒性和高可见性。然而,如果预先捕获的 360 全景图像中的天气条件和季节与体验 AR 时的当前天气条件和季节不同,AR 体验的真实感将降低。为了克服这个问题,我们提出了一种使用移动设备的相机图像来纠正过去全景图像强度和纹理的方法。首先进行语义分割。然后通过全景图像合成和修补来再现当前天空的模式。对于其他区域,通过直方图匹配来修正强度。通过实验证明了所提出方法在各种场景下的有效性。