CVPRApr, 2024

SyntStereo2Real:边缘感知生成对抗网络用于维持立体约束的遥感图像转换

TL;DR远程感知领域中,缺乏立体匹配以及准确地面真实数据制约了深度神经网络的训练;合成图像作为替代方案缓解了此问题,但面临域泛化问题;结合图像到图像翻译和立体匹配的能力提供了有效解决方案;通过将图像到图像翻译网络和立体匹配网络联合优化,我们提出一种基于边缘感知的生成对抗网络,同时有效解决了两个任务;通过 Sobel 算子获取输入图像的边缘图像,并将其作为编码器的额外输入,以在翻译过程中强制保持几何一致性;此外,通过计算翻译图像的变形损失来维持立体一致性;我们证明了我们的模型比现有模型产生了更好的定性和定量结果,并且其适用性扩展到包括自动驾驶在内的各种领域。