ICCVJul, 2023
LoLep: 基于本地学习平面和自注意力遮挡推断的单视图合成
LoLep: Single-View View Synthesis with Locally-Learned Planes and Self-Attention Occlusion Inference
Cong Wang, Yu-Ping Wang, Dinesh Manocha
TL;DR我们提出了一种新的方法 LoLep，通过从单个 RGB 图像回归学习本地平面，准确地表示场景，从而生成更好的新视图。该方法将深度信息从中剔除，且在无深度信息的情况下回归合适的平面位置是一个具有挑战性的问题。为了解决这个问题，我们将视差空间预划分为不同的区间，并设计了一个视差采样器用于在每个区间中回归多个平面的局部偏移量。然而，仅使用这样的采样器会导致网络无法收敛；因此我们进一步提出了两种优化策略，将其与不同数据集的视差分布相结合，并提出了一种考虑遮挡的再投影损失作为一种简单有效的几何监督技术。我们还引入了一种自注意机制以改善遮挡推断，并提出了一个块采样自注意力模块（BS-SA）来解决将自注意力应用于大型特征图的问题。我们证明了我们的方法的有效性，并在不同数据集上生成了最先进的结果。与 MINE 相比，我们的方法在 LPIPS 方面有 4.8%-9.0% 的减少和 83.1%-84.7% 的 RV 减少。我们还评估了在现实世界图像上的性能，并展示了其优势。