单图像新视角合成的深度自监督
量化监督式单视图深度的不确定性的贝叶斯深度神经网络,通过光照作为单视图自我监督信号,提出了一种仅需 RGB 图像和内窥镜的几何和光度校准的完全自我监督方法。
Jun, 2024
该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法,使用视图合成作为代理任务来弥补直接监督缺失的不足,并展示了其在两种不同场景下的定性和定量验证结果。
Jul, 2018
本文提出了一种新的方法,可以从动态场景的一组图像中合成任意视角和时间的图像,通过单视图深度(DSV)和多视图立体深度(DMV)的结合,重新估计视角和时间下的一致性和深度信息,从而精确的合成真实感极强的虚拟视图。
Apr, 2020
本文提出了一种基于自编码器的无监督深度卷积神经网络学习框架,通过训练不需要预训练或注释的神经网络,为单视图深度预测提供了一种新的方法。
Mar, 2016
从单目视频序列中学习单张图像深度估计模型是一个非常具有挑战性的问题。在本文中,我们提出了一种新颖的训练损失,使我们能够在训练过程中包含更多图像以进行监督。我们提出了一个简单而有效的模型来考虑帧与帧之间的像素运动。同时,我们还设计了一种新颖的网络架构来进行单张图像估计。当结合在一起时,我们的方法在自监督设置下,在 KITTI 数据集上产生了最先进的结果。
Oct, 2023
本文提出了一种利用场景 3D 几何信息进行新视角生成的方法,通过学习区域感知几何转换网络实现输入图像到目标视角的变换,并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。
Apr, 2018
本文提出了一种使用真实图像来训练、无需 3D 场景真值信息,通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像,并通过细化网络解码来填补缺失区域的新型端到端模型,在测试时可以对潜在特征空间进行可解释的操作,可以生成高分辨率图像并推广到其他输入分辨率,将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。
Dec, 2019
本文提出了一种端到端的新视角合成框架,包括构建目标视角下的体积以及设计源视角的可见性估计模块和软射线投影机制,最终在端到端的自监督训练方式下,相较于现有方法提高了新视角的合成质量。
Mar, 2021