通过视角合成实现分层结构化三维场景推断
本文提出了一种使用真实图像来训练、无需 3D 场景真值信息,通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像,并通过细化网络解码来填补缺失区域的新型端到端模型,在测试时可以对潜在特征空间进行可解释的操作,可以生成高分辨率图像并推广到其他输入分辨率,将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。
Dec, 2019
本文介绍了一种新的语义视图综合问题,通过使用语义标签图作为输入生成合成场景的自由视角渲染,在现有图像 / 视图综合方法的基础上,提出了一个两步方法,第一步合成可见表面的颜色和深度,第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响,该方法在室内外场景中得到了良好的效果。
Aug, 2020
本文提出了一种利用场景 3D 几何信息进行新视角生成的方法,通过学习区域感知几何转换网络实现输入图像到目标视角的变换,并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。
Apr, 2018
该论文利用深度学习技术对单张图片进行多平面图像生成,应用于视图合成问题中,并将 scale-invariant 视图合成应用于监督训练,在在线视频上进行训练。该方法适用于多个数据集,可以生成合理的深度图,并且可以学习填充前景物体背后的内容。
Apr, 2020
该论文提出了一种基于多个半透明图层和场景适应几何的视图合成方法,可以从立体对中推断几何,颜色和透明度值,通过可微分的渲染器进行训练,并展示了其在渲染速度和渲染效果等方面优于传统方法和基于隐式几何表示的 IBRNet 系统。
Jan, 2022
本文提出了一种新颖的深度神经网络架构,其可直接从像素级数据对图像进行新视图综合,并通过端到端的训练实现。与传统的多阶段处理方法不同,该系统具有广泛适用性和高质量的结果,是深度学习应用于真实自然图像综合的首例研究。
Jun, 2015
本文研究了从稀疏源观测中合成新视角的问题,提出了一种简单而有效的方法,通过将观测编码到体积表示中进行摊销渲染,并通过自我监督信号实现了对 3D 几何的有效学习。
Jul, 2021
本文提出了一种新的方法,可以从自由分布在场景周围的输入图像中合成新视角的图像,不依赖于输入视角的规则排列,可以为场景中的自由相机运动合成图像,并适用于具有任意几何布局的通用场景,该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架,然后基于透视图创建一个代理深度图,进而利用循环编解码网络处理从附近视角重新投影的特征,并合成新视角。该网络不需要针对特定场景进行优化,通过数据集训练后,可以在之前看不到的环境中工作,本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明,表现出色,大大优于之前和同时进行的工作。
Aug, 2020
本文提出一种叫做 GVS 的方法,可基于输入的语义地图,综合出多个真实感的场景视角,还可进行风格操作和图像编辑操作,如通过简单处理输入的风格图像和语义映射来添加或删除对象等。
Aug, 2020