超越图像边界:学习特征外推用于无边界图像组合
本研究提出了一种基于条件 GAN 的新方法,通过合成俯视图像,将两个视图之间的差距最小化,实现了对视觉实体的跨视图建模并进行特征融合,最终在 CVUSA 数据集上成功实现了景点检索任务。
Apr, 2019
本文提出了一种新颖的深度神经网络架构,其可直接从像素级数据对图像进行新视图综合,并通过端到端的训练实现。与传统的多阶段处理方法不同,该系统具有广泛适用性和高质量的结果,是深度学习应用于真实自然图像综合的首例研究。
Jun, 2015
本文提出使用深度学习模型、上下文相关机制和对抗训练方案等技术进行宽范围图像融合,达到在两个不同的输入照片之间生成中间区域的新图像内容,以及在保持融合时的空间和语义一致性的同时,提高生成全景图像的视觉质量。
Mar, 2021
介绍了一种用于单个广角立体图像对的新视角合成的方法,包括 3D 场景重构和外观变化的先验模型,提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器,通过大规模实际数据集的训练,证明了模型学习到了强大的多视角几何先验,大大缩短了渲染时间,并在两个实际数据集上得到了显著的优越性能。
Apr, 2023
本文提出了一种新的方法,可以从自由分布在场景周围的输入图像中合成新视角的图像,不依赖于输入视角的规则排列,可以为场景中的自由相机运动合成图像,并适用于具有任意几何布局的通用场景,该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架,然后基于透视图创建一个代理深度图,进而利用循环编解码网络处理从附近视角重新投影的特征,并合成新视角。该网络不需要针对特定场景进行优化,通过数据集训练后,可以在之前看不到的环境中工作,本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明,表现出色,大大优于之前和同时进行的工作。
Aug, 2020
本文提出了一个自监督学习的方法,通过深度引导的调整过程,利用变换自编码器的网络结构,在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角,并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估,证明了该方法的广泛适用性。
Jan, 2019
本文提出了基于几何约束的跨视图图像合成方法,该方法包含使用单应性矩阵将图像映射到另一个视图,利用生成式对抗网络对转换后的图像进行缺失区域修复,实现更为逼真的图像合成效果。
Aug, 2018