May, 2016

外观流视角合成

PDF
TL;DR本论文研究的问题是如何从给定的输入图像中合成出相同物体或场景在任意视角下的新图像。解决方案是通过卷积神经网络学习出现象的外在特征，从而实现像素重构，同时可以扩展到多个输入视图的合成。实验结果表明，该方法在合成出高品质图像方面的性能比之前基于 CNN 的技术更为优异。
novel view synthesislearning taskconvolutional neural networkappearance flowsmultiple input views
发现论文，激发创造
  • 自由视角合成

    本文提出了一种新的方法，可以从自由分布在场景周围的输入图像中合成新视角的图像，不依赖于输入视角的规则排列，可以为场景中的自由相机运动合成图像，并适用于具有任意几何布局的通用场景，该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架，然后基于透视图创建一个代理深度图，进而利用循环编解码网络处理从附近视角重新投影的特征，并合成新视角。该网络不需要针对特定场景进行优化，通过数据集训练后，可以在之前看不到的环境中工作，本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明，表现出色，大大优于之前和同时进行的工作。

    Aug, 2020

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • DeepStereo：从世界影像中学习预测新视角

    本文提出了一种新颖的深度神经网络架构，其可直接从像素级数据对图像进行新视图综合，并通过端到端的训练实现。与传统的多阶段处理方法不同，该系统具有广泛适用性和高质量的结果，是深度学习应用于真实自然图像综合的首例研究。

    Jun, 2015

  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 使用多平面图像进行单视图合成

    该论文利用深度学习技术对单张图片进行多平面图像生成，应用于视图合成问题中，并将 scale-invariant 视图合成应用于监督训练，在在线视频上进行训练。该方法适用于多个数据集，可以生成合理的深度图，并且可以学习填充前景物体背后的内容。

    Apr, 2020

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • 生成视角合成：从单视角语义到新视角图像

    本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

    Aug, 2020

  • 使用使用渲染的 3D 模型视图训练的 CNN 进行图像视角估计

    本研究提出了一种基于渲染图像合成和 CNN 的三维模型视点估计框架，通过构建可扩展且抗过拟合的图像合成流水线和针对视点估计任务的新型 CNN，实现了对 PASCAL 3D + 基准测试的最先进方法的显着优化

    May, 2015

  • 基于学习的光场相机视角合成

    本文提出了一种新的基于机器学习的方法用于从稀疏的视角图像中合成新的视角图像，该方法使用了两个 CNN 来分别对视差和颜色进行估计，并通过最小化合成图像与标准图像之间的误差来同时训练两个网络。实验结果表明该方法能够合成出高质量的图像并优于现有的技术，该方法可以潜在地降低消费者光场相机所需的角度分辨率，从而提高空间分辨率。

    Sep, 2016