CVPRMar, 2017

深度视角变换

PDF
TL;DR本文提出了一种全新的卷积神经网络结构 ——Deep View Morphing，用于视图合成问题。该方法通过矫正网络和编解码网络等步骤，生成密集的对应关系和混合遮罩，有效解决了传统 CNN 方法中存在的纹理细节、形状失真和高计算复杂度等问题，实验结果表明该方法优于当前基于 CNN 的视图合成方法。
convolutional neural networksview synthesisdeep view morphingdense correspondencesblending masks
发现论文，激发创造
  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • DeepStereo：从世界影像中学习预测新视角

    本文提出了一种新颖的深度神经网络架构，其可直接从像素级数据对图像进行新视图综合，并通过端到端的训练实现。与传统的多阶段处理方法不同，该系统具有广泛适用性和高质量的结果，是深度学习应用于真实自然图像综合的首例研究。

    Jun, 2015

  • MVF-Net: 多视角 3D 人脸可塑模型回归

    本文提出一种基于卷积神经网络和多视图图像的 3D 人脸重建方法，使用自监督的视角对齐损失来减少视图之间对齐误差，并使用光流法预测 3D 形状，实现更好的 3D 重建结果。

    Apr, 2019

  • 基于单目神经网络的连续视角控制图像渲染

    本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

    Jan, 2019

  • MVDepthNet: 实时多视角深度估计神经网络

    本文提出 MVDepthNet，在多视图深度估计中编码多视图观察信息，并结合参考图像使用编码器 - 解码器网络生成深度图，并在单目密集映射系统中应用，实现了高效准确的深度图生成。

    Jul, 2018

  • 外观流视角合成

    本论文研究的问题是如何从给定的输入图像中合成出相同物体或场景在任意视角下的新图像。解决方案是通过卷积神经网络学习出现象的外在特征，从而实现像素重构，同时可以扩展到多个输入视图的合成。实验结果表明，该方法在合成出高品质图像方面的性能比之前基于 CNN 的技术更为优异。

    May, 2016

  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • 高质量的基于仿射卷积网络的 3D 人脸重建

    通过引入仿射卷积网络，本文提出了一种新的网络架构来解决三维人脸重建中输入图像和输出图像之间的空间不对应的问题，并生成 512×512 像素的高质量 UV 贴图。

    Oct, 2023

  • 自由视角合成

    本文提出了一种新的方法，可以从自由分布在场景周围的输入图像中合成新视角的图像，不依赖于输入视角的规则排列，可以为场景中的自由相机运动合成图像，并适用于具有任意几何布局的通用场景，该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架，然后基于透视图创建一个代理深度图，进而利用循环编解码网络处理从附近视角重新投影的特征，并合成新视角。该网络不需要针对特定场景进行优化，通过数据集训练后，可以在之前看不到的环境中工作，本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明，表现出色，大大优于之前和同时进行的工作。

    Aug, 2020

  • 神经网络的模块化变形

    本文研究了网络形态学习的问题，提出了基于图形变换的两种原子型形态学习方法，并基于 ResNet 提出了实现方案。

    Jan, 2017