CVPRJan, 2022

多层图像的立体放大

PDF
TL;DR该论文提出了一种基于多个半透明图层和场景适应几何的视图合成方法，可以从立体对中推断几何，颜色和透明度值，通过可微分的渲染器进行训练，并展示了其在渲染速度和渲染效果等方面优于传统方法和基于隐式几何表示的 IBRNet 系统。
view synthesissemi-transparent layersgeometrystereo pairsdifferentiable renderer
发现论文，激发创造
  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 立体放大：使用多平面图像学习视图合成

    本文提出了一种利用在线视频数据来学习视角外推的新方法，通过将输入的立体图像对转化为 “多层图像”，再利用深度学习网络来生成视角外推的图像，实现了将狭窄基线的立体图像进行放大的功能。

    May, 2018

  • 在野外应用学习的自适应多面板图像进行单视图合成

    本文提出一种基于多平面图像（MPI）表示的新方法来合成野外照片的新视角，结合深度估计和颜色填充技术，通过多平面图像表示解决具有复杂 3D 几何的场景，使用大规模立体训练数据并经过实验验证达到最新成果。

    May, 2022

  • 语义视图合成

    本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

    Aug, 2020

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • IBRNet: 学习多视角基于图像渲染

    通过绘制多种源视图来渲染高分辨率成像，并利用神经网路的视角插值，在新颖场景中综合新视角。

    Feb, 2021

  • 自校正伪立体视图合成的单视角生成

    通过将单视图合成问题扩展到多视图设置并利用可靠的和显式的立体先验来生成伪立体视角解决了学习问题中的模糊性，将具有挑战性的新颖视图合成过程分解为两个简单的问题：立体合成和三维重建。

    Apr, 2023

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • DeepStereo：从世界影像中学习预测新视角

    本文提出了一种新颖的深度神经网络架构，其可直接从像素级数据对图像进行新视图综合，并通过端到端的训练实现。与传统的多阶段处理方法不同，该系统具有广泛适用性和高质量的结果，是深度学习应用于真实自然图像综合的首例研究。

    Jun, 2015