Jan, 2016

虚拟重新摄影：用于 3D 重建的新视角预测误差

PDF
TL;DR该文提出了一种基于新视角预测误差的统一评估方法，能够分析可以从输入图像中渲染新视角的任何方法的视觉质量，该方法不需要地面真实几何信息，并能够在获取和重建过程中评估未知场景的质量， 适用于评估各种使用情况。
image-based modeling systemsrenderingnovel view predictionvisual qualityevaluation
发现论文，激发创造
  • 通过重构对齐进行新型物体视角估计

    本文提出了一种新的物体观察视点估计方法，使用图像对齐替代传统的依赖于三维模型或大量特定类别数据的方法，并在多个数据集上进行实验验证。

    Jun, 2020

  • VET: 点云补全和高质量神经渲染的视觉误差层析

    利用神经渲染和点云代理几何体，通过可填补缺陷的深度图像纠正视图合成中的问题，提高渲染质量和时间稳定性。

    Nov, 2023

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • 强制执行虚拟法线的几何约束以进行深度预测

    本研究提出了一种基于高阶 3D 几何约束的深度预测模型，通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数，能够显著提高深度预测的准确性，从而实现直接从深度图中恢复场景的 3D 结构（如点云和表面法向），进而消除了训练新子模型的必要性，并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。

    Jul, 2019

  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • AUTO3D: 通过无监督学习的变分视角和全局 3D 表示进行新颖视图综合

    本论文主要探讨基于学习的单个或有限 2D 图像的新视角合成，提出了一个端到端可训练的条件变分框架，通过空间相关模块从外观描述图像中提取全局的 3D 表示形状、纹理和以观察者为中心的坐标系原点等，实现无需显式 3D 重建即可隐含 3D 理解。

    Jul, 2020

  • 使用 3D 卷积神经网络进行下一个最佳视角回归

    本文提出了一种基于卷积神经网络的数据驱动方法来解决 3D 物体重建中的下一个最佳视角问题，验证实验表明，该方法在预测下一个最佳视角、提高物体重建覆盖率和提高运算速度等方面，都有很高的性能表现。

    Jan, 2021

  • 基于光度学的网格优化技术，用于视频对齐的三维物体重建

    本论文研究了从 RGB 视频中重建三维物体网格的方法，结合多视角几何和数据驱动方法来优化物体网格以适应多视角光度一致性，并通过形状先验来约束网格变形。作者采用逐片图像对齐的形式，通过光度误差更新形状参数，无需深度或掩膜信息。此外，作者还展示了如何通过虚拟视点的光栅化来避免零光度梯度导致的退化问题，并展示了采用光度网格优化的方法从合成和真实视频中获得的三维物体网格重建结果，相比于传统的网格生成网络或表面重建方法，避免了繁琐的手动后处理。

    Mar, 2019

  • 基于点的神经渲染与每视图优化

    介绍了一种基于多视角渲染的新型的神经渲染方法，该方法可以进一步优化场景属性，包括深度和重投影特征，从而实现改善的新视图合成。

    Sep, 2021