Apr, 2023

通过筛选反演实现部分视野对象视图合成

PDF
TL;DR本文提出了 Filtering Inversion（FINV），采用 3D 生成模型和优化过程的学习框架，是从一个或少量的部分视图预测可渲染的 3D 物体表示，成功地解决了从部分观察中合成新的对象视图的挑战，实验表明 FINV 在多个真实世界数据集上实现了最先进的性能，并能够从部分稀疏视图中恢复对象形状和纹理，并且能够随着观察量的增加而逐步改进其表示。
filtering inversionrenderable 3d object representationgenerative modelsim-to-real problemobject shape and texture
发现论文，激发创造
  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • 从单张图像中无监督生成新视角

    本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

    Feb, 2021

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • iFusion：从稀疏视角倒置扩散进行无姿态重建

    iFusion 是一个新颖的 3D 物体重建框架，只需两个未知相机姿态的视图。通过使用预训练的新视图合成扩散模型进行相机姿态估计和新视图合成，iFusion 能够在 3D 物体重建中表现出良好的性能并与其他方法相融合。

    Dec, 2023

  • SynSin：从单张图像到端到端的视角合成

    本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

    Dec, 2019

  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • FSViewFusion：少样本情境下生成新颖物体的视角生成

    通过预训练的稳定扩散模型，基于个性化文本到图像模型 Dreambooth，我们的研究发现视图概念可以被学习和分离，并通过少量示例迁移到新对象，我们引入了一种名为 FSViewFusion 的学习策略，通过单个场景的一张图像样本来传递视图的知识，通过低秩适配器在少量样本上学习新对象，通过大量实验证明我们的方法能够在野外图像中生成可靠的视图样本。

    Mar, 2024

  • PolyOculus：多视角基于图像的新视图综合

    基于已知视图的创新视图综合的问题，我们提出了一种基于集合的生成模型，可以同时生成多个自洽的新视图，不仅限于生成单个图像，而且可以根据零个、一个或多个视图进行条件生成，可在大量视图生成中保持图像质量，并在像循环和双目轨迹等任务上显著优于其他方法。

    Feb, 2024

  • 多视角一致性插值去噪视图融合

    通过扩散模型进行新视图合成表现出了出色的潜力，然而这些常见方法中图像生成的独立过程导致在保持多视图一致性方面存在挑战。为了解决这个问题，我们引入了 ViewFusion，这是一种新颖的、无需训练的算法，可以无缝地集成到现有的预先训练好的扩散模型中。我们的方法采用自回归的方式，隐含地利用之前生成的视图作为下一个视图生成过程的上下文，确保在新视图生成过程中具有稳健的多视图一致性。通过通过插值去噪将已知视图信息融合到扩散过程中，我们的框架成功地将单视图条件模型扩展为能在多视图条件设置下工作，无需额外的微调。广泛的实验结果表明 ViewFusion 在生成一致且详细的新视图方面的有效性。

    Feb, 2024

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018