Oct, 2023

拖动视图：通过无表征图像生成泛化的新视图

PDF
TL;DR通过 DragView 框架，可以生成具有新视角的场景，无需 2D 先验模型或摄像机姿态估计，实现了与其他无姿态要求的场景表示网络相比优秀的视图合成质量，并能够生成具有灵活摄像机轨迹的逼真新视角。
dragviewnovel viewsview synthesisscene representationcamera trajectories
发现论文，激发创造
  • 姿态引导扩散模型的一致视图合成

    本文提出了一种姿态引导扩散模型来从单张图像中生成一致的、持久的新视角视频，并设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联。实验结果表明，该模型在合成和真实数据集上表现优异，胜过基于 Transformer 和 GAN 的现有方法。

    Mar, 2023

  • ViewFusion: 学习可组合的扩散模型用于新视角合成

    通过深度学习，本研究提出了一种新颖的视角合成方法 ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

    Feb, 2024

  • Free3D: 无需 3D 表示的一致新视角合成

    这篇研究提出了一种名为 Free3D 的简单方法，用于通过单张图像进行开放集合的新视角合成。使用编码目标相机姿势的新的像素级射线调节归一化（RCN）层，改进了目标相机姿势的建模。同时通过轻量级多视图注意力层和多视图噪声共享提高了多视图一致性。我们在 Objaverse 数据集上训练了 Free3D，并在几个新数据集中展示了其卓越的泛化性能。希望我们的简单而有效的方法能够作为一个坚实的基准，并有助于未来关于新视角合成更精确的研究。

    Dec, 2023

  • 使用 3D 感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • 利用分布驱动神经辐射场的动态场景可分离新视角合成

    通过神经辐射场来区分整个动态场景中的背景分布并从静态背景中抽取出对象， 从而提供高质量的视图合成和 3D 解决方案。

    Jan, 2023

  • InstaDrag: 从视频中出现的快速准确基于拖动的图像编辑

    InstaDrag 是一个快速方法，通过将拖拽编辑重新定义为条件生成任务，以及在训练时使用视频帧作为数据源，可以在大约 1 秒内实现高质量的拖拽式图像编辑。

    May, 2024

  • 从单张图像中无监督生成新视角

    本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

    Feb, 2021

  • iNVS：借用扩散修复算法实现新视角生成

    从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

    Oct, 2023

  • GoodDrag：面向扩散模型的拖拽编辑良好实践

    介绍了 GoodDrag，一种改善拖拽编辑稳定性和图像质量的新方法。通过引入 AlDD 框架进行扩散过程中的拖拽和去噪操作交替，有效提高结果的保真度。提出了信息保持的运动监督操作，以保持精确操作和减少伪影。除此之外，通过引入 Drag100 数据集和开发专用的质量评估指标，Dragging Accuracy Index 和 Gemini Score 来贡献拖拽编辑的基准测试。广泛的实验证明，所提出的 GoodDrag 在定性和定量上与最先进的方法相比具有优势。

    Apr, 2024

  • Zero123-6D：RGB 类别级别 6D 姿态估计的零样本新视角合成

    通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

    Mar, 2024