Oct, 2023

图像综合的观察条件集成

PDF
TL;DR本文介绍了一种整合视点信息以增强图像处理任务控制的开创性框架，通过对现有对象编辑方法的调查，提炼出一种图像编辑方法应满足的三个关键标准：一致性、可控性和协调性。与以往方法相比，我们的方法在满足所有三个要求方面处于领先地位，通过全面的实验，在多个维度上提供了我们框架卓越表现的有力证据，为推动图像合成技术的发展和强化精确对象修改提供了有希望的途径，同时保持整个构图的视觉一致性。
发现论文，激发创造
  • 外观流视角合成

    本论文研究的问题是如何从给定的输入图像中合成出相同物体或场景在任意视角下的新图像。解决方案是通过卷积神经网络学习出现象的外在特征，从而实现像素重构，同时可以扩展到多个输入视图的合成。实验结果表明，该方法在合成出高品质图像方面的性能比之前基于 CNN 的技术更为优异。

    May, 2016

  • 语义视图合成

    本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

    Aug, 2020

  • 基于几何引导的条件生成对抗网络的跨视角图像合成

    本文提出了基于几何约束的跨视图图像合成方法，该方法包含使用单应性矩阵将图像映射到另一个视图，利用生成式对抗网络对转换后的图像进行缺失区域修复，实现更为逼真的图像合成效果。

    Aug, 2018

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • 生成视角合成：从单视角语义到新视角图像

    本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

    Aug, 2020

  • 具有扩散模型的长期光度一致的新视角综合

    本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

    Apr, 2023

  • HarmonyView：在一张图像至三维中实现一致性和多样性的协调

    该论文介绍了 HarmonyView 这一简单而有效的扩散采样技术，能够同时解决一张图片生成三维内容中的一致性和多样性的问题，并提出了基于 CLIP 图像和文本编码器的新评估指标，能够全面评估生成视图的多样性。通过实验证明，HarmonyView 在一致性和多样性方面取得了和人类评估者判断相近的和谐平衡结果。

    Dec, 2023

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • 深度学习下可控图像合成的调查

    通过深度学习技术与生成模型的应用，研究了 3D 可控图像合成问题，包括视角 / 姿势可控图像合成、结构 / 形状可控图像合成以及 3D 重新照明等方面。

    Jul, 2023

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023