CVPRApr, 2023

基于补丁的 3D 自然场景从单个示例生成

PDF
TL;DR提出一种基于 3D Patch 的生成模型，用于生成高质量通用自然场景，解决了训练数据量小、场景特征变化等问题。
3d generative modelpatch-based image modelsscene representationgenerative patch nearest-neighbor modulenatural scenes
发现论文，激发创造
  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024

  • 放弃 GAN：支持最近邻补丁作为单图像生成模型

    本文提出了一种不需要训练的基于补丁的优化框架，比单个图像 GAN 方法快 1000~10000 倍，并产生比任何以前的方法（无论是基于 GAN 还是基于经典补丁的方法）更优越的结果和更真实的整体结构，应用广泛，如图像编辑和重塑大小。

    Mar, 2021

  • 通用补丁基础神经渲染

    该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。

    Jul, 2022

  • PatchNets：基于局部块的通用深度隐式 3D 形状表征

    本文提出了一种基于 patch 的中层面向对象表示方法，将不同类别对象的相似性建模在 patch 级别，使模型更具有通用性，并且提出了一种新的在规范空间中学习 patch 表示的方法，该表示方法对物体的类别不敏感，在训练时只需要较少的数据集，在形状插值和局部点云完成等应用上也有良好的效果。

    Aug, 2020

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 贴片式点云生成：一种分而治之的方法

    基于分治法的点云生成框架，通过基于可学习先验的补丁生成器和点块转换器，实现了高保真度点云生成，并在 ShapeNet 数据集上优于最新的高保真度点云生成方法。

    Jul, 2023

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • 通过可区分裂片检索实现图像合成的 RetrieveGAN

    该论文提出一种利用场景描述和参考补丁合成图像的方法，并使用可微分检索模块实现端到端的培训，以学习更好的特征嵌入用于检索，并通过附加目标函数鼓励选择相互兼容的补丁。经过广泛的定量和定性实验表明，该方法可以生成逼真多样的图像，检索的补丁合理且相互兼容。

    Jul, 2020

  • 室内三维场景的简单有效合成

    研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

    Apr, 2022

  • OpenPatch: 用于外部分布检测的三维拼接

    这篇论文介绍了 OpenPatch 方法，它使用预训练模型从中间特征中提取一组描述每个已知类别的补丁表示，在新样本中评估其是否主要由单个已知类别的补丁构成或通过多个类别的贡献来组成，并通过广泛的实验评估展示了其在语义新颖性检测任务中的出色性能。

    Oct, 2023