ICCVNov, 2018

CompoNet: 通过部分合成和组合学习生成未见过的物体

PDF
TL;DR使用基于部件先验的生成神经网络 CompoNet，以产生比基线模型更多样的 2D 或 3D 形状，并且能够从训练数据之外的目标分布中生成 “未见过” 但仍合理的数据。
data-driven generative modelingdeep neural networkspart-based priorplausible shapesunseen data
发现论文，激发创造
  • 多元部分合成用于 3D 形状创建

    采用神经网络合成三维形状的方法中引入了基于部件表示的方法，在过去几年中已经出现。然而，当前方法不容易根据用户的偏好重新生成单个形状部件。本文研究了允许用户生成多个多样化部件建议的技术，特别是实验了先前的形状合成工作中未考虑的多模态深度生成模型。通过在基于部件表示的合成方法中评估这些技术，我们提供了一种比较研究。我们的贡献是定性和定量评估表明，哪种新的多模态部件生成技术表现最佳，并且基于表现最佳技术的合成方法在重构形状时可以更好地控制所生成的三维形状的部件，同时保持高形状保真度。

    Jan, 2024

  • 可组合通用的三维结构预测

    本文在单目图像 3D 形状重建领域引入了组合通用性的概念，并提出了一个新的框架来 better generalize 到那些有着非常不同的形状几何分布的看不见的目标类别。实验证明，我们的方法在 PartNet 中达到了比最先进的方法更高的性能，验证了我们的问题分解和网络设计的有效性。

    Dec, 2020

  • 组合式生成建模：一个模型无法满足所有需求

    通过组合较小的生成模型构建大型生成系统，在数据分布中发现并学习更加节约数据的分布，实现对训练中未见的数据分布的泛化，并能够针对完全未见的任务编程和构建新的生成模型。此外，通过数据，我们还能够发现许多情况下的分离组成部分。

    Feb, 2024

  • 面向结构感知形状合成的零件生成与组装学习

    通过使用部件感知深度生成网络 (PAGENet) 建模三维形状的变化，利用每个部件的 VAE-GANs 生成具有语义感知的部件，并使用部件组装模块将它们组装在一起，从而减少了建模三维形状变化的难度。该模型在语义形状分割和基于部件的形状编辑等应用中取得了可信度高、多样性和细节丰富的三维形状的生成效果。

    Jun, 2019

  • NCHO：人和物体的神经三维构图无监督学习

    本文提出一种新的生成式模型，利用真实世界的 3D 扫描完成人体和物品（背包、外套、围巾等）的组合式生成模型的学习，并充分考虑两者之间的交互作用和相互形状变化，解决了先前方法中的限制性表达能力和可控性问题。我们的实验表明该模型能够将不同的物品自然地组合成各种动作和姿势下的人物，且无需人工标注。

    May, 2023

  • 使用复合生成对抗网络逐部生成图像

    本文提出了一种复合式生成对抗网络模型，通过多个生成器生成图片的不同部分，再进行 alpha 融合，实现生成更先进的高质量自然图像的初步探索。

    Jul, 2016

  • 迭代生成过程的组合塑造

    我们提出了一种名为 Compositional Sculpting 的方法，用于定义迭代生成过程的组合，通过分类器指导实现了采样，展示了在 GFlowNets 和扩散模型中实现组成塑造的方法，并提供了在图像和分子生成任务上的实证结果。

    Sep, 2023

  • 基于组合先验的少样本单视图三维物体重建

    本文提出了三种针对三维重建少样本的方法，并将类先验有效地整合到模型中，以便考虑类内变异性和强制实施隐式组合结构，从而在少样本场景中显著优于现有基线模型，实验在 ShapeNet 数据集上。

    Apr, 2020

  • 复合能力呈现出乘法效应：在合成任务上探索扩散模型

    通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

    Oct, 2023

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020