ICCVJul, 2019

LayoutVAE: 从标签集生成随机场景布局

PDF
TL;DRLayoutVAE 是一种基于变分自编码器的场景布局生成框架，它可以根据文本或标签生成场景布局，检测布局异常问题，并在 MNIST-Layouts 和 COCO 2017 Panoptic 数据集上取得了良好的效果。
scene generationscene layoutslayoutvaevariational autoencoderlayout detection
发现论文，激发创造
  • 从场景图和自注意力生成 3D 场景

    使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。

    Apr, 2024

  • 场景布局的端到端优化

    提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法，并使用可微分渲染模块优化生成的布局。实验表明，该模型可以更精确和多样地进行条件场景合成，并允许从各种输入形式生成样本化场景。

    Jul, 2020

  • 变分转换器网络用于布局生成

    采用自注意力机制，提出了变分转换网络方法，可用于生成各种类型的布局，并可应用于文档布局检测管道中。

    Apr, 2021

  • 自监督摄影图像布局表示学习

    研究通过定义基本布局元素，将图像布局映射到异质图结构，引入自我监督学习和自定义损失函数，建立在这个基础上发展了一个能够高效地压缩图像布局的自动编码网络架构，并介绍了一个全面评估布局表示学习方法的基准数据集，实验证明该方法在摄影图像布局表示学习领域具有卓越的性能。

    Mar, 2024

  • SetVAE: 面向集合结构数据的生成建模的层次组合学习

    本文提出了一种基于 Attentive 模块的分层变分自编码器 (SetVAE)，用于生成点云，实现了对多尺度数据的编码，并达到置换不变性

    Mar, 2021

  • 语义调色板：使用类别比例引导场景生成

    该研究提出使用基于类比的语义控制生成城市场景的方法，并证明该方法在各项指标和城市场景基准测试中优于现有基线。 此外，作者还证明了用于数据增强的实用性。

    Jun, 2021

  • 基于版面的图像生成

    Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

    Nov, 2018

  • SE-VGAE：用于可解释的建筑布局设计图生成的无监督分解表示学习

    我们介绍了一个无监督的分离表示学习框架 (SE-VGAE)，旨在生成以属性连接的多图形式的建筑布局，同时强调表示的分离性，通过优化数据集和实验，对探索基于图形数据的建筑设计表示空间进行了深入研究，该研究将无监督的分离表示学习应用于建筑布局图生成任务中。

    Jun, 2024

  • 几何对齐变分转换器用于基于图像条件的布局生成

    本文探讨了一种新的图像条件布局生成的范式，通过采用自我关注机制和交叉关注机制来建立布局元素间的关系并结合条件图像的视觉信息生成各种布局，其中几何对齐模块可以消除元素域和视觉域之间的差距，在大规模广告海报布局设计数据集上进行的实验结果表明，我们的模型可以自适应地生成非侵入式区域的布局，从而实现和谐的布局设计。

    Sep, 2022

  • 通过布局学习实现解耦的 3D 场景生成

    我们介绍了一种通过大型预训练的文本到图像模型实现对三维场景进行解缠的方法。我们的关键观点是，通过重新排列具有空间先验的三维场景的部分，可以发现物体的存在，并且这些重排后的场景仍然是原场景的有效配置。具体而言，我们的方法从头开始联合优化多个 NeRFs，每个 NeRF 代表一个物体，以及一组将这些物体合成为场景的布局。然后，我们鼓励这些合成的场景在图像生成器中符合分布。我们展示了尽管简单，我们的方法成功地生成了分解为个体物体的三维场景，从而在文本到三维内容创建中实现了新的功能。请参阅我们的项目页面，查看更多结果和交互式演示。

    Feb, 2024