场景布局的端到端优化
从场景图生成逼真合理的三维场景,利用大型语言模型显式汇总全局图特征和局部关系特征,通过统一的图卷积网络从更新的场景图中提取图特征,并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试,我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。
Mar, 2024
这篇研究论文提出了直接从场景图形中生成形状的第一种方法,并利用图卷积网络(Graph Convolutional Networks)对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练,从而支持场景生成和修改。
Aug, 2021
该研究提出使用基于类比的语义控制生成城市场景的方法,并证明该方法在各项指标和城市场景基准测试中优于现有基线。 此外,作者还证明了用于数据增强的实用性。
Jun, 2021
采用基于学习的方法生成大规模的合成三维场景和任意数量的真实感二维图像,用于训练、基准测试和诊断学习基础的计算机视觉和机器人算法。
Apr, 2017
LayoutVAE 是一种基于变分自编码器的场景布局生成框架,它可以根据文本或标签生成场景布局,检测布局异常问题,并在 MNIST-Layouts 和 COCO 2017 Panoptic 数据集上取得了良好的效果。
Jul, 2019
本文提出了一种基于语义瓶颈的 GAN 模型,通过使用像素级分割标签来生成高保真的场景布局,并用其完成复杂场景的生成合成。结果表明,这种方法在无监督图像合成方面优于现有的最先进的生成模型,并且可以作为额外的训练数据以大幅提高分割至图像综合网络的性能。
Nov, 2019
提出了两种改进场景结构表示法的方法,通过启发式关系和极端点表示法,显著提高相关分数测量方法的性能,并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块,这是实现逼真图像生成的重要一步。
Apr, 2019
本文提出了一种基于场景图的全生成模型 CommonScenes,旨在通过抽象场景上下文,生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉,同时保留形态多样性,从而在生成一致性、品质和多样性方面具有明显优势。
May, 2023
本文提出了一种新的生成模型用于布局生成,其分为三个步骤,通过最新的 transformer architecture 来生成布局元素和计算布局元素之间的约束关系,最后采用有约束的优化方法实现布局优化,并与现有技术进行了对比,证明了我们的方法不需要用户输入、产生更高质量的布局,以及能实现许多新颖的有条件布局生成能力。
Nov, 2020