Oct, 2021

ATISS 室内场景合成的自回归变压器

PDF
TL;DR本文提出了一种新颖的自回归变压器架构 ATISS，用于根据房间类型和地板平面自动生成多样而可信的合成室内环境，并通过 3D-FRONT 数据集的实验表明，该模型比现有方法更为逼真，且参数更少、实现和训练更简单，速度更快。
synthetic indoor environmentsroom layout synthesisautoregressive transformer architecturepermutation equivariancegenerative model
发现论文，激发创造
  • SceneFormer：基于 Transformer 模型的室内场景生成

    通过使用 transformers 的自我关注机制来生成室内场景，使得场景的生成速度更快、逼真程度更高，并且方法还具有更高的灵活性，可以根据不同条件进行调整。

    Dec, 2020

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • Forest2Seq: 恢复顺序优先权力，用于顺序室内场景合成

    提出了一种将室内场景合成问题作为有序顺序学习问题的框架，通过使用聚类算法和广度优先遍历得到有意义的顺序，利用变换器自动生成逼真的三维场景。在标准基准测试上的实验结果表明，Forest2Seq 相比其他优秀基线模型，在合成逼真场景方面具有显著优势，得到的 FID 和 KL 得分有大幅度提升。我们的额外实验和消融研究也证实，在三维场景生成中，引入顺序作为先验信息的重要性。

    Jul, 2024

  • 从单张图片合成一致的长期 3D 场景视频

    在这篇论文中，我们提出了一种新的方法来从单个场景图像和大摄像机动作轨迹中综合出一致的长视频，并使用自回归 Transformer 以及基于摄像机的局部性约束来预测多个帧之间关系和下一帧，从而实现了对多帧的序列建模，优于现有的方法，尤其是在室内 3D 场景的长期未来合成中表现出色。

    Mar, 2022

  • RoomDesigner: 编码锚点潜变量实现风格一致且形状兼容的室内场景生成

    室内场景生成旨在创建与空间合理布局相一致的形状兼容、风格一致的家具摆放。为解决现有方法主要集中于生成可信家具布局而未考虑个别家具细节的问题，我们提出了一个两阶段模型，通过将家具编码为锚定潜在表示法来将形状先验整合到室内场景生成中。通过整合提出的锚定潜在表示法，我们的生成模型能够产生形状兼容和风格一致的家具摆放，并以各种形状合成家具。此外，我们的方法促进了各种人机交互应用，如风格一致的场景补全、物体不匹配修正和可控的物体级编辑。在 3D-Front 数据集上的实验证明，与现有方法相比，即使没有形状检索，我们的方法也能生成更一致和兼容的室内场景。此外，广泛的消融研究验证了我们在室内场景生成模型中设计选择的有效性。

    Oct, 2023

  • ASSET：使用 Transformer 进行高分辨率自回归语义场景编辑

    使用基于注意力机制的 transformer 神经网络架构 ASSET 对高清晰度图像进行语义分割地图的自动合成修正，并证明其在应对高清晰度图像的长距离互动和上下文处理能力方面优越于传统神经网络和 transformer 方法。

    May, 2022

  • 从场景图和自注意力生成 3D 场景

    使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。

    Apr, 2024

  • 沉浸式室内场景装饰的条件式 360 度图像合成

    本文提出一种用于 360 度图像的条件场景装饰方法，通过开发 360 度感知的物体布局生成器和生成对抗网络，实现对输入场景的各种家具布局生成，并通过用户研究证实了生成结果中的逼真图像质量和家具布局提供的沉浸式体验。

    Jul, 2023

  • 重访非自回归 Transformer 用于高效图像合成

    通过重新评估非自回归变压器的训练和推理策略设计，本文提出了一种名为 AutoNAT 的方法，该方法在自动框架中直接解决最优策略，从而大幅提升了非自回归变压器的性能，并且能够与最新的扩散模型在显著降低推理成本的同时进行可比较的表现。

    Jun, 2024

  • 针对具有不完整信息的文本生成的对抗非自回归模型

    本文提出一种新型的 Non-autoregressive Transformer 模型，即 Adversarial Non-autoregressive Transformer，在 Incomplete Information Scenario 下，在 Position Aware Self-Modulation 和 Dependency Feed Forward Network 的支持下，实现了在性能与迭代次数之间的平衡，且具有较强的应用潜力。

    May, 2023