场景工艺:布局指导的3D场景生成
通过使用transformers的自我关注机制来生成室内场景,使得场景的生成速度更快、逼真程度更高,并且方法还具有更高的灵活性,可以根据不同条件进行调整。
Dec, 2020
本文提出了一种基于场景图的全生成模型 CommonScenes,旨在通过抽象场景上下文,生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景-对象及局部对象-对象关系的捕捉,同时保留形态多样性,从而在生成一致性、品质和多样性方面具有明显优势。
May, 2023
本文提出一种用于360度图像的条件场景装饰方法,通过开发360度感知的物体布局生成器和生成对抗网络,实现对输入场景的各种家具布局生成,并通过用户研究证实了生成结果中的逼真图像质量和家具布局提供的沉浸式体验。
Jul, 2023
Ctrl-Room通过使用文本提示生成具有设计风格布局和高保真纹理的令人信服的3D室内空间,并提供灵活的交互式编辑操作。通过分离布局和外观建模,并使用文本条件扩散模型和控制网络,我们能够轻松地编辑生成的房间模型,而不需要昂贵的编辑特定培训。在Structured3D数据集上的实验证明,我们的方法在从自然语言提示生成更合理、视觉一致和可编辑的3D房间方面优于现有方法。
Oct, 2023
DreamCraft3D是一个层次化的3D内容生成方法,通过使用2D参考图像来引导几何雕刻和纹理增强的阶段,解决了现有方法遇到的一致性问题,使用得分蒸馏采样和视角相关的扩散模型来生成一致的几何体,并通过训练个性化的扩散模型来提高纹理质量,最终生成具有逼真渲染效果的连贯的3D对象。
Oct, 2023
通过以用户定义的三维语义代理房间为中心,结合二维模型生成三维一致的纹理和几何体,实现高质量房间网格的生成,从而使用户能够轻松设计三维房间,无需专业知识。
Dec, 2023
SceneWiz3D通过引入混合的3D表示(对象显式,场景隐式)从文本合成高保真度3D场景,并通过粒子群优化技术配置场景布局和自动放置对象,从而实现了详细且视角一致的3D场景生成,并通过RGBD全景扩散模型来提高几何质量。
Dec, 2023
我们介绍了一种通过大型预训练的文本到图像模型实现对三维场景进行解缠的方法。我们的关键观点是,通过重新排列具有空间先验的三维场景的部分,可以发现物体的存在,并且这些重排后的场景仍然是原场景的有效配置。具体而言,我们的方法从头开始联合优化多个NeRFs,每个NeRF代表一个物体,以及一组将这些物体合成为场景的布局。然后,我们鼓励这些合成的场景在图像生成器中符合分布。我们展示了尽管简单,我们的方法成功地生成了分解为个体物体的三维场景,从而在文本到三维内容创建中实现了新的功能。请参阅我们的项目页面,查看更多结果和交互式演示。
Feb, 2024
通过使用预训练大型语言模型合成程序来描述物体和空间关系,再根据渐进式优化算法对物体的位置和方向进行生成,并从数据库中获取3D模型以产生物体几何形状,该系统在室内场景生成任务中胜过基于3D数据训练的生成模型及最近的基于大型语言模型的布局生成方法。
Feb, 2024
本研究解决了现有文本到图像扩散模型在理解物体布局和关系方面的不足,提出了一种互动3D布局控制的新方法。通过引入动态自注意力模块和一致的3D物体转换策略,我们的实验表明,该方法在生成复杂场景方面显著提高了物体生成成功率,是室内设计和复杂场景生成的有力工具。
Aug, 2024