RoomTex: 室内场景的组合纹理生成与修复
提出了一种新颖的室内场景纹理生成框架,通过联想和模仿技术,以及采用粗到精的全景纹理生成方法和双重纹理对齐,实现了以文本为驱动的纹理生成,具有迷人的细节和真实的空间一致性。
Oct, 2023
SceneTex 是一种使用基于深度到图像扩散先验的方法,在室内场景中有效地生成高质量且样式一致的纹理。它通过在 RGB 空间中将纹理合成任务形式化为一个优化问题,正确反映了样式和几何一致性。SceneTex 通过多分辨率纹理场隐式编码网格外观,并通过基于分数蒸馏的目标函数在各自的 RGB 渲染中优化目标纹理。为了进一步确保视图之间的样式一致性,我们引入了交叉注意力解码器来通过交叉关注每个实例中的预采样参考位置来预测 RGB 值。SceneTex 在 3D-FRONT 场景中实现了各种准确的纹理合成,相比之前的纹理生成方法在视觉质量和快速保真度上有显着改进。
Nov, 2023
本文提出了基于自然语言的房间风格合成算法 RoomDreamer,通过 Geometry Guided Diffusion 和 Mesh Optimization 处理实现 3D 室内场景生成,大幅提升了几何和纹理的一致性和图像质量。
May, 2023
Ctrl-Room 通过使用文本提示生成具有设计风格布局和高保真纹理的令人信服的 3D 室内空间,并提供灵活的交互式编辑操作。通过分离布局和外观建模,并使用文本条件扩散模型和控制网络,我们能够轻松地编辑生成的房间模型,而不需要昂贵的编辑特定培训。在 Structured3D 数据集上的实验证明,我们的方法在从自然语言提示生成更合理、视觉一致和可编辑的 3D 房间方面优于现有方法。
Oct, 2023
通过引用图像和文本描述,我们提出了一种名为 Text2Scene 的方法,可以自动创建由多个物体组成的虚拟场景的逼真纹理,这种方法在房间的标记三维几何体上增加了详细纹理,使生成的颜色尊重经常由类似材料组成的分层结构或语义部分。
Aug, 2023
本文介绍了一种用于生成分段平面代理的自动纹理映射框架 TwinTex,通过选择一组照片并提取线特征,利用优化算法将纹理与几何对齐,并使用扩散模型来修复缺失区域,实现了高保真质量的纹理贴图。
Sep, 2023
GenesisTex 是一种从文本描述中合成 3D 几何纹理的新方法,通过纹理空间采样来适应预训练图像扩散模型,通过全局一致性和局部一致性实现多个视点之间的纹理生成,并通过基于参考的修复和图像转换进一步优化纹理。实验证明,我们的方法在数量和质量上优于基准方法。
Mar, 2024
InteX 是一种用于交互式文本到纹理合成的新框架,通过用户友好的界面和统一的深度感知修复模型,解决了现有方法中存在的 3D 不一致性和可控性有限的问题,证明了其在高质量 3D 内容创作方面的实用性和有效性。
Mar, 2024
图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近,基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而,生成的结果往往会丢失前景细节并出现明显的伪影。在本文中,我们提出了一种名为 DreamCom 的尴尬简单方法,灵感来自 DreamBooth。具体来说,给定一个主题的几个参考图像,我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联,并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集 MureCom。
Sep, 2023