Aug, 2023

VIDES: 自然语言和视觉指导下的虚拟室内设计

PDF
TL;DR通过 Virtual Interior Design (VIDES) 系统，利用生成人工智能的尖端技术，我们可以根据用户的文字描述和视觉指导，快速生成和编辑室内场景概念，大大提高生成场景的准确性和一致性，并减少室内设计的技术门槛。
发现论文，激发创造
  • I-Design：个性化 LLM 室内设计师

    通过自然语言交流生成和可视化设计目标的个性化室内设计师 I-Design，以及利用视觉 - 语言模型和设计流程结合的新评估协议，在提供高质量三维设计解决方案和与用户输入相匹配的抽象概念方面优于现有方法。

    Apr, 2024

  • iDesigner: 高分辨率复杂提示下的文本到图像扩散模型的室内设计

    我们在设计领域收集和优化文本 - 图像数据，并在开源 CLIP 模型的基础上进行中英文训练。我们还提出了一种利用课程学习和基于 CLIP 反馈的强化学习的精细调整策略，以提高我们方法的提示追随能力，从而改善图像生成的质量。根据收集的数据集进行的实验结果表明所提出的方法的有效性，其取得了令人印象深刻的结果，并且胜过了强基准模型。

    Dec, 2023

  • Intelligent Home 3D: 仅使用语言描述自动生成 3D 住宅设计

    本文提出了一种基于自然语言输入的房屋设计生成模型，通过生成结构图和内部纹理来实现 3D 房屋模型设计。

    Mar, 2020

  • 通过问问题学习检索视频

    提出了一种具备多轮对话交互能力的视频检索框架，该框架包括 AI agent、多模态问答生成器及信息指导监督器，实验表明其效果显著优于传统非交互方式的视频检索系统。

    May, 2022

  • 激发视觉创造力：图像编辑建议的视觉语言助手

    该研究论文介绍了图像编辑推荐任务，通过 Creativity-Vision Language Assistant 的训练和编辑指令数据集的提供，实现了从输入图像和简单提示生成多样创意编辑指令的目标。通过引入新颖的 ' 用于本地化的标记 ' 机制，我们的模型支持全局和局部编辑操作，并证明了其在提供具有魅力的创意元素且与输入图像和用户初始提示高度相关的指令方面的有效性。

    May, 2024

  • 揭示空间：从室内空间图像中获取具有建筑意义的语义描述

    该研究论文旨在通过提出的模型从二维场景中提取具有建筑意义的语义描述，通过训练合成生成的图像以及相应的高级建筑结构，使用像素级比较评估，在真实环境中对其性能进行测试和评估。

    Dec, 2023

  • ViCE！在图像生成评估中模仿人类的认知行为

    通过模拟人类认知过程，我们提出了一种新的自动化的视觉概念评估方法（ViCE），用于评估生成 / 编辑的图像与相应提示 / 说明之间的一致性，并为图像评分。虽然这种模拟人类在图像评估过程中的新假设正处于初步评估阶段，但结果令人鼓舞，并为一种新形式的自动评估打开了大门，这将在图像生成或图像目标编辑任务变得越来越复杂时产生重要影响。

    Jul, 2023

  • 带有个性化偏好的室内场景结构规划

    本文提出了一种支持专业室内设计师制作产业室内装饰解决方案并满足业主个性化偏好的辅助模型，其由抽象图提取、条件图生成和条件场景实例化组成，同时提供一个包含来自专业设计师的 11000 个实例设计的室内布局数据集，实验结果表明该模型相对于最先进的方法的效果。

    Aug, 2020

  • 室内三维场景的简单有效合成

    研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

    Apr, 2022

  • 基于世界一致性的视频到视频合成

    提出了一种新颖的 vid2vid 框架，它使用所渲染的所有过去帧来生成当前帧，并通过引入物理基础的 guidance image 来提高 3D 世界的一致性，并使用新颖的神经网络架构利用存储在 guidance image 中的信息。

    Jul, 2020