Aug, 2022

DALLE-URBAN：用大型文本到图像转换器捕捉城市设计专业知识

PDF
TL;DR该论文着眼于探究文本到图像转换技术在建筑环境领域的实际运用，结果表明这些人工智能技术可以通过系统化的语法基于文本描述生成现实世界图像，具有广泛的应用前景。
text-to-image transformerbuilt environmentsystematic grammarimage generationartificial intelligence
发现论文，激发创造
  • 利用文本生成图像技术进行建筑设计构思

    研究探讨文本到图像生成技术在建筑设计早期阶段支持创意的潜力以及其在设计师教育中的应用，发现生成工具支持探索想法和丰富设计过程，但也存在挑战，需要软件开发者和教育者支持创意和设计师的想象力。

    Apr, 2023

  • 基于图像 Transformer 的图像字幕生成

    本文介绍了一种基于 transformer 架构、包括编码和解码变换器的模型 —— 图片 transformer，它通过适应图片的结构提高了自动图像描述的性能，并在 MSCOCO 离线和在线测试基准中取得了新的最佳成绩。

    Apr, 2020

  • 废物利用：利用文本到图像模型指导物理工艺品设计

    我们进行了一项试验，调查文字到图像生成模型是否可以用于创作过程中创作物品的出现前的任务，参与者大多数反馈生成的图像对他们的雕塑制作起到了启发作用，研究还发现生成图像的策略与创作过程的阶段有关。

    Feb, 2023

  • DALL-Eval: 探测文本到图像生成模型的推理能力与社会偏见

    对多模态变压器语言模型和扩散模型等文本到图像模型进行了视觉推理能力和社会偏见的调查，提出 PaintSkills 工具集进行测量评估，发现最新的文本到图像模型在目标计数和空间关系理解技能上的性能与上限准确性之间存在较大差距，并且其在性别和肤色方面的偏见对其表现产生了影响。

    Feb, 2022

  • 基于图像的建筑物自动现实世界可持续性数据生成

    从一组图像中，一个具有适当的提示工程和领域知识的大型语言模型可以成功地估计与可持续发展计算相关的一系列建筑特征，并生成针对业主如何改进其物业的定制建议。

    May, 2024

  • 多任务基准测试中文本至图像模型的人类评估

    我们提供了一个新的多任务基准，用于评估文本到图像模型，在计算机视觉和机器学习领域中进行了广泛的研究，我们进行了人类评估，比较了最常见的开源（稳定扩散）和商业（DALL-E 2）模型，在三个难度级别上的三个任务上，跨十个提示，提供了 3,600 个评分。

    Nov, 2022

  • iDesigner: 高分辨率复杂提示下的文本到图像扩散模型的室内设计

    我们在设计领域收集和优化文本 - 图像数据，并在开源 CLIP 模型的基础上进行中英文训练。我们还提出了一种利用课程学习和基于 CLIP 反馈的强化学习的精细调整策略，以提高我们方法的提示追随能力，从而改善图像生成的质量。根据收集的数据集进行的实验结果表明所提出的方法的有效性，其取得了令人印象深刻的结果，并且胜过了强基准模型。

    Dec, 2023

  • 在 ImageCLEF 医学描述 2024 中的 UIT-DarkCow 团队：使用 Transformer 模型进行放射影像的诊断性描述提高效率

    本篇研究旨在利用自动化文本生成技术从放射学图像中提取诊断说明，以辅助医疗专业人员减少临床错误并提高工作效率，目的是提供既能够增强报告质量和效率的工具，也能够对临床实践和生物医学领域的深度学习研究产生重大影响的方法。

    May, 2024

  • DEsignBench：DALL-E 3 探索和基准测试想象视觉设计

    我们介绍了 DEsignBench，一个针对视觉设计场景量身定制的文本到图像（T2I）生成基准。我们通过 DEsignBench 评估 DALL-E 3 和其他领先的 T2I 模型，开发了一种全面的可视化展示，用于侧边比较不同模型的生成图像。除了人工评估外，我们还引入了第一个由 GPT-4V 提供支持的自动图像生成评估器。

    Oct, 2023

  • 城市建筑师：带有布局先验的可操控的三维城市场景生成

    通过引入一种组合式 3D 布局表示方法到文本转 3D 范式中的本文，克服了在大规模城市范围内扩展这一方法的局限性，并且成功地将文本转 3D 技术应用于覆盖超过 1000m 行驶距离的大尺度城市场景，同时展示了可调控城市场景生成的强大能力。

    Apr, 2024