Text2VP:用于视觉程序设计和参数建模的生成式人工智能
本文提出了两个基于语言模型的可解释/可解释的视觉编程框架,用于文本到图像的生成和评估。其中,VPGen将T2I生成拆分成三个步骤,使用LM控制前两个步骤,并提供更强的空间控制;VPEval是一个解释性和可解释性评估框架,基于视觉编程,能够提供针对技能特定和开放性提示的人类相关性评估。
May, 2023
LayoutGPT 是一种利用 LLMS 生成样式表语言的方法,能够生成多个视觉域中的可信布局,包括三维室内场景;当与下游图像生成模型相结合时,比文本到图像模型系统表现更好,并可在正确性方面与人类用户进行比较,同时在 3D 室内场景合成方面也与监督方法实现相当的性能。
May, 2023
该研究介绍了一个新的建筑设计框架,利用生成式人工智能工具,包括ChatGPT和Veras,结合参数化建模和建筑信息模型(BIM),提升设计流程。这个框架扩展了ChatGPT和生成式人工智能在三维建筑设计中的潜力,不仅限于在文本和二维图像生成方面的应用。通过整合ChatGPT用于脚本编写和Veras用于生成设计思路,并结合广泛使用的参数化建模和BIM工具,该框架为建筑师提供了直观而强大的方法来传达设计意图,从而实现更高效、创造性和协作性的设计流程。
Aug, 2023
生成式人工智能和大型语言模型在计算机教育领域有潜力通过自动生成个性化反馈和内容来大幅改善情况。本文研究了这些模型在文本编程教育领域的能力,但是对于常用于K-8编程教育的可视化编程领域的性能尚未探究。本研究评估了ChatGPT和GPT-4两个模型在不同场景的可视化编程领域中的表现,并通过专家评注进行了性能评估。结果显示这些模型在整合空间、逻辑和编程技能方面性能较差,为改进生成式模型在可视化编程中的表现提供了有趣的发展方向。
Jul, 2023
我们通过引入一个新颖的数据集T2D,提出了一种序列到序列模型作为未来研究的强基准,然后对这一任务进行了基准测试,希望我们的贡献能推动语言引导的设计生成的研究前进。
Nov, 2023
探讨生成式人工智能技术如何在软件工程领域引发转变,介绍了其在项目管理、支持和更新等开发阶段的潜力,探索了零次启动、自洽性和多模式思维等技术在增强生成式人工智能模型中的独特能力,并强调了向量嵌入、上下文、插件、工具和代码助手在捕获语义信息和提升生成式人工智能能力方面的重要性。该研究旨在鼓励讨论和实验软件工程中生成式人工智能应用,从而提高生产力、改善代码质量并促进软件开发效率和效果的质的飞跃。
Dec, 2023
通过综合评估,我们发现GPT-4V在将视觉设计转换为代码实现的任务中表现最佳,其生成的网页在视觉外观和内容方面可以替代原始参考网页的49%,并且在64%的情况下被认为比原始参考网页更好。
Mar, 2024
这篇文章探讨了生成人工智能在建筑设计中的广泛应用,从生成2D图像、视频和3D模型的基本原理到对建筑设计各个阶段的影响,指出了设计创新的新方向和应用生成人工智能的新轨迹。
Mar, 2024
从实际场景中提取和清洗,包含设计愿景和UI代码的高质量数据集VISION2UI用于细调Multimodal Large Language Models (MLLMs)以实现自动化UI代码生成。
Apr, 2024
本研究解决了在现代软件中原型化复杂计算机辅助设计(CAD)模型时因缺乏智能系统而导致的时间消耗问题。我们提出了Text2CAD,这是首个用于根据设计师友好的指令生成文本到参数化CAD模型的AI框架,具备处理各种技能水平的能力。我们的框架显示出在AI辅助设计应用中的巨大潜力。
Sep, 2024