Mar, 2023

菜单工匠：大型语言模型互动式菜单系统设计

PDF
TL;DR提出了一种 AI 辅助的设计工具 MenuCraft，它基于大型神经语言模型，支持语言交互式的菜单系统设计，能够简化设计过程，协助设计师进行少数据学习。
menu system designsemantic relationneural language modelsai-assisted designerinteractive language-based menu design tool
发现论文，激发创造
  • 大型语言用户界面：由 LLM 驱动的语音交互用户界面

    通过利用大型语言模型 (LLMs) 的升级力量，本研究关注于构建一个可作为用户与用户界面之间中介的框架，通过对自然文本输入进行彻底分析，有效地理解用户需求，使得精心设计的 LLM 引擎能够分类最可能的可用应用程序，识别所需的用户界面组件，并随后执行用户预期行为，从而将静态用户界面系统转变为高度动态和适应性强的解决方案，引入智能和响应式用户体验的新领域。这样的框架可以从根本上改变用户完成日常任务的方式，提高效率，并大大减少认知负荷。

    Feb, 2024

  • 多模态模块化人工智能厨师：基于图像的复杂食谱生成

    本文介绍了一种基于多模态方法的轻量级和专门化的 API，使对象检测和最新的文本生成器的串联生成秤可能的食谱。

    Mar, 2023

  • 大型语言模型作为副主厨：使用 GPT-3 修改食谱

    我们的研究利用大语言模型将菜谱文本转化为易于理解的形式，通过改进菜谱的步骤和指令并使用 Amazon Mechanical Turk 任务收集人类意见，证明了大语言模型作为数字厨师的潜在应用。

    Jun, 2023

  • 通过机器学习语言模型增强操作系统中的用户交互

    使用大型语言模型进行用户交互的研究，结合机器学习和交互设计来改善推荐系统和操作系统的用户体验，以提供更智能和个性化的服务，满足用户需求并促进产品的不断改进和优化。

    Feb, 2024

  • 利用大型语言模型进行结构化设计空间的生成和探索，用于人机共创

    通过提出一个框架，使用户能够无缝地探索、评估和综合多种响应，并通过 Luminate 互动系统与 8 名专业作家的用户研究展示了这个框架的可行性和有用性，我们推进了与大型语言模型的创造性任务互动的方式，引入了一种利用大型语言模型的创造潜力的方法。

    Oct, 2023

  • Wordcraft: 人工智能协作写作工具

    Wordcraft 是一种 AI 辅助编辑器，使用与对话自然属性相结合的少样本学习，可以支持各种交互方式，为写作者提供了一个沙盒，以探索基于 transformer 的语言模型的边界，并为未来的以人为核心的训练管道和新的评估方法铺平了道路。

    Jul, 2021

  • ChatGPT 和其他大型语言模型作为在线互动协作游戏设计的进化引擎

    本文介绍了一种协作设计框架，将交互进化和大型语言模型相结合，模拟典型的人类设计过程，并在三个远程人类设计师的游戏设计任务中对该框架进行了评估。

    Feb, 2023

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024

  • 利用大型语言模型实现移动界面的交互式对话功能

    本文旨在通过预训练大型语言模型及相应的提示技术，实现轻量级、可通用的基于自然语言的手机交互，解决开发人员需要针对每项具体任务创建独立数据集和模型的成本和劳动力问题。研究表明，针对移动 UI 设计的四项重要建模任务中，我们的方法在不需要专用数据集和训练的情况下，取得了令人满意的竞争成绩。

    Sep, 2022

  • Chat-to-Design: AI 辅助个性化时装设计

    Chat-to-Design 是一个新的多模式交互系统，用于个性化的时尚设计，将用户通过对话进行衣服设计的步骤进一步细分，可以通过三个子系统来提供沉浸式用户体验，包括对话系统，时尚检索系统和时尚设计系统。

    Jul, 2022