通过利用大型语言模型 (LLMs) 的升级力量，本研究关注于构建一个可作为用户与用户界面之间中介的框架，通过对自然文本输入进行彻底分析，有效地理解用户需求，使得精心设计的 LLM 引擎能够分类最可能的可用应用程序，识别所需的用户界面组件，并随后执行用户预期行为，从而将静态用户界面系统转变为高度动态和适应性强的解决方案，引入智能和响应式用户体验的新领域。这样的框架可以从根本上改变用户完成日常任务的方式，提高效率，并大大减少认知负荷。

Feb, 2024

将生成式 AI（GenAI）和大型语言模型（LLMs）应用于教育可以提高教学效率，丰富学生学习。使用当前的 LLM 涉及到会话式用户界面（CUIs）用于生成材料或提供反馈，但这带来了教育者在 AI 和 CUI 领域的专业知识需求、高风险决策的道德问题以及隐私风险。为了解决这些问题，我们建议从 CUIs 过渡到通过 API 调用利用 LLMs 的用户友好应用程序。我们提出了一个将 GenAI 道德地融入教育工具的框架，并展示了其在我们的工具 Feedback Copilot 中的应用，该工具为学生作业提供个性化反馈。我们的评估结果显示了这种方法的有效性，对 GenAI 研究人员、教育者和技术人员具有重要意义。这项工作为教育中的 GenAI 未来制定了一条路线。

Apr, 2024

最近大型语言模型的进展激发了研究人员和行业专业人员的兴趣，特别是在与移动用户界面相关的任务中的应用。本研究探讨了使用大型语言模型进行用户界面布局生成的方法，并引入了 UI 语法的概念，以更有效地指导生成能力，并提高过程的可解释性和可控性。通过与 GPT-4 进行的初步实验表明，大型语言模型通过上下文学习具有产生高质量用户界面的有希望的能力。此外，我们的初步比较研究显示了基于语法的方法在改善特定方面的生成结果质量方面的潜力。

Oct, 2023

大型语言模型（LLM）助手是帮助用户浏览复杂多功能软件的潜在替代方法。我们通过与 16 名参与者的实验和后续访谈对 LLM 生成的软件指导进行了研究。我们比较了基准 LLM 助手与一种针对特定软件背景优化过的 LLM 助手 SoftAIBot，后者还提供了构建适当提示的指南。但令人惊讶的是，虽然 SoftAIBot 优于基准 LLM，但我们的结果显示，无论是否使用提示指南和领域上下文的集成，LLM 的使用和用户感知没有显著差异。大多数用户难以理解提示文本与 LLM 的回应之间的关联，并且通常逐字逐句地遵循 LLM 的建议，即使是错误的。这导致在使用 LLM 的软件任务建议时出现困难，降低了任务完成率。我们的详细分析还表明，用户对 LLM 的回应中的错误毫不知情，这表明他们在软件专业知识的缺乏和评估 LLM 助手的能力之间存在差距。随着设计领域特定 LLM 助手的推动日益增加，我们强调将可解释的、上下文感知的提示融入 LLM 中的重要性，以帮助用户理解基于提示的交互，识别偏见，并最大化 LLM 助手的效用。

Feb, 2024

该论文通过在大型语言模型的代理上引入基于提示的组织结构，以提高团队效率并降低沟通成本。

Mar, 2024

通过观察人类与大型语言模型（LLMs）的对话，本研究基于数据驱动的方法，对 LLMs 的治理和调节进行了归纳性分析，并探讨了非合作性、竞争性情境下的人机交互对人类可能构成的严重威胁以及利用 LLMs 的推理能力存在的不足和可操纵性。此外，研究还揭示了人类在与 LLMs 进行价格谈判时所达成的价格涵盖了广泛范围，指出了人类在有效与 LLMs 互动方面存在的文盲问题。

Nov, 2023

使用大型语言模型构建的用户搜索行为模拟器在查询生成方面优于现有方法，并在预测用户点击和停止行为方面可与传统方法媲美。这些结果不仅验证了使用大型语言模型进行用户模拟的有效性，还为更强大和通用的用户模拟器的开发提供了启示。

Mar, 2024

本文旨在通过预训练大型语言模型及相应的提示技术，实现轻量级、可通用的基于自然语言的手机交互，解决开发人员需要针对每项具体任务创建独立数据集和模型的成本和劳动力问题。研究表明，针对移动 UI 设计的四项重要建模任务中，我们的方法在不需要专用数据集和训练的情况下，取得了令人满意的竞争成绩。

Sep, 2022

我们提出了一个模块化的多语言模型框架，将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效地训练该框架，该框架在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了其在工具学习中的功效和优势。

Jan, 2024

该研究论文介绍了一种新的搜索界面，支持对单语或多语言文档集合进行自动生成查询，并通过用户反馈来优化查询，从而解决用户在查询表达方面的困难。

Nov, 2023