将生成式 AI（GenAI）和大型语言模型（LLMs）应用于教育可以提高教学效率，丰富学生学习。使用当前的 LLM 涉及到会话式用户界面（CUIs）用于生成材料或提供反馈，但这带来了教育者在 AI 和 CUI 领域的专业知识需求、高风险决策的道德问题以及隐私风险。为了解决这些问题，我们建议从 CUIs 过渡到通过 API 调用利用 LLMs 的用户友好应用程序。我们提出了一个将 GenAI 道德地融入教育工具的框架，并展示了其在我们的工具 Feedback Copilot 中的应用，该工具为学生作业提供个性化反馈。我们的评估结果显示了这种方法的有效性，对 GenAI 研究人员、教育者和技术人员具有重要意义。这项工作为教育中的 GenAI 未来制定了一条路线。

Apr, 2024

介绍了计算机用户界面 (UI) 理解的研究课题，包括创造一个视频数据集、合成样本生成管道和对图像进行对比学习的框架，实验证明该框架优于先前提出的层级多标签对比损失在细粒度用户界面分类中的表现。

Mar, 2024

通过利用大型语言模型 (LLMs) 的升级力量，本研究关注于构建一个可作为用户与用户界面之间中介的框架，通过对自然文本输入进行彻底分析，有效地理解用户需求，使得精心设计的 LLM 引擎能够分类最可能的可用应用程序，识别所需的用户界面组件，并随后执行用户预期行为，从而将静态用户界面系统转变为高度动态和适应性强的解决方案，引入智能和响应式用户体验的新领域。这样的框架可以从根本上改变用户完成日常任务的方式，提高效率，并大大减少认知负荷。

Feb, 2024

通过使用自动生成的合成数据集和自动化工具，我们改进了现有的大型语言模型（LLMs），使其能够生成高质量的用户界面（UI）代码，并通过与其他基准模型的比较证明了我们的方法的有效性。

Jun, 2024

该论文提出了评估自然语言理解任务的四个标准，并指出目前大多数现有标准都无法满足这些标准，而对抗性数据收集并不能有效地解决这些失败的根本原因。为了恢复健康的评估生态系统，需要在基准数据集的设计、标注的可靠性、其大小以及处理社会偏见的方式方面取得显著进展。

Apr, 2021

我们提出了一种用于最新深度学习为基础的机器人程序优化器的解释用户界面（XUI），它提供了不同的用户体验以应对用户的不同技能水平，同时引入了可解释的人工智能（XAI）功能以促进深度学习方法在实际应用中的应用。为了评估 XUI 对任务性能、用户满意度和认知负荷的影响，我们提出了初步用户调查的结果，并提出了一个大规模后续研究的研究设计。

Apr, 2024

本研究探索如何利用 UI 说明书中的图像来学习 UI 屏幕及其组件的通用视觉 - 语言表示，并提出了一种名为 Lexi 的预训练模型，该模型可处理 UI 屏幕的独特特点，包括其丰富的文本和上下文敏感性。通过创建包含 114k UI 图像及其功能描述的 UICaption 数据集，我们证明了该模型可用于 UI 行动蕴含和 UI 实体识别等任务。

Jan, 2023

使用生成配对文本 - 图像训练数据的方法，无需人工提供注释，适用于任何 UI 截图数据集，通过将现有的基于像素的方法与大型语言模型（LLM）相结合，对 UI 领域的 VLM 进行自动微调，以实现对 UI 任务的会话式 VLM 模型的性能评估、Q&A、UI 描述、规划以及多步 UI 导航和规划等方面的展示。

Oct, 2023

在移动应用程序的背景下，本文提出了所谓的大型用户界面模型（LUIMs），以通过人工智能生成用户界面并预测可用性。

May, 2024

本文探讨了人类中心的大型语言模型评估，并提出了心理模型，用例使用价值和认知参与三个研究重点，旨在加速人类中心式大型语言模型评估的进展。

Mar, 2023