大型语言模型（LLM）助手是帮助用户浏览复杂多功能软件的潜在替代方法。我们通过与 16 名参与者的实验和后续访谈对 LLM 生成的软件指导进行了研究。我们比较了基准 LLM 助手与一种针对特定软件背景优化过的 LLM 助手 SoftAIBot，后者还提供了构建适当提示的指南。但令人惊讶的是，虽然 SoftAIBot 优于基准 LLM，但我们的结果显示，无论是否使用提示指南和领域上下文的集成，LLM 的使用和用户感知没有显著差异。大多数用户难以理解提示文本与 LLM 的回应之间的关联，并且通常逐字逐句地遵循 LLM 的建议，即使是错误的。这导致在使用 LLM 的软件任务建议时出现困难，降低了任务完成率。我们的详细分析还表明，用户对 LLM 的回应中的错误毫不知情，这表明他们在软件专业知识的缺乏和评估 LLM 助手的能力之间存在差距。随着设计领域特定 LLM 助手的推动日益增加，我们强调将可解释的、上下文感知的提示融入 LLM 中的重要性，以帮助用户理解基于提示的交互，识别偏见，并最大化 LLM 助手的效用。

Feb, 2024

本研究对基于大型语言模型的对话 UI 进行了研究，目标是实现上下文感知的工具，该工具可以自动利用开发人员的编程上下文来回答问题。我们为用户提供了一个 IDE 插件，允许用户使用高级请求查询后端（例如 OpenAI 的 GPT-3.5 和 GPT-4），我们进行了 32 名参与者的探索性用户研究，研究确认这种方法比 Web 搜索更有效地帮助理解代码，但效果的差异因参与者的经验水平而异。

Jul, 2023

本文提出了一种使用大语言模型的通用交互式查询重写框架，旨在提高透明性和意图理解能力，并改变传统的意图理解方法；在初步实验的支撑下，通过自然语言表达、交互和推理机器意图，取得了显著的排序性能提升。

Jun, 2023

使用大规模语言模型（LLM）代理人用户界面（LAUI）能够主动学习用户需求，提出新的交互方案，帮助用户发现新的工作流程，Flute X GPT 是一个具体的例子，利用 LLM 代理人、提示管理器和一个管笛教学的多模式软硬件系统来促进学习吹笛的复杂实时用户体验。

May, 2024

本文提出一种基于大型语言模型的 Text-to-SQL 框架 —— 检索增强提示法，包括样本感知提示和动态修订链，通过引入检索来生成针对自然语言问题的 SQL 查询。

Jul, 2023

研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

May, 2023

本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

May, 2023

通过大型语言模型生成的合成查询可以提高虚拟助手的能力，它们与基于模板的方法相辅相成，能够生成类似虚拟助手用户查询的详细且具体的查询。

Jun, 2024

通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

Nov, 2023

该研究介绍了一种新的推理方法，Prompt Highlighter，通过在生成过程中用户可以突出特定的提示段来实现交互式控制，利用突出显示的令牌通过注意力权重指导模型来产生期望的输出。实验结果证实了该方法在关注输入背景和生成可靠内容方面的有效性。

Dec, 2023