利用大型语言模型实现移动界面的交互式对话功能
通过利用大型语言模型 (LLMs) 的升级力量,本研究关注于构建一个可作为用户与用户界面之间中介的框架,通过对自然文本输入进行彻底分析,有效地理解用户需求,使得精心设计的 LLM 引擎能够分类最可能的可用应用程序,识别所需的用户界面组件,并随后执行用户预期行为,从而将静态用户界面系统转变为高度动态和适应性强的解决方案,引入智能和响应式用户体验的新领域。这样的框架可以从根本上改变用户完成日常任务的方式,提高效率,并大大减少认知负荷。
Feb, 2024
本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话,从而可靠地收集用户自报数据。通过在线研究(N = 48),我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估,并发现提示设计和主题显着影响了对话流程和数据收集表现。
Jan, 2023
本文描述了一个支持扩展多模态交互的系统,通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码,我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。
Oct, 2023
利用大型语言模型和视觉语言模型,我们的研究致力于解决数字助理执行各种用户任务的挑战,特别是在基于指令的移动设备控制领域。通过与用户界面进行交互,我们的模型利用设备屏幕的视觉输入并模拟人类般的交互,包括点击和滑动等手势。这种输入和输出空间的广泛适用性使得我们的代理能够与设备上的任何应用程序进行交互。与以往方法不同的是,我们的模型不仅仅操作单个屏幕图像,还通过过去截图序列和相应操作生成视觉语言句子。在具有挑战性的 “Android in the Wild” 基准测试中评估我们的方法表明其有效性和潜力。
Apr, 2024
评估大语言模型在教育中的功效,特别是在口语学习领域,引入新的多选题数据集评估模型在理解和应用口语知识方面的表现,研究不同提示技术对模型性能的影响,发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解,但在解决现实世界问题的推理方面存在限制,并初步探讨了对话交流的发现。
Aug, 2023
使用大型语言模型(LLMs)辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性,将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略,发现模型的响应可用性可以补偿推理成本的巨大差异,并将研究结果推广到更广泛的企业领域。
Jun, 2023
大型语言模型 (LLMs) 在自然语言处理 (NLP) 领域产生了巨大的革命,提供了引人注目的功能,得到了广泛的使用。然而,现有的 LLMs 与用户之间的交互范式存在着局限性、定制能力不足或者缺乏持续学习的问题。为了克服这些挑战,本文介绍了一种新的交互范式 -' 使用外部交互进行在线训练 ',通过与 AI 代理或在线 / 离线知识库等外部交互,将持续实时模型更新的好处与个性化定制的灵活性相结合。
Mar, 2024
本文分析了引入生成式人工智能(AI)的大型语言模型(LLMs)—— 如 OpenAI 的 ChatGPT、GPT3.5 和 GPT4、谷歌的 Bard、Large Language Model Meta AI(LLaMA)等 —— 在通信界面(特别是企业无线产品和服务)中应用的能力和局限性,并针对 Craddlepoint 公开数据进行多个用例的比较分析,包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性。我们相信这种评估将为数据科学家提供建立面向领域特定需求的定制对话接口的有用见解。
May, 2023
将生成式 AI(GenAI)和大型语言模型(LLMs)应用于教育可以提高教学效率,丰富学生学习。使用当前的 LLM 涉及到会话式用户界面(CUIs)用于生成材料或提供反馈,但这带来了教育者在 AI 和 CUI 领域的专业知识需求、高风险决策的道德问题以及隐私风险。为了解决这些问题,我们建议从 CUIs 过渡到通过 API 调用利用 LLMs 的用户友好应用程序。我们提出了一个将 GenAI 道德地融入教育工具的框架,并展示了其在我们的工具 Feedback Copilot 中的应用,该工具为学生作业提供个性化反馈。我们的评估结果显示了这种方法的有效性,对 GenAI 研究人员、教育者和技术人员具有重要意义。这项工作为教育中的 GenAI 未来制定了一条路线。
Apr, 2024