Jan, 2024

支持学生学习推荐的 LLM 基于知识图谱上下文化的聊天机器人

PDF
TL;DR利用聊天机器人作为对话中介和有限生成解释的来源的基于 LLM 的聊天机器人支持学生理解学习路径建议。
student commitmentlearning recommendationexplainability approacheschatbotsgenerative ai
发现论文，激发创造
  • 基于学习推荐的 LLM 解释的上下文源知识图

    在个性化教育时代，为学习推荐提供易于理解的解释对增强学习者的理解和参与推荐的学习内容具有巨大价值。本文提出了一种利用知识图谱作为意见引擎源的方法，以减小语言模型模型的错误生成的风险，并确保高精度地满足学习者的意图，同时保持有关应用的学习上下文。我们利用知识图谱中的语义关系提供关于学习推荐的精心策划的知识。通过将领域专家纳入研究的提示工程阶段，设计解释模板，由语言模型进行填充和完成来确保解释包含与学习者相关的信息。我们定量评估了我们的方法使用 Rouge-N 和 Rouge-L 指标，并进行了与专家和学习者的质性评估。我们的结果表明，与仅由 GPT 模型生成的解释相比，生成的解释具有更高的召回率和准确度，并且极大地降低了最终学习解释中生成不准确信息的风险。

    Mar, 2024

  • 基于 LLM 的人工智能聊天机器人的全面调查

    本文全面调查了基于大型语言模型（LLMs）的聊天机器人在各个领域的进化和部署，总结了基础聊天机器人发展、LLMs 演进，并提供了当前正在使用和开发中的基于 LLMs 的聊天机器人概述。我们将 AI 聊天机器人视为生成新知识的工具，探讨了它们在各个行业中的多样应用。然后，我们讨论了一些挑战，包括训练 LLMs 使用的数据和生成知识的滥用可能引发的问题。最后，我们展望未来，探索如何提升它们在众多应用中的效率和可靠性。通过介绍 LLMs-based 聊天机器人的关键里程碑和当今背景，我们的调查邀请读者深入研究这一领域，并思考它们的下一代将如何重塑对话型人工智能。

    Jun, 2024

  • 超越传统教学：大型语言模型和聊天机器人在研究生工程教育中的潜力

    该研究论文探讨了大语言模型和聊天机器人结合应用于研究生工程教育的可能性，并通过一个研究案例证明了聊天机器人在课堂上的潜在优势，包括促进自主学习、提供即时反馈以及减轻教师负担。该研究还讨论了智能提示对聊天机器人性能的提升效果以及如何通过插件扩展聊天机器人的功能，同时强调在教育中使用这些人工智能模型所面临的挑战和伦理问题，并主张采取平衡的方法进行评估和改进。

    Sep, 2023

  • L2 使用指导和互动策略对学习者表现和感知的影响

    个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立 LLM 的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在 Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与 LLM 响应之间的互动关系。直接的 LLM 答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和 LLM 在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者 - LLM 互动的设计建议。

    Oct, 2023

  • 基于 LLM 助手何时出错：对基于提示的软件求助交互有效性的研究

    大型语言模型（LLM）助手是帮助用户浏览复杂多功能软件的潜在替代方法。我们通过与 16 名参与者的实验和后续访谈对 LLM 生成的软件指导进行了研究。我们比较了基准 LLM 助手与一种针对特定软件背景优化过的 LLM 助手 SoftAIBot，后者还提供了构建适当提示的指南。但令人惊讶的是，虽然 SoftAIBot 优于基准 LLM，但我们的结果显示，无论是否使用提示指南和领域上下文的集成，LLM 的使用和用户感知没有显著差异。大多数用户难以理解提示文本与 LLM 的回应之间的关联，并且通常逐字逐句地遵循 LLM 的建议，即使是错误的。这导致在使用 LLM 的软件任务建议时出现困难，降低了任务完成率。我们的详细分析还表明，用户对 LLM 的回应中的错误毫不知情，这表明他们在软件专业知识的缺乏和评估 LLM 助手的能力之间存在差距。随着设计领域特定 LLM 助手的推动日益增加，我们强调将可解释的、上下文感知的提示融入 LLM 中的重要性，以帮助用户理解基于提示的交互，识别偏见，并最大化 LLM 助手的效用。

    Feb, 2024

  • 超越聊天机器人：探索结构化思维与个性化模型响应

    通过大型语言模型（LLM）探索任务，通过用户研究找到 ExploreLLM 对于探索性任务和规划任务具有帮助作用，为用户提供了任务的结构和引导，并展示了用户可以更容易地个性化响应以及天生语言和图形用户界面之间更紧密的集成。

    Dec, 2023

  • 知识密集环境中的聊天机器人：意图和基于 LLM 的系统的比较

    认知助手通过自然语言处理和大型语言模型的应用，在知识密集型任务中表现出更好的用户体验、工作负担、可用性和性能，建议进一步研究切换自然语言处理技术的潜力。

    Feb, 2024

  • 在 LLMs 时代构建情感支持聊天机器人

    利用大型语言模型的能力，本研究结合人工智能和人类洞察力创建了一个详尽的情感支持对话数据集，通过递归生成方法，优化了情感支持机器人，为情感支持领域的进一步研究和实施铺平了道路。

    Aug, 2023

  • ChatEd: 高等教育中基于 ChatGPT 的增强学习体验的聊天机器人

    结合 ChatGPT 和传统的基于信息检索的聊天机器人框架，提供优化的高等教育学生支持，以解决 LLMs 在教育背景下生成错误、偏见或无用答案的挑战。

    Dec, 2023

  • 我不是律师，但是……: 朝着负责任 LLM 政策的法律咨询专家

    通过研究法律领域，该论文提供了结构化的专家分析，揭示了在使用大型语言模型为专业建议提供人工智能时的微妙政策考虑，并强调借鉴基于案例推理的方法以将专业完整性和领域知识负责地转化为设计要求，以指导人工智能在专业领域产生建议时的适当行为。

    Feb, 2024