Oct, 2023

L2 使用指导和互动策略对学习者表现和感知的影响

PDF
TL;DR个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立 LLM 的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在 Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与 LLM 响应之间的互动关系。直接的 LLM 答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和 LLM 在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者 - LLM 互动的设计建议。
personalized chatbot-based teaching assistantslarge language modelseducational utilitylearner-llm interactionsdesign recommendations
发现论文，激发创造
  • 基于 LLM 助手何时出错：对基于提示的软件求助交互有效性的研究

    大型语言模型（LLM）助手是帮助用户浏览复杂多功能软件的潜在替代方法。我们通过与 16 名参与者的实验和后续访谈对 LLM 生成的软件指导进行了研究。我们比较了基准 LLM 助手与一种针对特定软件背景优化过的 LLM 助手 SoftAIBot，后者还提供了构建适当提示的指南。但令人惊讶的是，虽然 SoftAIBot 优于基准 LLM，但我们的结果显示，无论是否使用提示指南和领域上下文的集成，LLM 的使用和用户感知没有显著差异。大多数用户难以理解提示文本与 LLM 的回应之间的关联，并且通常逐字逐句地遵循 LLM 的建议，即使是错误的。这导致在使用 LLM 的软件任务建议时出现困难，降低了任务完成率。我们的详细分析还表明，用户对 LLM 的回应中的错误毫不知情，这表明他们在软件专业知识的缺乏和评估 LLM 助手的能力之间存在差距。随着设计领域特定 LLM 助手的推动日益增加，我们强调将可解释的、上下文感知的提示融入 LLM 中的重要性，以帮助用户理解基于提示的交互，识别偏见，并最大化 LLM 助手的效用。

    Feb, 2024

  • 我不再信任你！—— 高等教育中学生 LMS 使用对讲师学生信任的影响

    利用大型语言模型 (Large Language Models，LLMs) 对学生的影响如何对信息公正性和程序公正性产生影响，从而影响团队信任和预期团队绩效，对教育中利用 LLMs 的使用进行了研究并提出了相应的指导方针。

    Jun, 2024

  • 从 “让我们谷歌” 到 “让我们 ChatGPT”: 学生和教师对 LLMs 在本科工程教育中的影响的观点

    本文通过在印度的本科工程大学进行调查和访谈，揭示了 ChatGPT（一种流行的 LLM）在学术使用中的现状、所带来的好处、威胁、挑战以及增进学生和教师对 LLMs 采用的建议，进一步讨论了 LLMs 在本科工程教育及其他领域的实际意义。

    Sep, 2023

  • 基于 LLM 的互动语言治疗对高功能孤独症青少年心理咨询的疗效评估

    这项研究主要探讨了大型语言模型（LLMs）在与高功能自闭症青少年进行互动语言治疗中的效果。通过评估 LLM 在治疗环境中参与共情、适应性和情境适当性交互的能力，研究结果表明 LLM 在支持性治疗工具方面具有巨大潜力，显示出在情感共鸣和对话适应性方面的优势，但也指出实现人类治疗师所具备个性化和情感理解深度的挑战，强调了应用人工智能于治疗环境中的伦理考虑的重要性。该研究为利用 LLM 进行自闭症青少年心理咨询提供了有价值的洞察力，并强调了在心理健康护理中探索人工智能作用的未来需要持续发展以增强这些模型在治疗环境中的能力的必要性。

    Nov, 2023

  • 超越传统教学：大型语言模型和聊天机器人在研究生工程教育中的潜力

    该研究论文探讨了大语言模型和聊天机器人结合应用于研究生工程教育的可能性，并通过一个研究案例证明了聊天机器人在课堂上的潜在优势，包括促进自主学习、提供即时反馈以及减轻教师负担。该研究还讨论了智能提示对聊天机器人性能的提升效果以及如何通过插件扩展聊天机器人的功能，同时强调在教育中使用这些人工智能模型所面临的挑战和伦理问题，并主张采取平衡的方法进行评估和改进。

    Sep, 2023

  • 软件工程项目中对 LLMs 的使用和感知的实证研究

    论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括 AI 生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs 在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用 LLMs 提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。

    Jan, 2024

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 支持学生学习推荐的 LLM 基于知识图谱上下文化的聊天机器人

    利用聊天机器人作为对话中介和有限生成解释的来源的基于 LLM 的聊天机器人支持学生理解学习路径建议。

    Jan, 2024

  • 为高效、个性化信息检索调整语言模型的方法与影响

    大型语言模型（LLMs）在信息检索方面的优化、模型幻觉、用户隐私等关键问题的研究。

    Nov, 2023

  • 大型语言模型的经济性权衡：一个案例研究

    使用大型语言模型（LLMs）辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性，将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略，发现模型的响应可用性可以补偿推理成本的巨大差异，并将研究结果推广到更广泛的企业领域。

    Jun, 2023