Jun, 2024

社会塑造理论的启示：本科编程课程中对大型语言模型的应用

PDF
TL;DR利用大型语言模型（LLMs）进行代码生成、调试和解释的能力在大学本科编程教育领域引起了研究人员和教育者的兴趣，但决定如何以及为何在编程教育中使用 LLMs 可能不仅涉及到 LLMs 的技术能力评估，同时也会受到学生社会感知的影响。本研究使用社会技术塑造理论作为指导框架，探讨了学生的社会感知如何影响他们对 LLMs 的使用，并研究了学生在大学本科编程课程中自报告的 LLMs 使用情况与其自我效能感和期中成绩之间的相关性。通过对匿名课程末尾学生调查（n = 158）、期中自我效能调查（n = 158）、学生访谈 （n = 10）、作业中自报告的 LLMs 使用情况和期中成绩的数据三角化分析，我们发现学生对 LLMs 的使用与他们对未来职业的期望以及对同伴使用的认知相关。此外，我们发现在我们的环境中早期自我报告的 LLMs 使用与较低的自我效能感和期中成绩有关，而学生对 LLMs 的过度依赖感，而非使用本身，与课程后期的自我效能感降低相关。
发现论文，激发创造
  • 软件工程项目中对 LLMs 的使用和感知的实证研究

    论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括 AI 生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs 在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用 LLMs 提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。

    Jan, 2024

  • 从 “让我们谷歌” 到 “让我们 ChatGPT”: 学生和教师对 LLMs 在本科工程教育中的影响的观点

    本文通过在印度的本科工程大学进行调查和访谈，揭示了 ChatGPT（一种流行的 LLM）在学术使用中的现状、所带来的好处、威胁、挑战以及增进学生和教师对 LLMs 采用的建议，进一步讨论了 LLMs 在本科工程教育及其他领域的实际意义。

    Sep, 2023

  • L2 使用指导和互动策略对学习者表现和感知的影响

    个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立 LLM 的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在 Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与 LLM 响应之间的互动关系。直接的 LLM 答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和 LLM 在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者 - LLM 互动的设计建议。

    Oct, 2023

  • GPT 惊喜：在大规模编程课程中提供大型语言模型对话，减少了参与度但提高了采用者的考试成绩

    采用大规模随机对照实验，研究表明在编程教育中使用大型语言模型可能对考试表现产生积极影响，然而也可能导致对课程参与度的下降，特别是低人类发展指数国家的学生。需要进一步的调查以了解将来将大型语言模型引入课堂的潜在影响。

    Apr, 2024

  • 比较由学生和大型语言模型创建的代码解释

    通过对大型语言模型进行评估，并将其与学生创建的代码解释进行比较，本文发现自动生成的 LLM 代码解释具有更高的准确性和易理解性，从而提供了一种解决教育中代码解释挑战的新方法。

    Apr, 2023

  • 大型语言模型受影响的易感性

    两项研究证明了大型语言模型可以用于模拟受到影响后的心理变化，并且支持大型语言模型具有成为影响效应模型的潜力。第一项研究测试了虚假真相效应，发现大型语言模型模拟数据和人类数据的效应模式一致；第二项研究考察了民粹主义新闻框架，发现其中一些效应与人类实验数据一致，但也存在区别。

    Mar, 2023

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024

  • 大型语言模型能否改变计算社会科学？

    本研究探讨了利用大型语言模型 (Large Language Models，LLMs) 作为计算社会科学 (Computational Social Science，CSS) 工具的可行性。结果表明，LLMs 可以作为零 - shot 数据注释工具或是用于启动具有挑战性的生成任务，并可以极大地提高社会科学分析的效率和降低成本。

    Apr, 2023

  • 关于运用大型语言模型促进数学学习的三个问题

    通过研究大语言模型在教育应用中的潜力，该论文探讨了如何利用大语言模型提供适应性反馈来帮助学生学习数学，并提出了与此相关的挑战。

    Oct, 2023

  • 大语言模型时代的创造力支持：涉及新兴作家的实证研究

    通过实证用户研究 (n=30)，我们调查了现代大型语言模型 (LLMs) 在协助专业作家方面的效用，发现作家在规划、翻译和审阅等认知活动中都寻求 LLMs 的帮助，尤其在翻译和审阅方面 LLMs 更为有帮助，同时我们的研究结果也强调了利用 LLMs 进行创意写作辅助的未来研究方向。

    Sep, 2023