May, 2024

差距加大：对初学者程序员的生成式人工智能的益处与危害

PDF
TL;DR新手编程人员在解决编程问题方面常常面临元认知意识和策略的缺乏。前期研究已经表明，新手在编程时可能会遇到多个元认知困难。新手通常不了解这些困难如何阻碍他们的进展。与此同时，许多新手正在使用生成型人工智能（GenAI）进行编程，它可以提供大多数入门级编程问题的完整解决方案、代码建议、停滞时的下一步提示以及解释难懂的错误消息。然而，GenAI 对新手元认知的影响才刚刚开始被探索。通过 21 个由参与者观察、访谈和眼动跟踪组成的实验室会话，我们复制了一项以前的研究，研究了新手编程问题解决行为，并通过加入 GenAI 工具进行了扩展。虽然 21 名学生中有 20 名完成了分配的编程问题，但我们的研究结果显示 GenAI 工具在加快学生进度和使学生困难的使用方面存在一个令人遗憾的差距。加快进度的学生能够使用 GenAI 创建他们已经打算创建的代码，并能够忽略不合理或错误的内联代码建议。但是对于遇到困难的学生，我们的研究结果表明，以前已知的元认知困难仍然存在，并且 GenAI 不幸地可能会加重这些困难，甚至引入新的元认知困难。此外，遇到困难的学生通常对他们的问题解决能力存在认知失调，并且他们认为自己的表现比实际情况要好，并最终产生了一种自负的错觉。基于我们对两组学生的观察，我们提出了支持新手 GenAI 体验的方式，并对未来的工作提出了建议。
发现论文，激发创造
  • 使用生成式人工智能实时增强编程错误消息

    应用生成式人工智能技术改善编程问题、错误信息及自动化评估工具的可用性。

    Feb, 2024

  • 生成式人工智能时代的计算机教育

    本文讨论了人工智能代码生成模型对计算机教育者以及入门级编程课程中教学实践的挑战和机遇。

    Jun, 2023

  • 借鉴助教的分阶段学习编程：探索 AI 助教的潜力

    最近 AI 生成模型的进展使得像 ChatGPT 这样的对话模型成为可行的助教候选人。我们通过研究初学者与助教在子目标学习环境中的互动，来探讨在初级编程教育中使用生成 AI 作为助教的实际性。为了比较学习者与 AI 和人类助教的互动和感知，我们进行了一项针对 20 名初级编程学习者的受试研究。学习者通过在助教的指导下制定子目标和子解决方案来解决编程任务。我们的研究表明，学习者在比分和 AI 助教相当的情况下能够更快地解决任务。学习者对 AI 助教的感知在回复的速度和全面性、对话的有益性、困难度和满意度方面与人类助教相当。最后，我们通过对聊天记录的分析，提出了更好地设计和利用生成 AI 作为编程教育助教的指导原则。

    Sep, 2023

  • 生成人工智能提升个人创造力但降低集体创意的多样性

    通过在线实验研究，我们得出结论：使用 GenAI 平台获取灵感会导致作品被评定为更具创造力、写作更好、更令人愉快，尤其是在创造力较低的作家中。然而，每个条件内的故事相似性的客观度量揭示出，相比于单独由人类创作的故事，GenAI 生成的故事更加相似。这些结果表明了个人创造力的增加，但同时也存在着过度依赖的潜在后果，可能会导致集体创新的缺失。

    Dec, 2023

  • 高等教育中生成式人工智能：学生感知、益处和挑战之声

    本研究探讨了大学生对生成式人工智能 (GenAI) 技术（例如 ChatGPT）在高等教育中的看法，关注对技术的熟悉程度、参与意愿、潜在好处和挑战以及有效整合。从对香港来自不同学科的 399 名本科生和研究生的调查结果显示，学生普遍对利用 GenAI 进行教学和学习持积极态度。学生们认识到个性化学习支持、写作和头脑风暴的辅助以及研究和分析能力的潜力。然而，他们也表达了对准确性、隐私、伦理问题以及对个人发展、职业前景和社会价值的影响的关注。根据 John Biggs 的 3P 模型，学生的看法显著影响学习方法和成果。通过了解学生的看法，教育工作者和政策制定者可以量身定制 GenAI 技术，以解决需求和关注点，同时促进有效的学习成果。本研究的发现可以指导有关将 GenAI 技术集成到高等教育中的政策制定。通过了解学生的看法并解决他们的关注点，政策制定者可以制定明智的指南和策略，以负责任且有效地实施 GenAI 工具，从而增强高等教育的教学和学习体验。

    Apr, 2023

  • 生成人工智能对科学学习成果的负面影响的实证证据

    调查了生成型人工智能在学术阅读中的学习效果，结果发现完全依赖人工智能的写作任务会导致准确性降低 25.1％，然而，人工智能辅助阅读会导致准确性下降 12％，而使用人工智能进行摘要编写则可以显著提高质量和输出。

    Sep, 2023

  • 用户体验设计专业人员对生成人工智能的感知

    研究发现，经验丰富的设计师对于 Generative Artificial Intelligence（GenAI）的作用持支持态度，强调了人类在享受和作为 “AI 合作伙伴” 的裁决者方面的独特优势，然而，技能退步、工作替代和创造力衰竭可能会对初级设计师产生不利影响。研究探讨了人类与 GenAI 的合作的责任和参与度，包括版权和所有权，人类的创造力和主权，以及 AI 读写能力和使用方面的机会。

    Sep, 2023

  • 代码在生成式人工智能模型的终端用户编程中是否仍然是一个相关的用户界面？

    终端用户编程研究领域主要关注于帮助非专业人士掌握足够的编程知识以完成任务，然而生成式人工智能可以通过自然语言提示生成代码，可能彻底改变这一情况。本文探讨了在生成式人工智能时代，传统编程语言对非专业终端用户编程者的可用性和价值。我们提出了 “生成式转变假设”，即生成式人工智能将会在终端用户编程的传统范围内带来定性和定量的扩展。同时，我们列举了一些传统编程语言对终端用户编程者仍然具有重要性和实用性的原因，并探讨了这些原因是否会随着生成式人工智能的进一步改进和创新而消失。最后，我们提出了一系列对终端用户编程研究的启示，包括需要重新审视许多已建立的核心概念，如 Ko 的学习障碍和 Blackwell 的注意力投入模型。

    Nov, 2023

  • 预测用户需求：从设计小说中获取关于计算思维对话代理的见解

    计算思维与计算机编程具有学习曲线陡峭的特点。通过对话代理和生成式人工智能（genAI）的应用，可以提供个性化指导、互动学习体验和代码生成来促进学习过程。然而，目前基于 genAI 的聊天机器人主要面向专业开发人员，对教育需求的考虑可能不足够。因此，与教育者合作设计教育工具至关重要，本文通过设计虚构会话中的参与教育者洞察了一种具备指导学生分步练习、调整指导方法并关注教育背景、技能和学习偏好的对话代理，这些发现可为面向教授计算思维和计算机编程的辅导对话代理的未来实施提供指导。

    Nov, 2023

  • AI 代沟：Gen Z 学生是否更感兴趣采用生成型 AI 技术（例如 ChatGPT）在教育中，而不是他们的 Gen X 和千禧一代的老师？

    本研究旨在探讨 Gen Z 学生与 Gen X 和 Gen Y 教师在高等教育中使用生成式人工智能（GenAI）方面的经验、感知、知识、关注和意图。调查发现，Gen Z 参与者普遍对 GenAI 的潜在好处持乐观态度，包括增强生产力、效率和个性化学习，并表达了使用 GenAI 进行各种教育目的的意图。Gen X 和 Gen Y 教师承认 GenAI 的潜在好处，但对其过度依赖，伦理和教学影响表示高度关注，强调有必要制定适当的指导方针和政策，以确保负责任地使用该技术。本研究强调了将技术与传统教学方法相结合，以提供更有效的学习体验的重要性。结果的含义包括需要为 GenAI 集成开发基于证据的指南和政策，培养学生的批判性思维和数字素养技能，并促进在高等教育中负责任地使用 GenAI 技术。

    May, 2023