Dec, 2023

引领生成人工智能时代：介绍道德生成人工智能评估的 AI 评估尺度

PDF
TL;DR近年来，生成人工智能（GenAI）的发展在社会多个领域引起了一次范式转变，而这些技术的使用可能成为未来几十年教育的一个定义性特征。GenAI 提供了变革性的教育机会，同时也带来了伦理和学术方面的挑战。在这个背景下，我们提出了一个实用、简单且足够全面的工具来将 GenAI 工具融入教育评估中：AI 评估量表（AIAS）。AIAS 使教育工作者能够根据他们希望解决的学习成果选择适当的 GenAI 使用水平进行评估。AIAS 为学生和教育工作者提供了更清晰、更透明的方式，为机构提供了公平、公正的政策工具，并提供了一种细致入微的方法，既拥抱了 GenAI 的机会，又意识到在某些情况下这样的工具可能在教学上不合适或不必要。通过采用一种实用、灵活、可快速实施的方法，AIAS 可以成为应对当前关于教育中的 GenAI 存在的不确定性和焦虑的迫切起点。作为次要目标，我们参与当前的文献研究，倡导关注 GenAI 教育工具的重新聚焦的讨论，突出技术如何帮助支持和增强教学和学习，与当前关注 GenAI 作为学术不端行为便利工具的焦点形成对比。
generative artificial intelligenceeducationai assessment scalepedagogical opportunitiesacademic challenges
发现论文，激发创造
  • AI 评估量表（AIAS）的应用：基于 GenAI 的评估的试点实施

    英国越南大学举行的一项试点研究结果表明，将生成人工智能（GenAI）技术纳入教育评估中，在提高学习体验的同时促进学术诚信，并降低与 GenAI 相关的学术不端行为，使学生的成绩和模块通过率都得到了显著提升。

    Mar, 2024

  • 生成式人工智能工具时代的高等教育评估实践

    本研究通过对生成人工智能工具对评估和教学实践的综合评估，探讨了其潜在影响。结果表明，生成人工智能工具在主题知识、问题解决、分析、批判性思维和演示技能方面具有限制学习的潜力。同时，对某些学科评估工具的设计揭示了生成人工智能工具的局限性。基于研究结果，我们提出了关于如何在高等教育中利用人工智能工具进行教学和学习的建议。

    Apr, 2024

  • 理解学生和教职员工对于评估与反馈中人工智能应用的看法

    应对人工智能和生成人工智能在高等教育中的崛起需要进行评估改革，本研究通过探讨学生和学术人员对人工智能和生成人工智能工具的熟悉程度和舒适度，着眼于当前和未来在学习和评估中的应用，填补了关键空白。在线调查收集到来自越南的两所大学和新加坡的一所大学的 35 名学术人员和 282 名学生的数据，调查了生成人工智能的熟悉程度、其在评估标记和反馈、知识检测和参与中的应用以及生成人工智能文本检测的经验。描述性统计和思考性主题分析揭示了两个群体对生成人工智能的熟悉程度普遍较低。生成人工智能反馈受到负面评价，然而当与教师反馈结合时，评价更为积极。学术人员对生成人工智能文本检测工具以及基于检测结果的成绩调整更加接受，相对于学生而言。定性分析确定了三个主题：对文本检测工具的理解不清晰，对生成人工智能检测器的经验存在差异，以及对生成人工智能对教育评估未来影响感受复杂。这些发现对高等教育中生成人工智能评估和反馈的政策和实践的发展具有重要意义。

    Jun, 2024

  • 评估人工智能影响评估：一项课堂研究

    通过课堂调查研究，作者发现 AI 影响评估（AIIAs）对参与者对生成型人工智能系统的潜在风险以及 AI 专家在解决潜在危害中所承担责任的感知具有影响，并对现有的 AIIA 工具进行了限制性分析，提出了未来发展和验证 AIIAs 的建议。

    Nov, 2023

  • 生成人工智能：新教育的力量

    提供一种加速学习方法来教授 AI，以便让学生更好地理解和利用 AI 在科学、技术、工程和数学等领域中的伦理用途和风险，并深入了解学生对 AI 的认知和其在社会和未来职业道路中的重要性。

    May, 2024

  • 教育学和学习实践的生成式人工智能系统评述

    该研究通过对相关文献的系统回顾，概述了在高等教育中利用生成人工智能进行教学和学习的最新研究现状。研究发现，文献中存在研究缺口，需要进一步研究如何将生成人工智能融入教学和学习过程，加强跨学科、多维度的合作，以制定生成人工智能的使用指南、框架和政策。

    Jun, 2024

  • 教育测量中人工智能的崛起：机遇与伦理挑战

    人工智能在教育测量中的整合革命了评估方法，通过机器学习和自然语言处理实现了自动化评分、快速内容分析和个性化反馈，为学生提供及时、一致的反馈和宝贵的学业表现洞察，从而增强了评估体验。然而，将人工智能应用于教育也带来了诸多伦理关切，涉及到有效性、可靠性、透明度、公平性和公正性等问题。算法偏倚和人工智能决策过程的不透明性等问题可能会将不平等问题持续下去并影响评估结果。为了应对这些关切，包括教育工作者、决策者和组织在内的各方利益相关者已制定了指南，以确保人工智能在教育中的道德使用。美国教育测量学会（NCME）的 AI 与教育测量特别兴趣小组（AIME）也致力于确立道德标准并推动该领域的研究。本文中，来自 AIME 成员的多样化团队审视了人工智能驱动教育测量工具的伦理影响，探讨了自动化偏倚和环境影响等重大挑战，并提出了解决方案，以确保人工智能在教育中的负责任和有效使用。

    Jun, 2024

  • 个性化教育与人工智能：课堂规划的新视野

    基于先进的自然语言处理技术，这项研究介绍了一种基于生成式人工智能（GenAI）的工具，用作教育者的数字助手，能够生成定制化的课程计划，评估结果显示这种基于人工智能的教学方法显著降低了备课时间，提升了学习体验，并在为特殊教育需求（SEN）提供个性化关注和具体学习辅助等更广泛教育背景的应用中具有潜在可行性。

    Feb, 2024

  • 生成型人工智能在人机交互教育中的潜力与影响

    直接或间接地影响教学与学习的生成式人工智能（GAI）正影响着各种学科和学科的教育。作为教育者，我们需要了解 AI 在人机交互教育中的潜力和局限，并确保我们的人机交互设计专业的毕业生了解 AI 在此领域中的潜力和局限。本文报告了将生成式人工智能纳入为期 10 周的本科模块所得出的主要教学见解。我们设计了这个模块，以鼓励学生在设计任务要求和计划实践会话与讨论中进行 GAI 模型的实验。我们的见解基于学生在完成模块后的调查回复。对于人机交互设计教育者而言，我们的主要发现是 AI 作为发展项目想法和创建设计资源的一个人物角色，以及 AI 作为反映学生对关键概念和想法的理解并突出知识差距的一面镜子。我们还讨论了应该考虑的潜在陷阱以及评估学生对 GAI 作为教学工具的识字能力和假设的需求。最后，我们提出了教育者以 GAI 作为教育工具所带来的机会，并在实践中富有实验性、创意性和勇气的案例。最后，我们就我们的发现与人机交互中的 TPACK 框架进行了讨论。

    May, 2024

  • 高等教育中生成式人工智能：学生感知、益处和挑战之声

    本研究探讨了大学生对生成式人工智能 (GenAI) 技术（例如 ChatGPT）在高等教育中的看法，关注对技术的熟悉程度、参与意愿、潜在好处和挑战以及有效整合。从对香港来自不同学科的 399 名本科生和研究生的调查结果显示，学生普遍对利用 GenAI 进行教学和学习持积极态度。学生们认识到个性化学习支持、写作和头脑风暴的辅助以及研究和分析能力的潜力。然而，他们也表达了对准确性、隐私、伦理问题以及对个人发展、职业前景和社会价值的影响的关注。根据 John Biggs 的 3P 模型，学生的看法显著影响学习方法和成果。通过了解学生的看法，教育工作者和政策制定者可以量身定制 GenAI 技术，以解决需求和关注点，同时促进有效的学习成果。本研究的发现可以指导有关将 GenAI 技术集成到高等教育中的政策制定。通过了解学生的看法并解决他们的关注点，政策制定者可以制定明智的指南和策略，以负责任且有效地实施 GenAI 工具，从而增强高等教育的教学和学习体验。

    Apr, 2023