AI 评估量表(AIAS)的应用:基于 GenAI 的评估的试点实施
近年来,生成人工智能(GenAI)的发展在社会多个领域引起了一次范式转变,而这些技术的使用可能成为未来几十年教育的一个定义性特征。GenAI 提供了变革性的教育机会,同时也带来了伦理和学术方面的挑战。在这个背景下,我们提出了一个实用、简单且足够全面的工具来将 GenAI 工具融入教育评估中:AI 评估量表(AIAS)。AIAS 使教育工作者能够根据他们希望解决的学习成果选择适当的 GenAI 使用水平进行评估。AIAS 为学生和教育工作者提供了更清晰、更透明的方式,为机构提供了公平、公正的政策工具,并提供了一种细致入微的方法,既拥抱了 GenAI 的机会,又意识到在某些情况下这样的工具可能在教学上不合适或不必要。通过采用一种实用、灵活、可快速实施的方法,AIAS 可以成为应对当前关于教育中的 GenAI 存在的不确定性和焦虑的迫切起点。作为次要目标,我们参与当前的文献研究,倡导关注 GenAI 教育工具的重新聚焦的讨论,突出技术如何帮助支持和增强教学和学习,与当前关注 GenAI 作为学术不端行为便利工具的焦点形成对比。
Dec, 2023
应对人工智能和生成人工智能在高等教育中的崛起需要进行评估改革,本研究通过探讨学生和学术人员对人工智能和生成人工智能工具的熟悉程度和舒适度,着眼于当前和未来在学习和评估中的应用,填补了关键空白。在线调查收集到来自越南的两所大学和新加坡的一所大学的 35 名学术人员和 282 名学生的数据,调查了生成人工智能的熟悉程度、其在评估标记和反馈、知识检测和参与中的应用以及生成人工智能文本检测的经验。描述性统计和思考性主题分析揭示了两个群体对生成人工智能的熟悉程度普遍较低。生成人工智能反馈受到负面评价,然而当与教师反馈结合时,评价更为积极。学术人员对生成人工智能文本检测工具以及基于检测结果的成绩调整更加接受,相对于学生而言。定性分析确定了三个主题:对文本检测工具的理解不清晰,对生成人工智能检测器的经验存在差异,以及对生成人工智能对教育评估未来影响感受复杂。这些发现对高等教育中生成人工智能评估和反馈的政策和实践的发展具有重要意义。
Jun, 2024
本研究通过对生成人工智能工具对评估和教学实践的综合评估,探讨了其潜在影响。结果表明,生成人工智能工具在主题知识、问题解决、分析、批判性思维和演示技能方面具有限制学习的潜力。同时,对某些学科评估工具的设计揭示了生成人工智能工具的局限性。基于研究结果,我们提出了关于如何在高等教育中利用人工智能工具进行教学和学习的建议。
Apr, 2024
通过课堂调查研究,作者发现 AI 影响评估(AIIAs)对参与者对生成型人工智能系统的潜在风险以及 AI 专家在解决潜在危害中所承担责任的感知具有影响,并对现有的 AIIA 工具进行了限制性分析,提出了未来发展和验证 AIIAs 的建议。
Nov, 2023
该研究调查了六种主要的生成型人工智能(GenAI)文本检测器在面对经过修改以逃避检测的机器生成内容时的效力(n=805)。结果表明,当面对被篡改的内容时,这些检测器的准确率(39.5%)会大幅下降(17.4%),而某些技术在逃避检测方面比其他技术更有效。这些结果显示,当前这些工具的准确性限制和潜在的错误指控表明它们目前不能用于确定是否存在学术诚信的违规行为,突显了教育工作者在维持包容和公平的评估实践方面面临的挑战。然而,它们在非惩罚性的使用中可能在支持学生学习和维护学术诚信方面发挥作用。这些结果强调了在学术界处理生成型人工智能所带来的挑战时需采用综合方法来促进这些新兴技术的负责和公平使用。该研究得出结论,AI 文本检测器目前的局限性要求在高等教育中对其实施采取批判性的方法,并提示了 AI 评估策略的可能替代方案。
Mar, 2024
通过研究 116 所美国高研活跃度大学产生的文件,全面了解高校为机构相关利益相关者提供的关于生成人工智能的建议与指导。基于我们的研究发现,大多数高校鼓励使用生成人工智能,并提供了详细指导,尤其是在课堂中的使用。然而,要注意的是,该研究建议教师指导的指南可能会加重其工作负担,因为往往需要对教学方法进行广泛的修订。
Jan, 2024
该研究通过对相关文献的系统回顾,概述了在高等教育中利用生成人工智能进行教学和学习的最新研究现状。研究发现,文献中存在研究缺口,需要进一步研究如何将生成人工智能融入教学和学习过程,加强跨学科、多维度的合作,以制定生成人工智能的使用指南、框架和政策。
Jun, 2024
该研究探索 AI-giarism 对学术诚信的威胁,调查了学生对各种 AI-giarism 场景的看法,并提供了一个新的衡量工具,以帮助教育工作者和政策制定者了解和讨论 AI 相关学术失误。
Jun, 2023
调查显示,超过一半的受访教师(35 位)中有 59% 表示使用生成人工智能(GenAI)进行教学,尤其是大型语言模型(LLMs),然而 55% 的受访者认为应该制定相关法规来规范 GenAI 的使用,尤其是在准确性和作弊上存在最大的担忧。
Apr, 2024
本研究探讨了大学生对生成式人工智能 (GenAI) 技术(例如 ChatGPT)在高等教育中的看法,关注对技术的熟悉程度、参与意愿、潜在好处和挑战以及有效整合。从对香港来自不同学科的 399 名本科生和研究生的调查结果显示,学生普遍对利用 GenAI 进行教学和学习持积极态度。学生们认识到个性化学习支持、写作和头脑风暴的辅助以及研究和分析能力的潜力。然而,他们也表达了对准确性、隐私、伦理问题以及对个人发展、职业前景和社会价值的影响的关注。根据 John Biggs 的 3P 模型,学生的看法显著影响学习方法和成果。通过了解学生的看法,教育工作者和政策制定者可以量身定制 GenAI 技术,以解决需求和关注点,同时促进有效的学习成果。本研究的发现可以指导有关将 GenAI 技术集成到高等教育中的政策制定。通过了解学生的看法并解决他们的关注点,政策制定者可以制定明智的指南和策略,以负责任且有效地实施 GenAI 工具,从而增强高等教育的教学和学习体验。
Apr, 2023