Mar, 2024
高等教育中的 GenAI 检测工具、对抗技术及包容性的影响
GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education
Mike Perkins, Jasper Roe, Binh H. Vu, Darius Postma, Don Hickerson...
TL;DR该研究调查了六种主要的生成型人工智能（GenAI）文本检测器在面对经过修改以逃避检测的机器生成内容时的效力（n=805）。结果表明，当面对被篡改的内容时，这些检测器的准确率（39.5%）会大幅下降（17.4%），而某些技术在逃避检测方面比其他技术更有效。这些结果显示，当前这些工具的准确性限制和潜在的错误指控表明它们目前不能用于确定是否存在学术诚信的违规行为，突显了教育工作者在维持包容和公平的评估实践方面面临的挑战。然而，它们在非惩罚性的使用中可能在支持学生学习和维护学术诚信方面发挥作用。这些结果强调了在学术界处理生成型人工智能所带来的挑战时需采用综合方法来促进这些新兴技术的负责和公平使用。该研究得出结论，AI 文本检测器目前的局限性要求在高等教育中对其实施采取批判性的方法，并提示了 AI 评估策略的可能替代方案。