Nov, 2023

学生能力还是 AI 欺骗？分析 ChatGPT 的评估能力并评估检测策略

PDF
TL;DR通过评估 ChatGPT 在三门课程（CS1、CS2、数据库）上的性能，研究了生成式人工智能对学习和评估的破坏性影响，其几乎完美地完成了所有初级考核，现有的检测方法对识别人工智能解决方案的成功率有所不同，教师和助教使用启发式方法区分学生代码和 AI 代码的检测准确性不足，这些观察结果强调了需要改进评估和检测方法。
发现论文，激发创造
  • 32 个大学课程中对话式人工智能的感知、表现和可检测性

    该研究比较了 ChatGPT 和 32 门大学课程学生的表现，发现 ChatGPT 在许多课程中的表现相当，甚至优于许多学生。此外，其使用也难以被 AI 文本分类器可靠地检测出来，并且出现了学生使用该工具和教育者将其视为抄袭的共识，这些发现为 AI 融入教育框架的政策讨论提供了指导。

    May, 2023

  • Kattis 与 ChatGPT：人工智能时代编程任务的评估与评价

    本文研究了 ChatGPT 在入门编程课程中生成不同难度程度的代码解决方案的能力，并发现 ChatGPT 能够独立解决一部分编程问题，但在复杂任务上遇到困难，结果为编程教育中应用 AI 工具的效用问题提供了新的观点。

    Dec, 2023

  • 探索 ChatGPT 在本科计算机科学课程中作为学习和评估工具的应用：机遇与挑战

    本研究论文讨论了将人工智能用于高等教育中的教学与学习，并以 ChatGPT 作为工具，以计算机科学基础编程课程为例进行了教学和评估的探讨，结果显示使用 ChatGPT 的学生在得分上有优势，但提交的代码存在不一致和不准确的情况。

    Apr, 2023

  • ChatGPT，还是不 ChatGPT：这是一个问题！

    本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

    Apr, 2023

  • 聊天 GPT 是否会让你被捕？重新思考抄袭检测

    本研究旨在探究智能 AI 写作机器人 ChatGPT 生成的学术论文内容的原创性，并使用两种常用的抄袭检测工具评估了 ChatGPT 生成的 50 篇论文的独创性。结果表明，ChatGPT 在许多主题上具有高度的原创性，并有潜力生成具有复杂文本输出能力的内容，而传统的抄袭检测工具不易检测到这些内容。同时，本文还讨论了 AI 技术对教育的影响和机构需要采取适当措施来缓解潜在的抄袭问题。

    Feb, 2023

  • ChatGPT 在教育中的应用：将挑战转化为机遇

    人工智能在教育领域带来了个人化学习的潜力，但也面临着作弊、准确性和教育工作者有效整合的问题。本研究通过运用 Technology Acceptance Model，评估教育工作者和学生对生成型人工智能的态度、使用模式和障碍，旨在深入研究这些问题，并为未来的研究提供过程指南。

    May, 2024

  • ChatGPT 对计算机科学本科生和教师究竟是祝福还是诅咒？

    本文采用定量方法，展示 ChatGPT 在回答涉及本科计算机科学课程相关主题的不同类型的问题时高度不可靠，揭示学生盲目依赖 ChatGPT 完成作业和考试可能面临自我破坏。同时提出对学生和教师的建设性建议。

    Apr, 2023

  • 生成式人工智能感知：一项调查，旨在衡量教师、工作人员和学生对学术界生成式人工智能工具的感知

    ChatGPT 是一种自然语言处理工具，正在革命工程教育和技术与学生、教职员工之间的关系，对此进行了问卷调查，以测量 ChatGPT 对学生、教职员工的影响，并将该调查作为技术报告与其他大学和实体分享。

    Apr, 2023

  • AI 生成文本检测工具的实证研究

    本研究旨在创建一个多领域数据集，以测试用于检测高校和其他研究机构使用的人工生成信息的最先进 API 和工具。六种不同的人工智能文本识别系统，包括 “GPTkit”，“GPTZero”，“Originality”，“Sapling”，“Writer” 和 “Zylalab”，准确率介于 55.29% 至 97.0% 之间。尽管所有工具在评估中表现良好，但原创性在各方面表现尤为出色。

    Sep, 2023

  • 人工智能与教育：ChatGPT 在系统思维中的应用调查

    使用 ChatGPT 人工智能工具探索系统思维在不同学科中的潜力，研究评估了不同版本 ChatGPT 在各学科中的回应的准确性、有用性和可靠性，结果显示 ChatGPT 在各学科中能提供基本正确和非常有帮助的回应，展示了其增强系统思维能力的潜力。然而，偶尔的不准确回答突显了用户需要对 ChatGPT 的回应持批判态度。尽管有一些限制，研究表明只要使用得当并注意其特点，ChatGPT 可以成为教学和学习系统思维的宝贵工具。

    Jul, 2023