Jun, 2024

基于击键动态的抵制学术不诚实行为在 LLM 时代的应用

PDF
TL;DR该研究提出了一种基于击键动态的方法，以区分学术环境中真实和辅助写作，并利用改进的 TypeNet 架构训练检测器。研究结果突显了真实和辅助写作之间击键动态的显著差异，并对提高数字教育平台的可靠性产生影响。
academic integrityplagiarism detectionkeystroke dynamicsgenerative aidigital educational platforms
发现论文，激发创造
  • AI 生成之抄袭侦测：从句子到文件级别

    使用自然语言处理技术的对比学习方法，通过多重语义解读对大型语言模型的生成文本进行分析，达到了 94% 的准确率，在学术界检测人工智能生成的文本的抄袭和欺诈具有强大的适应性和可靠性。

    Jun, 2023

  • 基调之战：大学评估中检测 GPT-4 生成内容的方法研究

    本研究使用 GPT-4 生成内容来测试其对大学评估的鲁棒性，并评估学术人员在 Turnitin AI 检测工具支持下是否能够检测到其使用。研究表明，使用对抗技术可以有效地逃避 AI 检测工具的检测，并提出了应调整评估策略、进行全面培训等建议。

    May, 2023

  • AI 生成文本检测工具测试

    本研究针对学术环境中使用人工智能生成文本的潜在风险进行研究，发现现有的人工智能生成文本检测工具准确性和可靠性都有问题，并且在检测时存在偏向于将 AI 生成文本归类为人类写作。同时，内容混淆技术也会显著降低检测工具的性能。

    Jun, 2023

  • DUPE: 通过 Prompt Engineering 检测 Deepfake 文本的方法

    评估了三种不同的 AI 文本检测器，发现水印技术存在较高的误报率，ZeroGPT 技术误报和漏报率都较高，并通过使用 ChatGPT 3.5 来将原始的 AI 生成文本改写，有效地绕过了这些检测器的误报率和漏报率。

    Apr, 2024

  • 学生能力还是 AI 欺骗？分析 ChatGPT 的评估能力并评估检测策略

    通过评估 ChatGPT 在三门课程（CS1、CS2、数据库）上的性能，研究了生成式人工智能对学习和评估的破坏性影响，其几乎完美地完成了所有初级考核，现有的检测方法对识别人工智能解决方案的成功率有所不同，教师和助教使用启发式方法区分学生代码和 AI 代码的检测准确性不足，这些观察结果强调了需要改进评估和检测方法。

    Nov, 2023

  • StyloAI：使用词体分析区分 AI 生成内容

    该研究提出了 StyloAI，一种基于数据驱动的模型，通过在两个多领域数据集上应用随机森林分类器使用 31 个文体特征来识别人工智能生成的文本，该方法在 AuTextification 数据集的测试集和教育数据集上分别取得了 81% 和 98% 的准确率，并提供了人工智能生成文本和人类撰写文本之间差异的有价值的见解。

    May, 2024

  • 高等教育中的 GenAI 检测工具、对抗技术及包容性的影响

    该研究调查了六种主要的生成型人工智能（GenAI）文本检测器在面对经过修改以逃避检测的机器生成内容时的效力（n=805）。结果表明，当面对被篡改的内容时，这些检测器的准确率（39.5%）会大幅下降（17.4%），而某些技术在逃避检测方面比其他技术更有效。这些结果显示，当前这些工具的准确性限制和潜在的错误指控表明它们目前不能用于确定是否存在学术诚信的违规行为，突显了教育工作者在维持包容和公平的评估实践方面面临的挑战。然而，它们在非惩罚性的使用中可能在支持学生学习和维护学术诚信方面发挥作用。这些结果强调了在学术界处理生成型人工智能所带来的挑战时需采用综合方法来促进这些新兴技术的负责和公平使用。该研究得出结论，AI 文本检测器目前的局限性要求在高等教育中对其实施采取批判性的方法，并提示了 AI 评估策略的可能替代方案。

    Mar, 2024

  • 混合倡议人工科学文本检测的理解和解释

    通过定量实验，我们确定了人工和机器生成科学文本之间的关键区别，并提出了一种混合倡议工作流程，用于高效、可靠地检测科学文本，结合了人类专家的先前知识与机器智能，以及可视化分析原型。我们通过两个案例研究和与熟练研究人员的控制用户研究证明了我们的方法的有效性。我们还为高风险决策场景中的交互式人工文本检测工具提供设计启示。

    Apr, 2023

  • 检测在计算机教育中生成的 LLM 文本：一个 ChatGPT 案例的比较研究

    本文评估了 8 个公开可用的大型语言模型生成文本检测器的准确性，假阳性和弹性，并发现 CopyLeaks 是最准确的大型语言模型生成文本检测器，GPTKit 是减少假阳性的最佳大型语言模型生成文本检测器，而 GLTR 是最弹性的大型语言模型生成文本检测器。

    Jul, 2023

  • 增强文本真实性：一种新颖的混合方法用于 AI 生成文本检测

    本文提出了一种新颖的混合方法，将传统的 TF-IDF 技术与先进的机器学习模型相结合，包括贝叶斯分类器、随机梯度下降（SGD）、分类梯度提升（CatBoost）和 12 个 Deberta-v3-large 模型的实例。通过在全面的数据集上进行广泛的实验，我们证明了我们提出的方法在准确区分人工生成和 AI 生成文本方面的有效性。与现有方法相比，我们的方法取得了更好的性能。这项研究为 AI 生成文本检测技术的进展做出了贡献，并为应对 AI 生成内容带来的挑战开发出稳健的解决方案奠定了基础。

    Jun, 2024