Apr, 2023

GPT 检测器对非母语英语写手有偏见

PDF
TL;DR本研究探讨了几种广泛使用的 GPT 检测器的性能，并以母语和非母语英语写作样本为例，发现这些检测器将非母语英语写作样本错误地识别为 AI 生成的内容，而将母语写作样本正确地识别，并且还证明了简单的提示策略可以减轻这种偏见并有效地规避非母语英语写作者的惩罚。我们的研究结果呼吁加强对部署 ChatGPT 内容检测器的伦理影响的广泛讨论，并警告在评估或教育背景下使用时，这些检测器可能会无意中惩罚或排除非母语英语的演讲者和作者。
generative language modelsai-generated contentgpt detectorsnative and non-native english writersethical implications
发现论文，激发创造
  • ChatGPT，还是不 ChatGPT：这是一个问题！

    本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

    Apr, 2023

  • G3Detector：通用 GPT 生成文本检测器

    本篇研究针对近年来大模型语言技术的快速普及及不断提高的适应性，提出了具有高效性和稳定性的人造文本检测方法。该方法能够辨别多种模型和解码策略生成的人造文本，并具有抗检测的能力。此外，研究还对机器生成文本检测机制的鲁棒性做出了贡献，揭示了在使用大规模语言模型技术时存在的社会和伦理问题，并提出了相应的解决方案。

    May, 2023

  • DUPE: 通过 Prompt Engineering 检测 Deepfake 文本的方法

    评估了三种不同的 AI 文本检测器，发现水印技术存在较高的误报率，ZeroGPT 技术误报和漏报率都较高，并通过使用 ChatGPT 3.5 来将原始的 AI 生成文本改写，有效地绕过了这些检测器的误报率和漏报率。

    Apr, 2024

  • AI 生成文本检测工具测试

    本研究针对学术环境中使用人工智能生成文本的潜在风险进行研究，发现现有的人工智能生成文本检测工具准确性和可靠性都有问题，并且在检测时存在偏向于将 AI 生成文本归类为人类写作。同时，内容混淆技术也会显著降低检测工具的性能。

    Jun, 2023

  • ChatGPT 中的语言偏见：语言模型强化方言歧视

    GPT-3.5 Turbo 和 GPT-4 对非 “标准” 语言变体表现出语言偏见，导致理解能力减弱、刻板印象加剧，并存在辱人内容和居高临下的回应，这对非 “标准” 语言使用者产生了潜在的伤害。

    Jun, 2024

  • AI 生成文本检测工具的实证研究

    本研究旨在创建一个多领域数据集，以测试用于检测高校和其他研究机构使用的人工生成信息的最先进 API 和工具。六种不同的人工智能文本识别系统，包括 “GPTkit”，“GPTZero”，“Originality”，“Sapling”，“Writer” 和 “Zylalab”，准确率介于 55.29% 至 97.0% 之间。尽管所有工具在评估中表现良好，但原创性在各方面表现尤为出色。

    Sep, 2023

  • 评估 AI 检测器在识别 AI 生成代码中的应用：对教育的影响

    研究聚焦于大型语言模型在编程教育中的应用，特别关注人工智能生成内容检测器在学术不端中的潜在漏洞，并通过生成代码来检验大型语言模型对于绕过检测的努力。研究结果表明现有的人工智能生成内容检测器在区别人工编写的代码和人工智能生成的代码方面表现不佳。

    Jan, 2024

  • 文本生成中的国籍偏见

    这篇论文分析了语言模型中的国籍偏见，探讨了 GPT-2 生成的故事中如何突出现有的有关国籍的社会偏见，并使用敏感性分析探讨了互联网用户数量和国家经济状况对故事情绪的影响。同时还研究了对抗触发的去偏置方法，研究结果表明，GPT-2 在对互联网用户较少的国家存在显著的偏见，而对抗触发方法可以有效地降低偏见。

    Feb, 2023

  • 检测虚假生成的科学摘要

    本研究基于 GPT-3 模型自动生成科学论文摘要，通过机器学习模型结合多种文本表示方法来辨别机器生成文本，并分析模型性能及讨论相关研究问题，旨在揭示人工智能生成文本的能力和局限性。

    Apr, 2023

  • 提升学术写作领域的 LLM-Synthetic 文本检测器的鲁棒性：一项综合分析

    我们提供了对大语言模型的生成文本影响的全面分析，并强调了当前最先进的 GPT 检测器中可能存在的鲁棒性缺失。为了解决学术写作中滥用大语言模型的问题，我们提出了一种基于参考文本的孪生检测器 Synthetic-Siamese，将一对文本作为查询和参考，该方法有效解决了以前检测器（OpenAI detector 和 DetectGPT）的鲁棒性缺失，并将基线性能在实际学术写作场景中提高了约 67% 至 95%。

    Jan, 2024