ACLNov, 2019

当人类被欺骗时，自动检测生成文本最容易

PDF
TL;DR本文分析了三种采样解码策略，揭示了在提高欺骗人类的能力时，会引入使自动检测系统易于检测的统计异常，同时也表明即使是多句子摘录也有超过 30％的概率欺骗专家人类评分员，强调了使用人类和自动检测器来评估文本生成系统的重要性。
neural language modellingsampling-based decoding strategieshuman and automatic detector performancetext generation systemsautomatic discriminators
发现论文，激发创造
  • 无监督和分布式检测机器生成文本

    本文提出一种针对机器生成文档与人工撰写文档进行区分的无监督学习方法，通过利用高阶 n 元模型进行分类，并使用疑似标注文档来训练分类器的集合，成功实现了对疑似机器生成文档的准确评估，并且该方法可适用于各种规模的大型语言模型。

    Nov, 2021

  • 真假文本？：探究人类识别人写与机器生成文本边界的能力

    本文研究了如何使用最先进的神经语言模型使人工创作的文本过渡为文本生成，并且展示了该任务上的众议员的技能差异。通过比较多种变量的影响，我们收集了 RoFT 数据集，以鼓励未来在人工检测和评估生成的文本方面进行更多的研究。

    Dec, 2022

  • 论人工智能生成的文本检测的可能性

    该文针对如何区分机器生成文本和人类生成文本的问题，提出了基于信息理论的准确度量方法，讨论并设计出更优秀的文本检测器，并给出了样本复杂度的理论上限。

    Apr, 2023

  • 探索检测机器生成文本的局限性

    对于检测机器生成文本的分类性能进行了批判性研究，发现分类器对文体变化和文本复杂性的差异非常敏感，在某些情况下完全退化为随机分类器，同时易于阅读的文本易于被误分类，而复杂文本的性能较高。

    Jun, 2024

  • 机器生成文本的自动检测：一项关键调查

    本文旨在基于英文变革的研究成果提炼出重点，探讨如何通过自然语言处理和机器学习建立准确的检测器以区分由 TGM 生成的文本和人类书写的文本。

    Nov, 2020

  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

    通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

    Jan, 2024

  • 使用深度学习的机器生成文本检测

    我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

    Nov, 2023

  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 野外深度伪造文本检测

    通过搜集人类写作和不同大型语言模型生成的假文本构建一组真实场景测验集，实验结果显示在这种情况下深伪文本检测面临着严峻挑战，尤其是面对各种领域的无来源文本时。

    May, 2023