Nov, 2021

无监督和分布式检测机器生成文本

PDF
TL;DR本文提出一种针对机器生成文档与人工撰写文档进行区分的无监督学习方法，通过利用高阶 n 元模型进行分类，并使用疑似标注文档来训练分类器的集合，成功实现了对疑似机器生成文档的准确评估，并且该方法可适用于各种规模的大型语言模型。
natural language generationunsupervised learningmachine-generated documentshigher-order n-gramsensemble of classifiers
发现论文，激发创造
  • 基于风格表示的机器生成文本的少样本检测

    利用人类文本估计的写作风格来区分人类作者和机器作者，以及预测给定文档由哪个语言模型生成。

    Jan, 2024

  • 威胁模型和检测方法的综合调研

    本文是关于机器生成文本和自然语言生成领域的综述。研究表明，机器生成文本与人类作者的文本越来越难以区分，因此我们讨论了现代自然语言生成系统带来的威胁模型，并对文本检测方法进行了最全面的综述。本文进一步讨论了机器生成文本的安全和社会背景，并提出了在未来工作中需要考虑的最关键威胁模型，以及确保检测系统本身通过公正、稳健和负责任的方式展示其信任性。

    Oct, 2022

  • 应用集成方法进行模型无关的机器生成文本检测

    通过应用集成方法来检测大语言模型（LLM）产生的机器生成文本的问题，并找到简单的 DetectGPT 子模型输出的摘要统计数据在保持其零 - shot 性的同时获得 0.73 的 AUROC（相对于 0.61），受监督学习方法可以将准确性提升到 0.94 的 AUROC，但需要一个训练数据集，这表明进一步推广的可能性以创建高准确度、不依赖模型的机器生成文本检测器。

    Jun, 2024

  • 解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

    通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

    Jan, 2024

  • 当人类被欺骗时，自动检测生成文本最容易

    本文分析了三种采样解码策略，揭示了在提高欺骗人类的能力时，会引入使自动检测系统易于检测的统计异常，同时也表明即使是多句子摘录也有超过 30％的概率欺骗专家人类评分员，强调了使用人类和自动检测器来评估文本生成系统的重要性。

    Nov, 2019

  • 探索检测机器生成文本的局限性

    对于检测机器生成文本的分类性能进行了批判性研究，发现分类器对文体变化和文本复杂性的差异非常敏感，在某些情况下完全退化为随机分类器，同时易于阅读的文本易于被误分类，而复杂文本的性能较高。

    Jun, 2024

  • 机器生成文本的检测：文献综述

    研究概述了语言模型产生的虚假文本、媒体关注度、自然语言生成、社会意义等关键词，同时探索了机器产生文本的趋势和更大的社会影响。

    Jan, 2024

  • 一种基于贝叶斯代理模型的 LLM 生成文本有效检测方法

    本文提出了一种基于贝叶斯代理模型的机器文本检测方法，能够有效提高查询效率，并在低查询预算下实现更好的性能，相比于 DetectGPT，查询次数减少了最多 2 倍，AUROC 提高了 3.7%。

    May, 2023

  • 使用深度学习的机器生成文本检测

    我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

    Nov, 2023

  • 论人工智能生成的文本检测的可能性

    该文针对如何区分机器生成文本和人类生成文本的问题，提出了基于信息理论的准确度量方法，讨论并设计出更优秀的文本检测器，并给出了样本复杂度的理论上限。

    Apr, 2023