AAAIDec, 2022

真假文本？：探究人类识别人写与机器生成文本边界的能力

PDF
TL;DR本文研究了如何使用最先进的神经语言模型使人工创作的文本过渡为文本生成，并且展示了该任务上的众议员的技能差异。通过比较多种变量的影响，我们收集了 RoFT 数据集，以鼓励未来在人工检测和评估生成的文本方面进行更多的研究。
发现论文，激发创造
  • 基于拓扑数据分析和滑动窗口技术的人工文本边界检测

    通过使用不同的方法和特征，我们提出了一种基于 RoBERTa 模型和冻结语言模型嵌入特征的新方法，能够超过人类准确度水平和先前考虑的基准，在真实或假文本基准测试上取得更好的结果，并且分析了各种设置下所有提出分类器的鲁棒性以及对人工文本边界检测算法性能的负面影响。

    Nov, 2023

  • 探索检测机器生成文本的局限性

    对于检测机器生成文本的分类性能进行了批判性研究，发现分类器对文体变化和文本复杂性的差异非常敏感，在某些情况下完全退化为随机分类器，同时易于阅读的文本易于被误分类，而复杂文本的性能较高。

    Jun, 2024

  • 模仿游戏：在大型语言模型时代检测人类和 AI 生成的文本

    通过对人类写作文本和基于大型语言模型的生成文本进行比较研究，该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果，同时指出在故事写作方面识别生成文本的困难性，为未来在人工智能文本识别方面提供了启示和研究数据集。

    Jul, 2023

  • 野外深度伪造文本检测

    通过搜集人类写作和不同大型语言模型生成的假文本构建一组真实场景测验集，实验结果显示在这种情况下深伪文本检测面临着严峻挑战，尤其是面对各种领域的无来源文本时。

    May, 2023

  • 论人工智能生成的文本检测的可能性

    该文针对如何区分机器生成文本和人类生成文本的问题，提出了基于信息理论的准确度量方法，讨论并设计出更优秀的文本检测器，并给出了样本复杂度的理论上限。

    Apr, 2023

  • RoFT: 一种用于评估机器生成文本的人类检测工具

    该论文提出了一种基于 Real or Fake Text（RoFT）的机器生成文本评估方法，涉及自然语言生成（NLG）、机器生成文本边界检测等关键词。

    Oct, 2020

  • 深度假文本检测：限制和机遇

    本文通过收集 Transformer-based 工具生成的 deepfake 文本从而评估现有方法在野外环境中实际应用的能力，并通过对抗攻击研究对现有防御措施的稳健性。研究发现，将文本内容中的语义信息引入是提高 deepfake 文本检测方案鲁棒性和泛化性能的有效途径。

    Oct, 2022

  • 当人类被欺骗时，自动检测生成文本最容易

    本文分析了三种采样解码策略，揭示了在提高欺骗人类的能力时，会引入使自动检测系统易于检测的统计异常，同时也表明即使是多句子摘录也有超过 30％的概率欺骗专家人类评分员，强调了使用人类和自动检测器来评估文本生成系统的重要性。

    Nov, 2019

  • 解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

    通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

    Jan, 2024

  • 使用深度学习的机器生成文本检测

    我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

    Nov, 2023