ACLMay, 2024

AI 触及的识别：在文本中辨别 LLM 重述片段

PDF
TL;DRAI 生成的文本检测已引起广泛关注，随着强大的语言模型接近人类水平的生成，检测（部分）AI 改写文本的工作受到了限制，然而，AI 改写在各种应用场景中常被用于文本优化和多样性，为此，我们提出了一种新颖的检测框架，用于检测文本中的改写范围（PTD），旨在识别文本中的改写范围，不同于文本级别的检测，PTD 采用全文并为每个句子分配一个得分，表示改写程度，我们构建了一个专用数据集 PASTED 用于检测文本中的改写范围，内部和外部结果表明 PTD 模型在识别 AI 改写文本范围方面的有效性，统计和模型分析阐释了改写文本范围周围上下文的关键作用，大量实验证明 PTD 模型可以适用于多种改写提示和多个改写文本范围，我们在此链接处发布我们的资源
ai-generated text detectionparaphrased text spansdetection frameworkpastedai-paraphrased text spans
发现论文，激发创造
  • 改写可以躲避 AI 生成文本的检测，但究竟能否防御检索攻击？

    通过语义相似的生成物和检测算法，该研究提出了一种简单的防御，以增加对 AI 生成文本的检测器对抗改写攻击的鲁棒性。

    Mar, 2023

  • 深度学习下的释义识别：数据集和方法综述

    本文回顾传统和现有的改进的改写识别方法，提出了改写的一种新分类体系。探究了这种类型在流行的数据集中的表现形式以及一些类型改写的不充分表示如何影响改写识别能力，最后提出了更有效地使用 AI 进行改写检测的未来研究方向和数据集。

    Dec, 2022

  • 改述检测：人类与机器内容

    本文旨在分析大型语言模型如 GPT-4 和 ChatGPT 等的语言生成和改写能力的特点和限制及其对学术诚信的挑战，探讨人工改写和机器改写之间的区别，并对常用的数据集进行综合分析和评估，结果显示自动生成文本的水平仍不及人类普及水平，适合于语义多样性语料的 TF-IDF 方法的效果最好，同时，发现了四个语义多样性和挑战性最高的数据集。

    Mar, 2023

  • RADAR: 鲁棒的 AI 文本检测方法

    RADAR, a framework for Robust AI-text Detection via Adversarial Training, significantly outperforms existing AI-text detection methods by using adversarial training to improve the capability of detecting AI-generated text, especially in cases where paraphrasing is used.

    Jul, 2023

  • 生成和检测的释义类型

    当前的复述生成和检测方法在相似性评分上过于依赖于单一的通用评分，忽视了语言的复杂语言属性。本文引入了两个新的任务来解决这个缺点，通过考虑特定文本位置上的复述类型 - 特定的语言扰动。我们将这些任务命名为复述类型生成和复述类型检测。我们的结果表明，虽然目前的技术在二元分类场景即复述或非复述上表现良好，但细粒度的复述类型的包含带来了显著的挑战。尽管大多数方法在生成和检测常规语义相似内容方面表现出色，但它们未能理解所操作的固有语言变量。在生成和识别复述类型训练的模型也在没有这些任务的情况下显示出改进。另外，扩展这些模型进一步提高了它们理解复述类型的能力。我们相信复述类型可以为开发复述模型和解决未来任务的开启一种新的范式。

    Oct, 2023

  • 使用数据增强的多级联模型提升短文本复述检测

    本研究提出了一种基于数据增强的多重级联模型，用于改进短文本的对应检测，并在三个基准数据集上进行了评估和表现验证。

    Dec, 2019

  • 通过对抗性改写任务提升释义检测

    通过对抗方法提出了一个新的数据集创建方式 —— 对抗性同义句生成任务（Adversarial Paraphrasing Task， APT），以更好地检测句级别的意义相等，从而加速数据集生成并提高同义句识别模型的性能。

    Jun, 2021

  • 大型语言模型如何改变机器改写抄袭

    本文探讨了使用 T5 和 GPT-3 模型在 arXiv、学生论文和 Wikipedia 上生成机器的译文，并评估了六种自动化解决方案和一种商业剽窃检测软件的检测性能。结果表明，GPT-3 生成的译文质量可以与原始文本一样，而且难以区分真假，最佳检测模型 (GPT-3) 的 F1 分数达到 66％。

    Oct, 2022

  • AI 生成之抄袭侦测：从句子到文件级别

    使用自然语言处理技术的对比学习方法，通过多重语义解读对大型语言模型的生成文本进行分析，达到了 94% 的准确率，在学术界检测人工智能生成的文本的抄袭和欺诈具有强大的适应性和可靠性。

    Jun, 2023

  • AI 生成文本能否被可靠地检测出来？

    本篇研究展示了当前语言模型（LLMs）产生的文本检测器的可靠性不足，并提出了模仿攻击和伪造攻击等问题，强调了在使用 AI 生成文本时的伦理和可靠性问题。

    Mar, 2023