Oct, 2023

LLMs 生成内容检测调查

PDF
TL;DR综述了大规模语言模型（LLMs）生成内容检测的现有策略和基准，并指出该领域的关键挑战和前景，提倡采用更加适应性和稳健的模型来提高检测准确性，以及应对 LLMs 能力快速发展的多方面防御方法的必要性。该工作是在 LLMs 时代首部全面综述内容检测的研究，旨在为研究人员和从业者提供广泛了解 LLMs 生成内容检测的当前情况的指导参考，以保护数字信息的完整性。
large language modelssynthetic content generationdetection strategiesbenchmarksmulti-faceted approach
发现论文，激发创造
  • 检测 LLM 生成的文本的科学

    该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

    Feb, 2023

  • 基于 LLM 的文本检测调查：必要性、方法和未来方向

    大语言模型生成的文本检测是一项关键任务，需要开发检测器来区分其文本是否由大语言模型生成，并呼吁加强相关研究以推进负责任的人工智能实现。

    Oct, 2023

  • 辨别虚假信息：在 LLMs 时代的不断挑战

    通过回答三个研究问题，本研究探讨了利用大型语言模型（LLMs）生成的谣言和虚假信息对目前存在的谣言检测技术的影响，以及通过使用 LLMs 作为强大的谣言防御手段以及针对这一威胁的新方法的可能性。

    Sep, 2023

  • 检测在计算机教育中生成的 LLM 文本：一个 ChatGPT 案例的比较研究

    本文评估了 8 个公开可用的大型语言模型生成文本检测器的准确性，假阳性和弹性，并发现 CopyLeaks 是最准确的大型语言模型生成文本检测器，GPTKit 是减少假阳性的最佳大型语言模型生成文本检测器，而 GLTR 是最弹性的大型语言模型生成文本检测器。

    Jul, 2023

  • LLM 生成的错误信息能被检测出吗？

    大语言模型（LLM）的出现具有革命性的影响。然而，像 ChatGPT 这样的 LLM 是否可能被滥用来生成误导信息，对在线安全和公众信任构成了严重关注。我们从检测难度的角度提出了一个基本的研究问题：LLM 生成的误导信息是否比人类编写的误导信息具有更大的危害性？通过我们的实证研究，我们发现相比于具有相同语义的人类编写的误导信息，LLM 生成的误导信息对于人类和检测器来说更难以检测，这表明它可能具有更具欺骗性的风格，并有可能造成更大的伤害。我们还讨论了我们发现对抗 LLM 时的误导信息在信息时代和相应对策的影响。

    Sep, 2023

  • G3Detector：通用 GPT 生成文本检测器

    本篇研究针对近年来大模型语言技术的快速普及及不断提高的适应性，提出了具有高效性和稳定性的人造文本检测方法。该方法能够辨别多种模型和解码策略生成的人造文本，并具有抗检测的能力。此外，研究还对机器生成文本检测机制的鲁棒性做出了贡献，揭示了在使用大规模语言模型技术时存在的社会和伦理问题，并提出了相应的解决方案。

    May, 2023

  • 提升学术写作领域的 LLM-Synthetic 文本检测器的鲁棒性：一项综合分析

    我们提供了对大语言模型的生成文本影响的全面分析，并强调了当前最先进的 GPT 检测器中可能存在的鲁棒性缺失。为了解决学术写作中滥用大语言模型的问题，我们提出了一种基于参考文本的孪生检测器 Synthetic-Siamese，将一对文本作为查询和参考，该方法有效解决了以前检测器（OpenAI detector 和 DetectGPT）的鲁棒性缺失，并将基线性能在实际学术写作场景中提高了约 67% 至 95%。

    Jan, 2024

  • 检测科学交流中的 LLM 辅助写作：我们已经到达目标了吗？

    利用自动检测器识别大型语言模型辅助写作的研究，发现目前的四种先进的自动生成文本检测器性能不佳，提出专门针对大型语言模型辅助写作检测的专用检测器的发展是必要的。这样的检测器可以在科学交流中促进对大型语言模型参与的真实认可，并解决目前对认可实践的挑战。

    Jan, 2024

  • 机器生成文本的检测：文献综述

    研究概述了语言模型产生的虚假文本、媒体关注度、自然语言生成、社会意义等关键词，同时探索了机器产生文本的趋势和更大的社会影响。

    Jan, 2024

  • 使用语言模型对抗语言模型检测器

    本文研究了如何攻击已有的机器文字生成检测算法，并验证了所有被测试的检测器的鲁棒性。结果表明，开发更加鲁棒的机器文字检测系统有着迫切的需求。

    May, 2023