May, 2023

LLMDet: 一种大型语言模型检测工具

PDF
TL;DR本文提出了一种高效、安全、可扩展的检测工具 LLMDet，通过利用预训练获得的模型下一个令牌概率的先验信息，计算文本的代理困惑度，并使用通过代理困惑度测量的模型的自身水印信息来检测文本的来源；同时，在识别人类撰写的文本方面实现了 97.97% 的识别准确率，并在识别生成语言模型方面显示出了很好的结果。
generative language modelsdetectiontext tracingproxy perplexityself-watermarking information
发现论文，激发创造
  • 检测 LLM 生成的文本的科学

    该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

    Feb, 2023

  • 改进基于逻辑回归的检测器中不使用黑盒 LLMs 的逻辑回归

    大规模语言模型在文本生成方面产生了重大影响，难以区分机器和人类生成的文本的界限提出了新的挑战，而且阻碍了黑盒 LLMs 的准确检测方法。为了解决这些限制，提出了一种创新的框架 Distribution-Aligned LLMs Detection (DALD)，在没有源 LLMs 的准确日志的情况下，通过对公开可访问的高级模型（如 ChatGPT、GPT-4 和 Claude-3）的样本进行细化调优，实现了与未知源模型分布的同步，从而提高了检测能力和对快速模型迭代的韧性。

    Jun, 2024

  • LLM-Detector: 优化 AI 生成的中文文本检测的开源 LLM 指令调优

    本文提出了 LLM-Detector 方法，通过 LLM 指导和解决文档级和句子级的文本检测问题，该方法在句子级和文档级文本检测上明显优于基准方法，并展示了强大的泛化能力。

    Feb, 2024

  • 使用语言模型对抗语言模型检测器

    本文研究了如何攻击已有的机器文字生成检测算法，并验证了所有被测试的检测器的鲁棒性。结果表明，开发更加鲁棒的机器文字检测系统有着迫切的需求。

    May, 2023

  • 从文本到来源：大型语言模型生成内容的检测结果

    通过探索跨模型检测、模型归因以及分类器的效果与模型规模之间的关系，该研究在大型语言模型的使用中提供了宝贵的见解。

    Sep, 2023

  • SemEval-2024 任务 8：多领域机器生成文本检测技术的综合分析

    本论文介绍了我们在 SemEval2024 Task8 中用于检测跨各个领域的机器生成文本的方法，包括统计、神经网络和预训练模型方法，并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下，我们的方法在子任务 A 单语上获得 86.9％的准确率，在子任务 B 上获得 83.7％的准确率。此外，我们还强调了未来研究中的挑战和重要因素。

    Mar, 2024

  • SPOT: 从原创性评分阈值预测文本来源

    从信任的角度来研究大型语言模型（LLMs）生成的文本，我们提出了一种有效的方法 SPOT，通过原创度评分来对任意文本输入进行源分类，该方法对于现代 LLMs 的架构、训练数据、评估数据、任务和压缩表现出了稳健性。

    May, 2024

  • 基于 LLM 的文本检测调查：必要性、方法和未来方向

    大语言模型生成的文本检测是一项关键任务，需要开发检测器来区分其文本是否由大语言模型生成，并呼吁加强相关研究以推进负责任的人工智能实现。

    Oct, 2023

  • 使用深度学习的机器生成文本检测

    我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

    Nov, 2023

  • 解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

    通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

    Jan, 2024