Aug, 2023

利用高阶批判方法分离人工智能生成的文字中的人为因素：一种信息论方法

PDF
TL;DR我们提出了一种方法，可以确定给定文章是完全由生成式语言模型编写还是在不同作者（可能是人类）的情况下经过了一些重大编辑。我们的方法涉及多个感到困惑的测试来判断单个句子或其他文本单元的来源，并使用 Higher Criticism 方法结合这些多个测试。该方法通过接近对数困惑度与交叉熵率的收敛以及针对编辑文本的统计模型，表明大部分句子都是由语言模型生成的，但也可能有一些句子是通过不同的机制产生的。我们通过使用真实数据展示了我们方法的有效性，并分析了影响其成功的因素。这项分析提出了一些有趣的未解决问题，解决这些问题可能会提高该方法的效果。
generative language modeleditsperplexity testshigher criticismreal data
发现论文，激发创造
  • 谁撰写评论，人类还是人工智能？

    本研究提出了一种方法来准确区分 AI 生成和人工撰写的书评，通过使用迁移学习，该方法能够在不同主题上识别生成的文本，并提高对写作风格和词汇变化的检测能力。实验结果表明，能够检测文本的原始来源，达到了 96.86% 的准确率。为了确保人工生成内容的完整性和真实性，扩大对大型语言模型在文本识别方面的能力和限制的理解对于有效地应用类似的模型以及确保内容的整体和真实性将是有价值的。

    May, 2024

  • 模仿游戏：在大型语言模型时代检测人类和 AI 生成的文本

    通过对人类写作文本和基于大型语言模型的生成文本进行比较研究，该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果，同时指出在故事写作方面识别生成文本的困难性，为未来在人工智能文本识别方面提供了启示和研究数据集。

    Jul, 2023

  • 人工和人类生成文本的分类：对 ChatGPT 的特征研究

    我们的研究旨在探索传统和新的特征，以便 (1) 检测 AI 生成的文本和 (2) 由 AI 改写的文本。结果显示，新特征显著提高了许多分类器的性能。我们最好的基本文本改写检测系统在 F1 分数上超过了 GPTZero 的 183.8%。

    Aug, 2023

  • 人工智能与人类的区别 —— 科学内容生成的差异分析

    本文针对科学文献中 AI 生成的文本与人类编写的文本之间的差距进行了探讨，提出了一个通过语法、语义和语用来区分 AI 文本的框架，进而将提取到的特征用于分析两种不同类型的内容，发现 AI-generate 的科学文本在深度和总体质量方面还有待提高，并存在事实性问题等方面的差距，同时我们发现 AI-generate 的科学文本和人类编写的科学文本之间存在 “写作风格” 方面的差距，从而提出一些模型和分布无关的特征来用于其他领域的检测任务，这些研究结果有助于指导 AI 模型的优化，以产生高质量的文本，同时也有助于解决相关的伦理和安全问题。

    Jan, 2023

  • 语言生成中概率 - 质量悖论

    论文分析了自然语言生成过程，并通过信息理论解释了高概率和高质量并不总是一致的现象，得出语言生成应包含接近自然字符串分布熵的负对数概率数目，初步实证结果表明高质量的文本具有信息量与自然字符串分布熵更接近的特点。

    Mar, 2022

  • 长文本生成的模型评估

    使用潜在空间中的统计工具，比较语言模型生成的文本与真实数据的分布，评估生成文本的高级结构，发现基于 Transformer 的语言模型能够捕捉主题结构，但在维持结构连贯性和建模指代关系方面存在困难。

    Oct, 2022

  • 所有 ' 人类 ' 皆非黄金：评估生成文本的人类评估

    研究评估非专家区分人工和机器生成文本 (使用 GPT2 和 GPT3) 的能力，指出评估者不经培训情况下很难区分，通过三种方法培训后的准确率提高到了 55%，但在三个领域中并没有显著提高。作者分析了训练不足的人类评估在自然语言生成领域的作用，并提供了改进人工评估的建议。

    Jun, 2021

  • 增强文本真实性：一种新颖的混合方法用于 AI 生成文本检测

    本文提出了一种新颖的混合方法，将传统的 TF-IDF 技术与先进的机器学习模型相结合，包括贝叶斯分类器、随机梯度下降（SGD）、分类梯度提升（CatBoost）和 12 个 Deberta-v3-large 模型的实例。通过在全面的数据集上进行广泛的实验，我们证明了我们提出的方法在准确区分人工生成和 AI 生成文本方面的有效性。与现有方法相比，我们的方法取得了更好的性能。这项研究为 AI 生成文本检测技术的进展做出了贡献，并为应对 AI 生成内容带来的挑战开发出稳健的解决方案奠定了基础。

    Jun, 2024

  • 突破图灵：检测机器生成文本方法的比较分析

    通过对三种不同方法进行深入评估，即传统的浅层学习、语言模型（LM）微调和多语言模型微调，本文对文本生成的重要性有了显著进展，尤其是在区分人类和机器生成文本方面，结果表明这些方法在性能上存在显著差异，强调了在自然语言处理领域中继续推进的重要性，为未来创造强大且具有高度辨别力的模型铺平了道路。

    Nov, 2023

  • 解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

    通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

    Jan, 2024