Jan, 2024

TextMachina: 无缝生成机器生成文本数据集

PDF
TL;DRTextMachina 是一个模块化和可扩展的 Python 框架，旨在帮助创建高质量、无偏见的数据集，用于构建 MGT 相关任务（如检测、归因或边界检测）的强健模型。
large language modelsmachine-generated texttextmachinadatasetsmgt-related tasks
发现论文，激发创造
  • M4GT-Bench: 黑盒机器生成文本检测评估基准

    通过引入多语言、多领域和多发生器的机器生成文本检测基准 M4GT-Bench，本研究解决了识别和区分机器生成文本与人类生成文本的问题，包括单语和多语二元机器生成文本检测、多类别检测以确定生成文本具体使用的模型以及在人机混合文本中确定生成文本与人类编写内容之间的边界的挑战。

    Feb, 2024

  • 机器生成文本本地化

    该研究旨在识别机器生成的文本并对文档中的机器生成部分进行定位，以避免由于对部分新闻文章的机器生成篡改而导致整个文档的误导。通过利用上下文信息，该方法能够在多个句子同时预测其是否为机器生成，从而提高了性能。与之前的研究相比，该方法在 GoodNews、VisualNews、WikiText、Essay 和 WP 五个不同数据集上提高了 4-13% 的平均准确率（mAP）。

    Feb, 2024

  • 使用深度学习的机器生成文本检测

    我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

    Nov, 2023

  • M4: 多发生器、多领域和多语言的黑盒机器生成文本检测

    本文介绍了一个大规模的文本检测数据集 M4，并利用该数据集实验了多种方法，发现在不同领域或用不同的大型语言模型生成的文本中，模型检测器倾向于将机器生成的文本误分类为人工书写的文本，并指出解决此问题仍有很多待改进的空间，M4 数据集将为以后研究提供优质的数据支持。

    May, 2023

  • 威胁模型和检测方法的综合调研

    本文是关于机器生成文本和自然语言生成领域的综述。研究表明，机器生成文本与人类作者的文本越来越难以区分，因此我们讨论了现代自然语言生成系统带来的威胁模型，并对文本检测方法进行了最全面的综述。本文进一步讨论了机器生成文本的安全和社会背景，并提出了在未来工作中需要考虑的最关键威胁模型，以及确保检测系统本身通过公正、稳健和负责任的方式展示其信任性。

    Oct, 2022

  • 解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

    通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

    Jan, 2024

  • LLM 作为共同作者的挑战：检测 LLM 与人类混合大小写

    大语言模型与机器生成文本（MGT）在新闻和教育等领域的广泛应用中出现了潜在的质量和信息完整性问题。本研究提出了混合文本形式 ——mixcase，并构建了 MixSet 数据集，旨在专门研究这些混合修改场景，并通过实验证明现有的 MGT 检测器在识别 mixcase 时存在困难，尤其是在处理微妙的修改和样式适应性方面。研究结果强调了为 mixcase 定制更细粒度的检测器的紧迫性，并为未来研究提供了有价值的见解。

    Jan, 2024

  • 机器生成文本的自动检测：一项关键调查

    本文旨在基于英文变革的研究成果提炼出重点，探讨如何通过自然语言处理和机器学习建立准确的检测器以区分由 TGM 生成的文本和人类书写的文本。

    Nov, 2020

  • 学术出版物中自动生成文本检测基准语料库

    本研究提出两个数据集，一个完全由 GPT-2 模型生成的合成数据集和一个部分用 Arxiv-NLP 模型生成的文本替换数据集，评估数据集的质量，难度以及分类模型的区分能力。

    Feb, 2022

  • 通过多群体感知优化的最大均值差异检测机器生成的文本

    利用最大均值差异（MMD）来检测生成文本中的多个文本人口，提高测量分布差异的稳定性。

    Feb, 2024