基于拓扑数据分析和滑动窗口技术的人工文本边界检测

Nov, 2023

基于拓扑数据分析和滑动窗口技术的人工文本边界检测

Artificial Text Boundary Detection with Topological Data Analysis and Sliding Window Techniques

Laida Kushnareva, Tatiana Gaintseva, German Magai, Serguei Barannikov, Dmitry Abulkhanov...

TL;DR通过使用不同的方法和特征，我们提出了一种基于 RoBERTa 模型和冻结语言模型嵌入特征的新方法，能够超过人类准确度水平和先前考虑的基准，在真实或假文本基准测试上取得更好的结果，并且分析了各种设置下所有提出分类器的鲁棒性以及对人工文本边界检测算法性能的负面影响。

Abstract

Due to the rapid development of text generation models, people increasingly often encounter texts that may start out as written by a human but then continue as machine-generated results of large language models. Detecting the boundary between human-written and machine-generated parts o

text generation models boundary detection roberta model frozen language model's embeddings artificial text boundary detection algorithms

发现论文，激发创造

真假文本？：探究人类识别人写与机器生成文本边界的能力

本文研究了如何使用最先进的神经语言模型使人工创作的文本过渡为文本生成，并且展示了该任务上的众议员的技能差异。通过比较多种变量的影响，我们收集了 RoFT 数据集，以鼓励未来在人工检测和评估生成的文本方面进行更多的研究。

Dec, 2022

DeepPavlov 参加 SemEval-2024 第 8 题：利用迁移学习检测机器生成文本边界

该研究论文揭示了多生成器、多领域、多语言的黑盒机器生成文本检测共享任务，介绍了一种用于增强数据以进行监督微调的 DeBERTaV3 流水线，并在比赛排行榜中获得了最佳 MAE 得分。

May, 2024

教育中人工智能混合论文自动边界检测的探索

研究了人工智能和人类协同写作中的混合文本检测问题，提出了一种基于嵌入学习过程和原型大小的两步检测方法，实验证明该方法在不同实验环境下优于基准方法，并且在单边界混合文章的边界检测中，采用较大的原型大小能够显著提高性能。

Jul, 2023

TM-TREK 参加 SemEval-2024 任务 8：面向基于 LLM 的人机混合文本自动边界检测

本文研究了大型语言模型在辨别人工写作文本和模型生成文本中的能力，通过将此任务转化为标记分类问题并将标记转折点视为边界来处理。其中，我们的语言模型集成模型在 SemEval'24 竞赛第 8 任务的 “人机混合文本检测” 子任务中取得了第一名，同时我们还研究了一些影响大型语言模型检测混合文本边界能力的因素，包括在语言模型基础上增加附加层、结合分割损失以及预训练的影响。本研究结果对未来研究提供了有价值的见解。

Apr, 2024

使用深度学习的机器生成文本检测

我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

Nov, 2023

通过检查注意力图的拓扑来检测人工文本

利用拓扑数据分析（TDA）提取 BERT 模型的可解释的拓扑特征，用于区分人工生成的文本和真实的文本，证明 TDA 对于包含表面和结构信息的 NLP 任务是具有前景的。

Sep, 2021

探索检测机器生成文本的局限性

对于检测机器生成文本的分类性能进行了批判性研究，发现分类器对文体变化和文本复杂性的差异非常敏感，在某些情况下完全退化为随机分类器，同时易于阅读的文本易于被误分类，而复杂文本的性能较高。

Jun, 2024

突破图灵：检测机器生成文本方法的比较分析

通过对三种不同方法进行深入评估，即传统的浅层学习、语言模型（LM）微调和多语言模型微调，本文对文本生成的重要性有了显著进展，尤其是在区分人类和机器生成文本方面，结果表明这些方法在性能上存在显著差异，强调了在自然语言处理领域中继续推进的重要性，为未来创造强大且具有高度辨别力的模型铺平了道路。

Nov, 2023

无监督和分布式检测机器生成文本

本文提出一种针对机器生成文档与人工撰写文档进行区分的无监督学习方法，通过利用高阶 n 元模型进行分类，并使用疑似标注文档来训练分类器的集合，成功实现了对疑似机器生成文档的准确评估，并且该方法可适用于各种规模的大型语言模型。

Nov, 2021

模仿游戏：在大型语言模型时代检测人类和 AI 生成的文本

通过对人类写作文本和基于大型语言模型的生成文本进行比较研究，该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果，同时指出在故事写作方面识别生成文本的困难性，为未来在人工智能文本识别方面提供了启示和研究数据集。

Jul, 2023