DIALOG-22 RuATD 生成文本检测
本研究是 2022 年 Dialogue Evaluation 活动中的人工文本检测任务的一部分,利用 14 个文本生成器包括一个人类写手和 13 个针对机器翻译、改写、文本摘要、文本简化等自然语言生成任务进行了微调的模型,通过二元分类和多类分类确定文本是否为自动生成以及找到其作者,得出的结果对现有基线方法进行了优化。
Jun, 2022
本篇研究提出了针对 2022 年俄罗斯人工文本检测对话共享挑战赛(RuATD 2022)的一种解决方案,即使用 DeBERTa 预训练语言模型和多种训练策略区分生成该文本的模型。在 RuATD 数据集上进行的广泛实验验证了我们所提出的方法的有效性,并且我们的提交在 RuATD 2022(多分类)的评估阶段中排名第二。
Dec, 2022
我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战,这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能,包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD,我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样,涵盖了各种可能性,为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估,基于研究结果,结果主要与句子的序列长度有关。
Nov, 2023
本论文提出了一种使用语言模型检测 ChatGPT 生成的文本与人工编写文本的新方法,并设计、实现和训练了两种不同的文本分类模型,使用了 Robustly Optimized BERT Pretraining Approach(RoBERTa)和 Text-to-Text Transfer Transformer(T5),精度超过 97%,我们还进行了可解释性研究,展示了模型提取和区分人工编写和 ChatGPT 生成文本的关键特征的能力,研究结果为有效使用语言模型检测生成文本提供了重要的见解。
May, 2023
本研究旨在通过训练检测器以区分生成文本与人类编写文本,并发现适用于小且部分训练的生成模型更易检测。检测器与生成器是否基于相同数据不影响检测结果。
May, 2023
本论文介绍了我们在 SemEval2024 Task8 中用于检测跨各个领域的机器生成文本的方法,包括统计、神经网络和预训练模型方法,并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下,我们的方法在子任务 A 单语上获得 86.9%的准确率,在子任务 B 上获得 83.7%的准确率。此外,我们还强调了未来研究中的挑战和重要因素。
Mar, 2024
该研究介绍了 UniBuc - NLP 团队应对 SemEval 2024 任务 8:多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于 transformer 和混合深度学习架构。其中,我们的基于 transformer 的模型在子任务 B 中以 86.95%的准确度在 77 个团队中取得了强势的第二名,展示了该架构在此任务中的适用性。然而,我们的模型在子任务 A 中显示出了过拟合的现象,这可能通过减少微调和增加最大序列长度来修复。对于子任务 C(标记级别分类),我们的混合模型在训练过程中出现了过拟合,影响了其检测人工文本和机器生成文本之间的转换能力。
May, 2024