Jul, 2024

Sharif-MGTD在SemEval-2024任务8中的应用：一种基于Transformer的机器生成文本检测方法

HTML
PDF
TL;DR利用RoBERTa基础变压器作为强大的神经架构，通过精细调整来解决检测机器生成文本的问题，将其作为二元分类任务，并在SemEval-2024竞赛框架中的单语言英文子任务（Subtask A）中取得78.9%的准确率，在参与者中名列第57位。我们的研究在考虑有限的硬件资源的基础上解决了这一挑战，使得我们的系统在识别人类编写的文本方面表现出色，但在准确辨别机器生成文本方面还面临一些挑战。
发现论文，激发创造
  • M4GT-Bench: 黑盒机器生成文本检测评估基准

    通过引入多语言、多领域和多发生器的机器生成文本检测基准 M4GT-Bench，本研究解决了识别和区分机器生成文本与人类生成文本的问题，包括单语和多语二元机器生成文本检测、多类别检测以确定生成文本具体使用的模型以及在人机混合文本中确定生成文本与人类编写内容之间的边界的挑战。

    Feb, 2024

  • 机器生成文本本地化

    该研究旨在识别机器生成的文本并对文档中的机器生成部分进行定位，以避免由于对部分新闻文章的机器生成篡改而导致整个文档的误导。通过利用上下文信息，该方法能够在多个句子同时预测其是否为机器生成，从而提高了性能。与之前的研究相比，该方法在GoodNews、VisualNews、WikiText、Essay和WP五个不同数据集上提高了4-13%的平均准确率（mAP）。

    Feb, 2024

  • KInIT参加SemEval-2024任务8：用于多语言机器生成文本检测的细调LLMs

    SemEval-2024 任务8专注于多产生器、多领域和多语言黑盒机器生成文本检测，并应用语言识别和参数高效微调小型LLM进行文本分类，通过每种语言分类阈值校准将微调模型预测与统计检测指标相结合，提高系统检测性能的泛化能力，我们的方案取得了竞争力的结果，在第四名，仅比冠军低1个百分点。

    Feb, 2024

  • SemEval-2024任务8：加权层平均RoBERTa用于黑盒机器生成文本检测

    该研究论文涵盖了作者对SemEval 2024任务8的提交详细内容，即多生成器、多领域和多语言黑盒机器生成文本检测子任务A和B。该论文阐述了进行同样任务所使用的技术和所得结果。

    Feb, 2024

  • MasonTigers在SemEval-2024第8任务上的性能分析：基于Transformer模型的机器生成文本检测

    这篇论文介绍了MasonTigers参与SemEval-2024任务8，即多生成器、多域和多语言黑盒机器生成文本检测。该任务包括二进制的人工书写 vs. 机器生成文本分类（A轨道），多种机器生成文本分类（B轨道）和人机混合文本检测（C轨道）。我们最好的方法主要使用鉴别器转换模型的集成，以及句子转换模型和统计机器学习方法在特定情况下。此外，对于A轨道和B轨道，还使用了零样本提示和FLAN-T5的微调。

    Mar, 2024

  • SemEval-2024任务8：多领域机器生成文本检测技术的综合分析

    本论文介绍了我们在SemEval2024 Task8中用于检测跨各个领域的机器生成文本的方法，包括统计、神经网络和预训练模型方法，并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下，我们的方法在子任务A单语上获得86.9％的准确率，在子任务B上获得83.7％的准确率。此外，我们还强调了未来研究中的挑战和重要因素。

    Mar, 2024

  • PetKaz参与SemEval-2024任务8：语言学能够捕捉LLM生成文本的细节吗？

    本文针对SemEval-2024任务8“多生成器、多领域和多语种黑盒机器生成文本检测”，以英文机器生成文本（MGTs）的检测为重点，结合RoBERTa-base嵌入和多样性特征，利用重新采样的训练集，取得了第124名中的第12名，结果表明我们的方法在未见模型和领域上具有普适性，准确率达到0.91。

    Apr, 2024

  • 基于Transformer和混合深度学习模型的机器生成文本检测

    该研究介绍了UniBuc - NLP团队应对SemEval 2024任务8：多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于transformer和混合深度学习架构。其中，我们的基于transformer的模型在子任务B中以86.95％的准确度在77个团队中取得了强势的第二名，展示了该架构在此任务中的适用性。然而，我们的模型在子任务A中显示出了过拟合的现象，这可能通过减少微调和增加最大序列长度来修复。对于子任务C（标记级别分类），我们的混合模型在训练过程中出现了过拟合，影响了其检测人工文本和机器生成文本之间的转换能力。

    May, 2024

  • 追踪文本起源的RoBERTa-BiLSTM方法: Mast Kalandar在SemEval-2024任务8中探测生成的AI文本

    本文提出了一种基于RoBERTa-BiLSTM的分类器，用于将文本分为两个类别：人工智能生成或人类生成，并与基准方法进行了兼容研究以评估其有效性，从而促进了自动文本检测系统在解决机器生成文本滥用方面的发展。其中，我们的架构在125个参赛者中以80.83%的准确率排名第46名。

    Jul, 2024

  • LLM-DetectAIve：用于细粒度机器生成文本检测的工具

    本研究解决了在教育和学术领域中难以区分人类创作文本和机器生成文本的问题。提出的LLM-DetectAIve系统通过引入四类文本分类，提供了对文本创作过程中大语言模型干预程度的深入洞察。实验结果表明，该工具能够有效识别文本的作者身份，促进教育和学术诚信的提升。

    Aug, 2024