AISPACE 在 SemEval-2024 任务 8 上：用于检测多生成器机器生成文本的类平衡软投票系统

Apr, 2024

AISPACE 在 SemEval-2024 任务 8 上：用于检测多生成器机器生成文本的类平衡软投票系统

AISPACE at SemEval-2024 task 8: A Class-balanced Soft-voting System for Detecting Multi-generator Machine-generated Text

PDF

Renhua Gu, Xiangfeng Meng

TL;DR本研究针对 SemEval-2024 Task 8 提出了一个系统，主要处理 Subtask B，该系统旨在检测给定的全文是由人类撰写还是由特定的大型语言模型生成，这是一个多类文本分类任务。我们团队 AISPACE 对基于 Transformer 的模型进行了系统的微调研究，包括仅编码器、仅解码器和编码器 - 解码器模型。我们比较了它们在该任务上的性能，并发现仅编码器模型表现出色。我们还应用了加权交叉熵损失函数来解决不同类别样本不平衡的问题。此外，我们采用了多模型集成的软投票策略来提高预测的可靠性。我们的系统在 Subtask B 中排名第一，为这个新挑战设立了最新的基准。

Abstract

semeval-2024 task 8 provides a challenge to detect human-written and machine-generated text. There are 3 subtasks for different detection scenarios. This paper proposes a system that mainly deals with Subtask B. It aims to detect if given full text is written by human or is generated b

semeval-2024 task 8 text detection large language model encoder-only models data imbalance

发现论文，激发创造

用于多生成器、多领域和多语言机器生成文本检测的细调大型语言模型

SemEval-2024 Task 8 引入了识别多语言和领域中大型语言模型（LLMs）生成的机器文本的挑战。本文关注于二元分类和多类分类的子任务，并通过传统机器学习和自然语言处理进行特征提取以及基于 LLMs 进行文本分类的两种方法进行解决，结果显示变压器模型，尤其是 LoRA-RoBERTa，在多语言环境中使用多数表决方法能够高效地识别机器生成的文本。

Jan, 2024

SemEval-2024 任务 8：多领域、多模型和多语种机器生成文本检测

SemEval-2024 Task 8 的主要发现是多生成器、多领域和多语言的机器生成文本检测。

Apr, 2024

SemEval-2024 任务 8：多领域机器生成文本检测技术的综合分析

本论文介绍了我们在 SemEval2024 Task8 中用于检测跨各个领域的机器生成文本的方法，包括统计、神经网络和预训练模型方法，并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下，我们的方法在子任务 A 单语上获得 86.9％的准确率，在子任务 B 上获得 83.7％的准确率。此外，我们还强调了未来研究中的挑战和重要因素。

Mar, 2024

KInIT 参加 SemEval-2024 任务 8：用于多语言机器生成文本检测的细调 LLMs

SemEval-2024 任务 8 专注于多产生器、多领域和多语言黑盒机器生成文本检测，并应用语言识别和参数高效微调小型 LLM 进行文本分类，通过每种语言分类阈值校准将微调模型预测与统计检测指标相结合，提高系统检测性能的泛化能力，我们的方案取得了竞争力的结果，在第四名，仅比冠军低 1 个百分点。

Feb, 2024

HU 参加 SemEval-2024 任务 8A：对比学习能否学习嵌入以检测机器生成的文本？

我们提出了一个基于对比学习的单一模型，通过数据增强和对比学习，在没有使用多个模型集合的情况下，达到与多模型相当的性能表现。

Feb, 2024

RFBES 在 SemEval-2024 任务 8 中的应用：探索用于区分人工智能生成和人类编写的文本的句法和语义特征

研究表明，利用大型语言模型可以高准确度地区分人工智能生成的文本和人类编写的文本，尤其在语义方面会更加有帮助，而句法方面还有改进的空间。

Feb, 2024

基于 Transformer 和混合深度学习模型的机器生成文本检测

该研究介绍了 UniBuc - NLP 团队应对 SemEval 2024 任务 8：多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于 transformer 和混合深度学习架构。其中，我们的基于 transformer 的模型在子任务 B 中以 86.95％的准确度在 77 个团队中取得了强势的第二名，展示了该架构在此任务中的适用性。然而，我们的模型在子任务 A 中显示出了过拟合的现象，这可能通过减少微调和增加最大序列长度来修复。对于子任务 C（标记级别分类），我们的混合模型在训练过程中出现了过拟合，影响了其检测人工文本和机器生成文本之间的转换能力。

May, 2024

DeepPavlov 参加 SemEval-2024 第 8 题：利用迁移学习检测机器生成文本边界

该研究论文揭示了多生成器、多领域、多语言的黑盒机器生成文本检测共享任务，介绍了一种用于增强数据以进行监督微调的 DeBERTaV3 流水线，并在比赛排行榜中获得了最佳 MAE 得分。

May, 2024

MasonTigers 在 SemEval-2024 第 8 任务上的性能分析：基于 Transformer 模型的机器生成文本检测

这篇论文介绍了 MasonTigers 参与 SemEval-2024 任务 8，即多生成器、多域和多语言黑盒机器生成文本检测。该任务包括二进制的人工书写 vs. 机器生成文本分类（A 轨道），多种机器生成文本分类（B 轨道）和人机混合文本检测（C 轨道）。我们最好的方法主要使用鉴别器转换模型的集成，以及句子转换模型和统计机器学习方法在特定情况下。此外，对于 A 轨道和 B 轨道，还使用了零样本提示和 FLAN-T5 的微调。

Mar, 2024

解读文本真实性：通过大语言语义的普遍策略来检测人类与机器生成的文本

通过引入一个新的系统 T5LLMCipher，结合预训练的 T5 编码器和 LLM 嵌入子聚类，我们在 9 个不同生成器和领域中评估了我们的方法，并发现与现有方法相比，我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6％，正确属性文本的生成器的准确率达到 93.6％。

Jan, 2024