COLINGSep, 2022

利用 Transformer 模型集合检测生成的科学论文

PDF
TL;DR该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。
neural modelsdagpap22 shared tasktransformer-based modelsimbalanced classesensemble
发现论文，激发创造
  • 利用基于 Transformer 的集成学习来分类科学论文

    本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。

    Feb, 2021

  • 基于 Transformer 与卷积神经网络结合的集成方法用于检测人工生成文本

    我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。

    Oct, 2023

  • 基于 Transformer 和混合深度学习模型的机器生成文本检测

    该研究介绍了 UniBuc - NLP 团队应对 SemEval 2024 任务 8：多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于 transformer 和混合深度学习架构。其中，我们的基于 transformer 的模型在子任务 B 中以 86.95％的准确度在 77 个团队中取得了强势的第二名，展示了该架构在此任务中的适用性。然而，我们的模型在子任务 A 中显示出了过拟合的现象，这可能通过减少微调和增加最大序列长度来修复。对于子任务 C（标记级别分类），我们的混合模型在训练过程中出现了过拟合，影响了其检测人工文本和机器生成文本之间的转换能力。

    May, 2024

  • 基于 Transformer 的集成模型对 AI 生成的文本进行检测

    本论文介绍了我们团队 “SynthDetectives” 在 ALTA 2023 共享任务中的提交情况。我们采用了一种堆叠 Transformer 模型的方法来实现 AI 生成文本的检测任务。我们的方法在模型选择上是新颖的，因为我们使用了易于访问和轻量级的模型进行集成。我们展示了模型集成相比单独使用模型能够提高准确性的结果。在共享任务组织者提供的官方测试数据上，我们的方法达到了 0.9555 的准确得分。

    Oct, 2023

  • AILAB-Udine@SMM4H 22: Transformers 和 BERT 集合的极限

    AILAB-Udine 团队在 SMM4H 22 共享任务中使用 Transformer-based 模型进行了文本分类、实体提取和实体归一化，并探索了集成学习的不同架构的协同效应和生成模型在术语规范化方面的巨大潜力。

    Sep, 2022

  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • 自适应精调 Transformer 集成模型用于 LLM 生成文本检测

    大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

    Mar, 2024

  • UPB 在 IberLEF-2023 AuTexTification 中的使用：使用 Transformer 集成检测机器生成的文本

    该研究论文描述了 UPB 团队在 IberLEF-2023 的 AuTexTification 共享任务中提交的解决方案，主要使用基于 Transformer 的深度学习模型以及多任务学习等训练技术，最佳模型在英语和西班牙语数据集上分别达到了 66.63% 和 67.10% 的宏 F1 分数。

    Aug, 2023

  • 探索 AAAI 2021 共享任务中的文本转换器: COVID-19 英文虚假新闻检测

    本文描述了我们在 AAAI 2021 英语 COVID-19 假新闻检测共享任务中的系统，我们采用了不同的预训练语言模型，如 BERT，Roberta，Ernie 等等，包括预热，学习率调度和 K 倍交叉验证等各种训练策略，提出了一种集合方法，并在测试集上获得了 0.9859 的加权 F1 分数。我们还对未正确分类的样本进行了广泛的分析。

    Jan, 2021

  • ScholarBERT: 大不见得更好

    本文研究了 14 个基于 transformer 的模型在 11 个科学任务上的表现，并创建了迄今最大、最多样化的科学语言模型 ScholarBERT。然而，在模型大小和训练数据等方面存在重大差异的情况下，我们发现这些模型在这些科学任务上的表现几乎没有差异，这一结果为基于 BERT 架构在科学领域任务中的表现建立了一个上限。

    May, 2022