KDDFeb, 2021

利用基于 Transformer 的集成学习来分类科学论文

PDF
TL;DR本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。
发现论文，激发创造
  • 利用 Transformer 模型集合检测生成的科学论文

    该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。

    Sep, 2022

  • 利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

    该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024

  • 增强的 BERT 嵌入用于学术出版物分类

    本研究报告介绍了基于预训练语言模型的转移学习方法在学术文献分类中的运用。通过丰富数据集、使用不同的预训练语言模型，并调整超参数，研究发现 fine-tuning 预训练模型可以显著提高分类性能，其中 SPECTER2 模型效果最佳。此外，将额外的元数据加入数据集，尤其是来自 S2AG、OpenAlex 和 Crossref 的信息，可以进一步提高分类结果。本研究对于构建可靠的自动化学术出版物分类系统具有重要意义，为研究人员高效定位相关资源提供了潜在解决方案。

    May, 2024

  • 科学文章句级嵌入的分类与聚类：对比学习生成

    使用对比学习来微调句子 Transformer 模型，生成科学文章中的句子级嵌入，并将其用于科学文章中的句子分类任务，取得了显著的改进。

    Mar, 2024

  • 基于 Transformer 与卷积神经网络结合的集成方法用于检测人工生成文本

    我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。

    Oct, 2023

  • 问题分类的集成方法：集成 Electra Transformer、GloVe 和 LSTM

    本文介绍了一种新颖的集成方法，使用先进模型 Electra、GloVe 和 LSTM 进行问题分类。该提出的模型在 TREC 数据集上进行训练和评估，这是一个问题分类任务的公认基准。集成模型综合了 Electra（一种基于 transformer 的语言理解模型）、GloVe（一种全局词向量表示方法）和 LSTM（一种循环神经网络变种），为问题分类提供了稳健高效的解决方案。大量实验比较了所提出的集成方法与其他尖端模型（如 BERT、RoBERTa 和 DistilBERT）的性能，结果表明在所有评估指标上，集成模型的表现优于这些模型，在测试集上达到了 0.8 的准确度。这些发现凸显了集成方法在增强问题分类任务性能方面的有效性，促使进一步探索在自然语言处理中的集成方法。

    Aug, 2023

  • 探索 AAAI 2021 共享任务中的文本转换器: COVID-19 英文虚假新闻检测

    本文描述了我们在 AAAI 2021 英语 COVID-19 假新闻检测共享任务中的系统，我们采用了不同的预训练语言模型，如 BERT，Roberta，Ernie 等等，包括预热，学习率调度和 K 倍交叉验证等各种训练策略，提出了一种集合方法，并在测试集上获得了 0.9859 的加权 F1 分数。我们还对未正确分类的样本进行了广泛的分析。

    Jan, 2021

  • 利用词袋和基于 Transformer 的模型识别代码中的评论相关性

    该论文介绍了针对不同代码段的评论进行分类的任务，使用了不同的特征工程方案和文本分类技术，探索了经典的词袋模型和基于变形金刚的模型的性能，并提到了模型的局限性和改进空间。

    Aug, 2023

  • 基于 Transformer 的集成模型对 AI 生成的文本进行检测

    本论文介绍了我们团队 “SynthDetectives” 在 ALTA 2023 共享任务中的提交情况。我们采用了一种堆叠 Transformer 模型的方法来实现 AI 生成文本的检测任务。我们的方法在模型选择上是新颖的，因为我们使用了易于访问和轻量级的模型进行集成。我们展示了模型集成相比单独使用模型能够提高准确性的结果。在共享任务组织者提供的官方测试数据上，我们的方法达到了 0.9555 的准确得分。

    Oct, 2023

  • 优化多类文本分类：基于变形金刚的多样性叠加集成框架

    通过引入基于堆叠集成的多文本分类方法来解决单一分类器的欠拟合和偏差限制，结合 BERT、ELECTRA、DistilBERT、RoBERTa 等多个转换器模型，在真实客户评论数据集上进行实验评估，验证了该方法在提高准确性和鲁棒性方面的有效性和优越性，证明了使用转换器的堆叠集成的多文本分类方法是从客户评论中提取有价值的见解并作出数据驱动决策以提升客户满意度和推动持续改进的有前途的解决方案。

    Aug, 2023