ACLMar, 2022

使用 Transformer 高效分类长文档

PDF
TL;DR本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。
long document classificationtransformersbenchmarkmulti-classmulti-label
发现论文，激发创造
  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • 重新审视基于 Transformer 的长文档分类模型

    本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

    Apr, 2022

  • 模型融合是否有助于长文档分类的 Transformer？实证研究

    通过比较模型融合与 BERT 和 Longformer 架构的结果，研究探讨了在长文档分类中采用模型融合的方法。

    Jul, 2023

  • 使用 Transformer 模型对长文本进行建模的调查

    本篇论文综述了最新的基于 Transformer 模型的长文本建模技术，其中介绍了长文本模型的定义、如何满足输入长度限制和改进 Transformer 的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。并且描述了长文本建模的四个典型应用，并探讨了未来的研究方向。

    Feb, 2023

  • 通过综合评估和排行榜了解长文档排名模型的性能

    本研究综合评估了 13 个模型在排名长文档方面的功能，包括两种专用 Transformer 模型，同时分析了训练和比较这些模型的几个困难。结果表明，虽然 Robust04 和 MS MARCO 文件经常被用于长文件模型的基准测试，但我们认为它们并不特别有用。特别是在考虑到 relevant passages 的分布时，Simple FirstP Baseline 很有效。

    Jul, 2022

  • 基于层级神经网络的长文档分类方法

    本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

    Jan, 2022

  • 基于 Transformer 的长文档匹配模型：挑战与实证分析

    研究长文档匹配的最新进展集中在使用基于 transformer 的模型进行长文档编码和匹配，本文实证演示了相对于 transformer-based 模型，使用简单的神经模型（如前馈网络和 CNN）和简单的嵌入（如 GloVe 和 Paragraph Vector）在文档匹配任务中的更高效性。

    Feb, 2023

  • Transformers 是短文本分类器：基于基准和实际数据集的归纳短文本分类器研究

    本文探讨了短文本分类方法，发现传统文本分类方法中使用 Transformer 能实现最先进的性能，在真实世界的短文本数据集上进行了测试。实验结果表明，是否有必要使用特殊的短文本技术是一个值得探讨的问题。

    Nov, 2022

  • BERT 面向长文档的案例研究：自动化 ICD 编码

    本研究证明了一种简单可扩展的方法，使用已有的 Transformer 模型（如 BERT）处理长文本在 ICD 编码上的表现明显优于以往，比 CNN-based 模型更为出色。

    Nov, 2022

  • 长程变压器的自然语言处理任务效率

    比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

    Feb, 2022