Feb, 2023

基于 Transformer 的长文档匹配模型：挑战与实证分析

PDF
TL;DR研究长文档匹配的最新进展集中在使用基于 transformer 的模型进行长文档编码和匹配，本文实证演示了相对于 transformer-based 模型，使用简单的神经模型（如前馈网络和 CNN）和简单的嵌入（如 GloVe 和 Paragraph Vector）在文档匹配任务中的更高效性。
long document matchingtransformer-based modelsneural modelsglovebert-based models
发现论文，激发创造
  • 基于预训练句子嵌入的长文档分类的注意力机制

    通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

    Jul, 2023

  • 模型融合是否有助于长文档分类的 Transformer？实证研究

    通过比较模型融合与 BERT 和 Longformer 架构的结果，研究探讨了在长文档分类中采用模型融合的方法。

    Jul, 2023

  • 使用 Transformer 模型对长文本进行建模的调查

    本篇论文综述了最新的基于 Transformer 模型的长文本建模技术，其中介绍了长文本模型的定义、如何满足输入长度限制和改进 Transformer 的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。并且描述了长文本建模的四个典型应用，并探讨了未来的研究方向。

    Feb, 2023

  • 重新审视基于 Transformer 的长文档分类模型

    本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

    Apr, 2022

  • BERT 面向长文档的案例研究：自动化 ICD 编码

    本研究证明了一种简单可扩展的方法，使用已有的 Transformer 模型（如 BERT）处理长文本在 ICD 编码上的表现明显优于以往，比 CNN-based 模型更为出色。

    Nov, 2022

  • 使用 Transformer 高效分类长文档

    本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

    Mar, 2022

  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • 运用传统信息检索方法提升神经排序模型

    在这篇论文中，我们探索了一种低资源替代方法，即基于词嵌入的文档检索模型，发现它在与信息检索任务上经过微调的大型 Transformer 模型相比具有竞争力。我们的结果表明，将 TF-IDF（传统的关键词匹配方法）与浅层嵌入模型简单组合，提供了一种低成本的方法，使其在 3 个数据集上与复杂的神经排序模型的性能相媲美。此外，添加 TF-IDF 度量改进了这些任务上大规模微调模型的性能。

    Aug, 2023

  • 基于预训练语言模型的长篇临床文本比较研究

    本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

    Jan, 2023

  • 长程变压器的自然语言处理任务效率

    比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

    Feb, 2022