Jun, 2021

一种基于句子级分层 BERT 模型的有限标记数据文档分类方法

PDF
TL;DR本研究说明了一种基于层次 BERT 模型（HBM）的长文本分类方法，其可以在有限的标记实例数量下实现比现有技术更高的性能，并且可以被用来作为长文本解释的有用工具。
发现论文，激发创造
  • 基于层级神经网络的长文档分类方法

    本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

    Jan, 2022

  • 层级 Transformer 用于长文档分类

    该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

    Oct, 2019

  • DocBERT：文件分类的 BERT 模型

    本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

    Apr, 2019

  • 语言模型预训练用于层次文档表示

    从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。

    Jan, 2019

  • 医学文档理解的分层 BERT 模型

    提出了一种名为 MDBERT 的新模型，采用自下而上的分层架构，能够对长且具有多层语义的医学文件进行编码，并在多个 NLU 任务中得到有效应用。

    Mar, 2022

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • NextLevelBERT：探索使用高级表示进行长文档的遮蔽语言建模

    NextLevelBERT 是一种掩码语言模型，通过对高级语义表示进行预测，可以有效处理长文档，并在语义文本相似性、长文档分类和多项选择问答三个任务类型上取得较好效果。

    Feb, 2024

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • HIBERT：基于分层双向 Transformer 的文档级预训练技术用于文档摘要

    本文提出了一种名为 Hibert 的预训练模型，并将其应用于神经抽取性摘要模型中，通过使用该模型获得了 CNBC / Dailymail 数据集 1.25 ROUGE 和 New York Times 的 2.0 ROUGE， 相比于随机初始化的对应组件，性能更具优势，实现了这两个数据集的最新性能。

    May, 2019