Apr, 2019

DocBERT：文件分类的 BERT 模型

PDF
TL;DR本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。
bertdocument classificationstate of the artknowledge distillationlstms
发现论文，激发创造
  • BERT 与传统机器学习文本分类的比较

    本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。

    May, 2020

  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • 医学文档理解的分层 BERT 模型

    提出了一种名为 MDBERT 的新模型，采用自下而上的分层架构，能够对长且具有多层语义的医学文件进行编码，并在多个 NLU 任务中得到有效应用。

    Mar, 2022

  • 层级 Transformer 用于长文档分类

    该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

    Oct, 2019

  • BERT 在 Ad Hoc 文档检索中的简单应用

    本研究探索了将 BERT 应用于问答的成功之后简单应用于特定文档检索的方法，并通过将推理应用于单个句子，然后将它们的得分汇总以产生文档得分来解决文档比 BERT 输入限制更长的挑战，实验证明，我们的方法虽然简单但有效，报告了我们所知道的使用神经方法在 TREC 微型博客和新闻线路测试集上的最高平均精度。

    Mar, 2019

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • 一种基于句子级分层 BERT 模型的有限标记数据文档分类方法

    本研究说明了一种基于层次 BERT 模型（HBM）的长文本分类方法，其可以在有限的标记实例数量下实现比现有技术更高的性能，并且可以被用来作为长文本解释的有用工具。

    Jun, 2021

  • 利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

    该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024

  • 简单的 BERT 模型用于关系抽取和语义角色标注

    本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

    Apr, 2019

  • 利用 BERT 语言模型进行阿拉伯语长文档分类

    本文针对大量阿拉伯文文档分类问题，提出了两种简单而有效的机器学习模型，并对比了 RoBERT 和 Longformer 两个模型在不同数据集上的结果，结果显示我们的模型表现更优秀。

    May, 2023