ACLJun, 2023

线性分类器：文本分类中经常被遗忘的基准线

PDF
TL;DR本文旨在强调将简单的基线方法与先进的模型（如 BERT）一起运行以获得最佳结果的重要性和有效性。实验结果表明当应用正确时，先进模型的表现才会最佳，对于许多文本数据，线性分类器等简单基线方法仍然具有竞争性，高效稳定。
pre-trained language modelsberttext classificationlinear classifiersbag-of-words features
发现论文，激发创造
  • 高效文本分类的诀窍

    本文介绍了一种用于文本分类的简单高效的基线方法 fastText，在准确性方面通常与深度学习分类器相媲美，但在训练和评估方面快了数个数量级。我们用标准的多核 CPU 可以在不到十分钟的时间内对十亿多个单词进行训练，并在不到一分钟的时间内对 312K 种类别的 50 万个句子进行分类。

    Jul, 2016

  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • 使用 Transformer 高效分类长文档

    本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

    Mar, 2022

  • 简单基线算法在误信息检测中的出色表现

    本研究通过对一系列现代基于转换器的语言模型进行基础调整的表现研究，展示了它们具有竞争力并可以显著超越最新提出的先进方法以及一个简单的工具来检测在未来数据集中需要解决的问题，如潜在数据泄漏和混淆变量。

    Apr, 2021

  • BERT 与传统机器学习文本分类的比较

    本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。

    May, 2020

  • 探索集成方法提高文本分类器模型鲁棒性

    本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性，进一步表明通过选择合适的偏置模型，我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。

    Oct, 2022

  • 单标签和多标签文本分类：词袋、序列、图、层次结构，我们真正取得了多少进展？

    通过综合文献和自行实验，我们发现在单标签和多标签分类任务中，与精调的语言模型和 MLP 等标准机器学习方法相比，基于图的方法效果不如人意，甚至有时比基于词袋的 MLP 方法表现还要差，这进一步挑战了过去几年中新基于图方法的开发和它们在这一领域中的实际价值，并证实了预先训练的语言模型依然是文本分类中最先进的方法。因此，未来的文本分类研究需要仔细测试标准的机器学习算法如 MLP，以更好地评估其真正的科学进展。

    Apr, 2022

  • 知识图谱嵌入的快速线性模型

    本文表明，基于词袋 (BoW) 的简单基线学习到出人意料的知识图谱嵌入。通过将知识库补全和问题回答转化为监督分类问题，我们观察到建模实体和关系的共现可以在几分钟的培训时间内获得最先进的性能，使用开源库 fastText。

    Oct, 2017

  • DocBERT：文件分类的 BERT 模型

    本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

    Apr, 2019

  • 小语料下 LSTM 和 BERT 的对比

    本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

    Sep, 2020